Test Module in Rally

그동안 우리 팀에서 Agile 프로젝트 관리를 위해 Rally를 써 왔고 매뉴얼 테스트 케이스와 Defect 관리를 위해서는 HP ALM 을 써 왔습니다.

그런데 조금 변화가 생겨서 ALM을 사용하지 않게 되었어요.

그래서 Rally에 있는 Test에 관련된 Module 에 대해 Research 해 봤습니다.

그동안 Rally가 다른 회사로 넘어가서 공식적으로는 CA Technology 라고 이름이 바뀌었나 봅니다.

CA Agile Central Quality Manager Overview

Agile development는 테스터의 작업 방식을 획기적으로 변화시켰다. Agile 팀 내에서 아주 긴밀한 협력을 기반으로 테스트를 진행하게 된 것이다. 요구조건과 어플리케이션의 코드가 끊임없이 변화하기 때문에 테스터는 이에 맞게 팀 내에서 그 역할을 해야 한다. CA Agile Central은 소프트웨어 테스트 엔지니어에게 테스트 결과를 개발 lifecycle이 단계에 맞게 제공할 수 있는 tracking tool을 선사한다. 또한 다양한 automated software 테스팅 툴들과 같이 사용할 수 있도록 하는 기능도 제공한다.

CA Agile Central의 기본적인 테스트 기능들은 아래와 같다.

* User Story와 Defect 에 곧바로 테스트 케이스를 생성할 수 있도록 한다.
* 코딩 진행 단계에 맞춰 동시에 테스트가 진행 될 수 있도록 한다.
* View status dashboards that automatically group test case results by user stories to assess quality and readiness
* failing test case에 대한 좀 더 개선된 communication과 쉬운 defect re-creation 기능을 제공하고 이를 관리하는데 들어가는 burden들을 줄여준다.

그 외에 CA Agile Central Quality Manager 모듈의 추가적인 기능들은 Test Sets, Test Plan, Test Case Summary Page 등이 있다. 이 기능들은 아래와 같은 편의성을 제공한다.

* 시스템의 life 기간동안 여러번 반복되서 실행될 Regression test에 대한 관리
* 특정 criteria에 대한 custom test plan list를 생성
* Test Case summary page에서 iteration과 release 이외의 조건으로 쉽게 filtering 할 수 있음   

Quality management concepts

Basic Concepts :
Test Case : 테스트 케이스는 work item (US/Defect)를 기반으로 생성해서 그 work item 의 기능에 대해 검증할 수 있도록 한다. 테스트 케이스는 테스트 결과들을 만들어 낸다.
Test Folder : 테스트 폴더는 테스트 케이스를 organizing 하는 기본적인 메카니즘이다. 기본적으로 비슷한 기능들끼리 구성한다. 하나의 테스트 케이스는 하나의 테스트 폴더에 속할 수 있다.
Test Set : 테스트 세트는 테스트 케이스들의 모음이다. (테스트 폴더에 보관할 수도 있다.) 테스트 세트는 iteration이나 release 진행시 regression test 를 그룹화하고 일정을 정하는데 사용할 수 있다. 테스트 세트는 Iteration 과 Release Status 에서만 생성하고 사용될 수 있다. 테스트 세트를 복사해서 다른 iteration이나 release에 옮길 수 있다.

Life of a Test Case

1. 유저스토리나 defect 에 연계된 새로운 테스트 케이스를 생성한다. 테스트 케이스는 stand alone이 될 수도 있지만 권장하는 것은 아니다.
2. 테스터는 테스트를 진행하고 acceptable한지 여부를 결정한다. 이 테스트 케이스가 regression testing 에도 사용되어야 하면 다음 단계를 진행한다.
3. Optional : 테스트 케이스를 테스트 폴더에 넣는다. 테스트 폴더에는 관련된 테스트 케이스들이 있게 된다. 테스트 폴더는 테스트 케이스들을 organize 하도록 해 준다.
4. 이제 테스트 케이스는 많은 Regression test들 중의 하나이다. 이것은 test set 로 같이 schedule 되서 진행할 수 있다. 테스트 세트는 iteration 이나 release 와 연계돼 있다.

Related CA Agile Central Pages

Test Plan Page

이 페이지는 폴더 안에서 테스트 케이스들을 organize 하고 관리할 수 있도록 해 준다. 테스트 계획을 세울 때 폴더 안에 hierarchy 구조로 테스트 케이스들을 구성하고 싶다면 이 Test Plan 을 이용하면 된다. 테스트 폴더 안에서 테스트 케이스들을 Rank 하고 그룹 내의 테스트들을 run 하고 test resuts 와 Defect 들을 등록할 수 있다. 그리고 summarized result도 확인 할 수 있다.

Test Plan 페이지에 새로운 테스트 폴더가 생성되면 테스트 폴더는 현재의 scope (project)에 등록된다. 위 예제를 보면 이 테스트 폴더들은 Shopping Team 에 속하게 된다. 만약 테스트 폴더들을 다른 팀의 테스터들과 같이 공유하고 싶다면 좀 더 higher node 에 테스트 폴더를 associate 하면 된다.

Iteration Status Page

테스트 세트는 테스트 케이스들이 들어가는 공간이다. 이 테스트 세트는 특정 iteration 이나 release 에 처리할 테스트 케이스들을 포함하게 된다. Track -> Iteration Status 페이지에서 Add New 버튼을 누르고 드롭다운 메뉴에서 Test Set를 선택한다.

아래 내용을 참조할 것

* CA Agile Central Quality Manager 모듈은 테스트 세트, 테스트 플랜 페이지 그리고 Test Case summary page 가 구성돼 있어야 한다.
* passing, failing 혹은 pending 상태인 테스트 케이스들의 숫자등을 볼 수 있을 것이다. 그리고 test coverage의 상태를 표시하는 report와 dashboard들도 표시된다.
* CA Agile Central App SDK Toolkit을 사용해서 custom App 이나 custom report를 생성할 수 있다. 이것은 3rd-party testing system에서 CA Agile Central 에 integrate 되서 작동한다.

이 외에 관련된 글은 아래와 같다.

Test Plan
https://help.rallydev.com/managing-test-plans

Test Cases
https://help.rallydev.com/manage-test-cases

Test Set
https://help.rallydev.com/content/test-set

Test Case Results
https://help.rallydev.com/test-case-results

Test Runs
https://help.rallydev.com/test-runs