[ISTQB] Certified Tester Foundation Level 5-2. 테스트 계획과 추정, 모니터링

안녕하세요.

 

회사에서 Tester 관련 교육으로 ISTQB Certified Tester Foundation Level 자격증 수업을 수강 하게 되었습니다.

 

시험 공부 겸 수업 내용을 정리 해보려고 합니다.

 

* 수업은 SK하이닉스와 STA 테스트 컨설팅에서 진행 하였고, 권혜영 강사님의 수업 이었습니다.

 

---

 

1. 테스트 계획

 

- 테스트 계획

  - 개발 및 유지보수 프로젝트의 테스트 활동에 대한 전반적인 내용

  - 제품의 수명주기 전반에 걸쳐 이루어지는 지속적인 활동

    * 프로젝트와 테스트 계획 작업을 진행함에 따라 더 많은 정보를 알게 되고, 테스트 계획에 더 많은 세부 정보를 추가 할 수 있음

    * 테스트 활동의 피드백으로 리스크의 변화를 인지하고, 테스트 계획을 수정해야 함

 

- 마스터 테스트 계획 그리고 테스트 레벨 별 또는 유형 별 테스트 계획으로 나눠서 작성

 

- 테스트 계획 활동

  - 테스팅의 범위, 정의, 목적, 리스크 결정

  - 전반적인 테스팅 접근법 정의

  - 테스트 활동을 소프트웨어 수명주기 활동에 통합하고 조정

  - 테스트 대상, 다양한 테스트 활동에 필요한 인력과 기타 자원, 테스트 활동 수행 방법 결정

  - 테스트 분석, 설계, 구현, 실행, 평가 활동의 일정 조정

  - 테스트 모니터링과 제어에 사용 할 메트릭 선정

  - 테스트 활동 예산 결정

  - 테스트 문서의 구조와 상세화 정도 정의

 

 

2. 테스트 전략 / 테스트 접근법

 

- 테스트 전략

  - 테스트 프로세스의 일반적인 모습을 반영하여 주로 제품이나 조직 수준에서 작성

  - 테스트 프로세스를 종합해 개괄적으로 설명

 

- 테스트 접근법

  - 특정 프로젝트나 릴리즈용으로 테스트 전략을 조정 한 것 : 프로젝트의 복잡도와 목표, 제품 유형, 리스크 평가에 관한 결정을 기반으로 조정

  - 테스트 기법, 레벨, 유형을 선택하는 출발점

  - 시작 조건과 종료 조건을 정의하는 출발점

  - 정황을 기반으로 선택 : 리스크, 안전 사항, 사용 가능한 자원과 역량, 기술, 시스템 특성, 테스트 목적과 규정 등을 고려

 

 

3. 테스트 전략 유형

 

- 분석적

  - 특정 요소에 대한 분석을 기반으로 한 테스트 전략

  - 예 : 리스크 기반 테스팅

 

- 모델 기반

  - 제품의 특정 측면에 대한 모델을 기반으로 한 테스트 전략

  - 특정 측면 : 기능, 비지니스 프로세스, 내부 구조, 비기능 특성 등

  - 모델 : 비지니스 프로세스 모델, 상태 모델, 신뢰성 성장 모델 등

 

- 방법론적

  - 사전에 정의한 테스트 셋이나 테스트 컨디션을 체계적으로 사용하는 데 집중하는 테스트 전략

  - 예 : 보편적이고 발생 가능성이 높은 장애 분류, 주요 품질 특성 목록, 모바일 애플리케이션이나 웹페이지에 대한 전사 룩앤필 표준 등

 

- 프로세스 준수 / 표준 준수

  - 외부 규정이나 표준을 기반으로 테스트를 분석, 설계, 구현하는 테스트 전략

  - 특정 산업 표준에서 제시하는 규정이나 표준, 프로세스의 문서화, 테스트 베이시스의 엄격한 식별과 사용, 조직이 강제하거나 조직에 강요된 모든 프로세스나 표준을 기반으로 하는 접근법

 

- 전문가 조언 / 자문

  - 주로 이해관계자, 비지니스 도메인 전문가, 기술 전문가 등의 조언, 지도, 지시를 바탕으로 한 테스트 전략

 

- 리그레션 기피

  - 기존 기능에 대한 리그레션 테스트 기피를 목표로 하는 테스트 전략

  - 기존 테스트 웨어의 재사용, 리그레션 테스트 자동화 확대, 테스트 스위트 표준화

 

- 반응적

  - 테스트 대상 컴포넌트나 시스템에 따라 대응하고 테스트 실행 중 발생하는 이벤트에 따라 반응적으로 수행하는 테스트 접근법

  - 이전 테스트 결과에서 얻은 지식을 바탕으로 테스트를 설계하고 구현하며 즉각 테스트를 실행

  - 탬삭적 테스팅이 반응적 전략에서 일반적으로 사용하는 기법

 

 

4. 시작 조건과 종료 조건

 

- 특정 테스트 활동의 시작 시점과 완료 시점에 대한 조건 정의

  - 소프트웨어 품질과 테스팅을 효과적으로 통제하기 위해 정의

  - 테스트 목적에 따라 각 테스트 레벨과 유형 별로 정의

 

- 시작 조건 : 특정 테스트 활동을 시작 하기 위해 정의한 사전 조건

  - 테스트 가능한 요구 사항, 사용자 스토리나 모델의 가용 여부

  - 이전 테스트 레벨의 종료 조건을 충족한 테스트 항목의 가용 여부

  - 테스트 환경 가용 여부

  - 필요한 테스트 도구 가용 여부

  - 테스트 데이터와 기타 필요한 자원의 가용 여부

 

- 종료 조건 : 특정 테스트 레벨이나 테스트 세트가 끝났음을 선언하기 위해 만족해야 할 조건

  - 계획한 테스트 실행 완료

  - 정의한 커버리지 수준 도달

  - 해결하지 못한 결함 수가 합의된 수 보다 적음

  - 추정 잔존 결함의 수가 충분히 적음

  - 신뢰성, 수행 효율성, 사용성, 보안성, 기타 관련된 품질 특성의 수준이 원하는 수준에 도달

 

 

5. 테스트 노력 추정

 

- 테스트 관련 작업에 필요한 노력의 양을 예측하는 활동

 

- 특정 프로젝트, 릴리즈, 반복 주기에서 테스팅의 목적을 충족하는데 필요

 

- 테스트 노력에 영향을 미치는 요소

  - 제품 특성

    * 제품과 관련된 리스크

    * 테스트 베이시스의 품질

    * 제품의 크기

    * 제품 도메인의 복잡도

    * 품질 특성 요구사항

    * 요구되는 테스트 문서의 상세화 정도

    * 법적 규제 준수 요구사항

  - 개발 프로세스의 특성

    * 조직의 안정성과 성숙도

    * 사용하는 개발 모델

    * 테스트 접근법

    * 사용하느 ㄴ도구

    * 테스트 프로세스

    * 시간적 압박

  - 인력 특성

    * 유사한 프로젝트나 제품 관련된 인원의 역량과 경험

    * 팀 응집력과 리더십

  - 테스트 결과

    * 발견한 결함 수와 심각도

    * 필요한 재작업 규모

 

 

6. 테스트 추정 기법

 

- 메트릭 기반 기법

  - 기존 유사한 프로젝트에서 얻은 메트릭에 기반하거나 보편적인 값을 바탕으로 테스트 노력 예측

  - 애자일 개발의 번다운 차트

  - 순차적 개발 프로젝트에서의 결함 제거 모델

 

- 전문가 기반 기법

  - 테스팅 작업의 책임자나 전문가의 경험을 기반으로 테스트 노력 예측

  - 플래닝 포커

  - 와이드 밴드 델파이

 

 

7. 테스트 모니터링과 제어

 

- 테스트 모니터링

  - 목적 : 정보 수집 및 테스트 활동에 대한 피드백과 가시성 제공

  - 모니터링 대상 정보는 수동 혹은 자동으로 수집

  - 모니터링 대상 정보는 테스트 진행 상황을 평가하거나 테스트 종료 조건을ㅇ 만족하는지 또는 애자일 프로젝트에서 완료의 정의와 관련된 테스팅 작업을 만족하는지 측정하는데 이용

 

- 테스트 제어 : 수집하고 보고된 정보와 메트릭의 결과로 취해진 수정 조치나 가이드

  - 식별한 리스크 발생 시 테스트 우선순위의 변경

  - 테스트 환경이나 기타 자원의 가용 여부에 따라 테스트 일정 변경

  - 재 작업으로 인해 테스트 항목이 시작 조건이나 종료 조건을 만족하는지 재평가

 

 

8. 테스팅에 사용하는 메트릭

 

- 메트릭 수집 목적

  - 계획한 일정과 예산 대비 진행 상황 평가

  - 테스트 대상의 편재 품질 평가

  - 테스트 접근법의 타당성 평가

  - 목적 대비 테스트 활도으이 효과 평가

 

- 일반적인 테스트 메트릭

  - 계획 대비 테스트 케이스 준비 작업 완료율

  - 계획 대비 테스트 환경 준비 작업 완료율

  - 테스트 케이스 실행률

  - 결함 정보

  - 요구사항 커버리지, 사용자 스토리 커버리지, 인수 기준 커버리지, 리스크 커버리지, 코드 커버리지

  - 작업 완료, 자원 할당과 사용, 노력

  - 테스팅 비용 : 다음 결함을 발견하면 얻는 이익 대비 비용이나 테스트를 계속 실행해 얻게 되는 이익 대비 비용 등을 포함

 

 

9. 테스트 보고

 

- 테스트 보고의 목적 : 테스트 활동 중이나 마무리 시점의 테스트 활동 정보 요약과 공유

 

- 테스트 진행 상황 보고서 : 테스트 활동 중 작성하는 테스트 보고서

  - 테스트 계획 대비 테스트 활동과 진행 상황

  - 진행을 방해하는 요소

  - 다음 보고 기간에 진행하기로 계획한 테스팅

  - 테스트 대상의 품질

 

- 테스트 요약 보고서 : 테스트 활동 종료 시점에 작성하는 테스트 보고서

  - 테스트 수행 내용 요약

  - 테스트 기간 도중에 발생한 상황 정보

  - 계획 대비 편차

  - 종료 조건 및 완료의 정의에 대한 테스팅 현황과 제품 품질

  - 진행을 방해 했거나 계속해서 방해 하고 있는 요소

  - 메트릭 : 결함, 테스트 케이스, 테스크 커버리지, 활동 진행 상황, 소비한 자원

  - 잔존 리스크

  - 재사용 가능한 테스트 작업 산출물

 

- 테스트 보고서는 프로젝트의 정황 뿐 아니라 보고의 대상자에 따라 조장해야 함

 

 

10. 테스트 실행 일정

 

- 테스트 스위트를 어떤 순서로 실행할 지에 대한 정의

- 우선 순위, 종속 관계, 확인 테스트, 리그레션 테스트, 가장 효율적인 테스트 실행 순서 등을 고려하여 결정