효과적인 SW테스팅 프로세스구축 및 개선 전략

2008년 8월 28일(목)

2

목차

2. 테스트 프로세스의 진단의 정의 및 진단 모델

1. 테스트 프로세스 정의/ 필요성/ V모델

3. TMMI기반의 테스트 프로세스 진단사례

4. 주요 개선 과제

5. 개선 절차 및 추진 전략

6. 맺음말

※별첨 : ROI 측정 사례

3

1. 테스트 프로세스의 정의 및 필요성

‚테스팅의 품질‛의 향상을 위해 테스팅 전반에 걸쳐 짜임새 있는

Tool / 절차

조직이 지속적 테스팅에 자신감을 갖기 위해서는!!

맨땅에 헤딩 하지 않으려면!!

용어의 통일, 조직의 커뮤니케이션 활성화!!

조직이 좋은 습관(테스트 프로세스)이 체화되면!!

필요성

4

1. 테스팅 프로세스의 필요성 II

시간

요구사항리스크?

테스트 레벨?

테스트는 개발이 끝

나고 시작!!리뷰?

테스트 설계?

테스트 설계 기법?

테스트 전략?

설계

구현

상세설계

요구사항 검증?

리스크 분석?

인수 테스팅?

테스트 계획?

고객

기술

뭔가 만들었는데 제대로 만들어졌는지 검증하는 것이 필요하지 않은가?

5

1. 테스팅 프로세스의 필요성 I

사용자가 SW제품을 사용하는데 있어 직접적인 영향을 미치는 SW제품 자체가 가지고 있는 품질

품질 향상을 위한 기본적인 활동

소프트웨어 제품의 최종 품질에 영향을 줄수 있는 소프트웨어 개발 과정에서 수행되는작업(프로세스)의 품질

품질 향상을 위한 심화 활동

• CMMI, SPICE,TMMI 등을 통해 확인

•+ •제품 품질

테스팅의 품질을 높이기 위한 핵심

•SW 품질

•프로세스 품질

• 높은 테스팅 프로세스 성숙도

6

인수 테스트

시스템 테스트

통합 테스트

단위 테스트

요구사항

설계

구현

요구사항 명세

논리적 설게 명세

물리적 설계 명세

코드

상세 설계

계획

설계

실행

마감

계획

설계

실행

마감

계획

설계

실행

마감

1. 테스팅 프로세스의 구성과 V-모델

프로젝트 테스트 매니지먼트 (PTP 작성 및 업데이트, 테스트 레벨을 감시하고 제어, 테스트 프로젝트 종료 보고)

조직 차원의 테스트 정책과 전략

반영

반영, 제어, 리포팅

계획

설계

실행

마감

계획

설계

실행

마감

계획

설계

실행

마감

계획

설계

실행

마감

7

2. 테스팅 프로세스 진단의 정의

특정 조직의 현재의 테스팅 프로세스가 최선의 테스팅 프로세스(Best Practice)

에 비해 어느 정도의 수준 또는 성숙도에 있는지에 대한 현상을 평가하는 활동

(As-is)

현재의 테스팅 프로세스 성숙도를 파악하여 향후 어떻게 테스팅 프로세스를 개선

할 것인지 방향을 설정하기 위해 수행함 (To-be)

여러 가지 모델 중 대표적인 것이 TMMI, TPI 모델 임

핵심 (프로세스) 영역이 있고 영역별 여러 단계의 성숙도 레벨이 존재

설문, 인터뷰, 문헌 검토 등을 절차에 따라 진행하고 테스팅 조직의 성숙도 레벨

결정 (Baseline)

8

2. SW 테스팅 프로세스 진단/개선 모델의 종류

분류

프로세스 (진단) 참조 모델 (Process

Reference Model)

내용 (개선) 참조 모델 (Content

Reference Model)

종류

TMMI (Test Maturity Model)

TPI (Test Process Improvement)

TOM (Test Organization Maturity)

TIM (Test Improvement Model)

SQR (Software Quality Rank)

CTP (Critical Testing Process)

STA (Software Testing Assessment)대분류 중분류 소분류 접근법 배포

실행 및

결과

TM

M레

벨독립성을 고려한 테스팅 조직의 운영 L3

테스팅 조직 확대 계획 및 인력 충원 계획/방법의 적절성 L3

테스트 조직 정비 - 테스트 조직의 역할 및 KPI 정의, WBS 확

립

L3

테스팅 교육 훈렦 강화 또는 지원 L3

피플웨어 (테스트 조직원의 동기 부여 및 짂로 제시) L3

테스트 아웃소싱 또는 파견 조직 활용의 적절성 L3

조직차원의 테스팅 표준 확립 L3

조직차원의 테스트 프로세스 평가 및 개선 활동 L5

조직차원의 테스팅 정책이 문서화 되어 있는가? L2

절차에 따라 조직차원의 테스팅 정책이 수립되고, 배포되고,

효과적으로 활용되고 있는가?L2

테스팅 정책이 반영된 조직차원의 테스팅 전략이 문서화 되

어 있는가?L2

조직 차원의 테스팅 전략절차에 따라 조직차원의 테스팅 전략이 수립되고, 배포되고,

효과적으로 활용되고 있는가?L2

프로젝트 차원의 테스트 프로세스 평가 및 개선 활동 L3

테스팅 표준 준수 (ISO/IEC29119, IEEE829, IEEE1008,

BS7925-1,2 등)L3

조직차원의 테스팅 전략을 반영하여 프로젝트 테스트 전략을

수립/배포/활용하고 있는가?L2

프로젝트 테스트전략을 반영한 프로젝트 테스트 계획

(Project Test Plan)이 수립/배포/활용 되고 있는가?L2

프로젝트 차원의 테스트 계획 템플릿이 존재하고 활용되는

가?L2

테스트 레벨별 테스팅 활동이 업데이트 및 제어되고 있는가? L3

프로젝트 차원의 테스팅 상태가 리포팅되고 있는가? L3

개발 테스트 (단위/통합 테스트) 지원 및 제어 L3

프로젝트 차원의 테스트 리포팅을 위한 템플릿이 존재하고

활용되는가?L3

조직 차원의 테스팅 공통

사항

조직 차원의 테스팅

이 인지되고 적용되

고 있는가?

프로젝트 차원의 테스팅 공

통 사항

프로젝트 차원의 테

스팅이 관리되고 있

는가?

테스팅 정책

프로젝트 테스팅 전략과 프

로젝트 테스트 계획

테스트 레벨 제어 및 프로

젝트 테스팅 리포팅

9

2. TMMI과 TPI 비교

TMMI TPI

(커버하는)

테스트 레벨하위 레벨과 상위레벨 테스팅을 유사한 수준으로 다룸 상위레벨 테스팅에 보다 집중

성숙도 평가

접근법

조직 차원에서의 성숙도 평가

(다섯가지 레벨로 평가)

각 개별 프로세스의 성숙도 평가를 위해 조직

의 성숙도 평가

(2~4 레벨로 프로세스별 차별적 평가)

테스트 핵심영역간 의존성

여부핵심 영역간 의존성을 정의하지 않음 핵심 영역간의 의존성 정의

모델의 태생

(Origin)학계에서 개발하여 업계에서 발전시킴 시스템 테스팅 전문 업체에서 개발하여 확산

공개 정도Level 2 내용은 공개되어 있고 나머지도 공개되고 있는

추세대부분 공개되어 있음

공식 레벨

부여 여부

TMMI Foundation에서 2008 ~ 2009년 내에 부여

예정

․ 심사원 자격 부여 및 관리예정

․ 심사 결과 관리

부여하지 않음

참조 모델 (Reference

Model) 분류

프로세스 (진단 ) 참조 모델 (Process Reference

Model)

내용 (개선) 참조 모델 (Content Reference Model)

프로세스 (진단 ) 참조 모델 (Process

Reference Model)

10

2. TMMI (Test Maturity Model Integration)

테스트 정책 과 전략테스트 계획테스트 모니터링 및 제어테스트 설계 및 수행테스트 환경

L2 : 관리(Managed)

테스트 조직테스트 교육/훈련 프로그램테스트 수명주기와 통합비기능 테스팅동료 검토

L3 : 정의(Defined)

결함 예방테스트 프로세스 최적화품질 제어

L5 : 최적화(Optimization)

Level 1: 초기(Initial)

테스트 측정소프트웨어 품질 평가발전된 동료검토

L4 : 관리&측정 (Management&Measurement)

지속적 개선

측정

조직화

품질제어테스팅

품질측정테스팅

요구사항 검증테스팅

내재화

※ 기존 CMM의 심사 모델인 CBA-IPI(CMM Based Appraisal – Internal Process Improvement)모델을 이용

11+ Current industrial testing practices, Beizer's Progressive Phases of a Testers' Mental Model

SW 테스팅 발전단계와 프로세스 성숙도

-1단계(~1956) : The debugging-oriented period

-2단계(1957~1978) : The demonstration-oriented period

-3단계(1979~1982) : The destruction-oriented period

1979년 Glendford J. Myers

“Testing is the process of executing a program or system with the “intent”

of finding errors.”

심리적으로 자기의 작품을 쉽게 파괴하지 못하기 때문에, 전문적인 테스팅 조직이 필요

(Destruction)

-4단계(1983~1987) : The evaluation-oriented period

테스팅 라이프사이클 개념

V&V (Verification & Validation) 개념. 다음단계로의 전이 최대한 방지

-5단계(1988~) : The Prevention-oriented Period

테스팅의 목적이 결함을 예방하는 차원

개발 초기부터 발생 가능한 결함(potential errors)을 사전에 방지

Gelperin and Hetzel's Evolutionary Testing Model

12

2. TPI (Test Process Improvement) Model

핵심영역

레벨테스트 성숙도메트릭스

개선 제안체크포인트

출처 : Tim Koomen, Test Process Improvement, 1999

13

2. TPI Model 설명

핵심영역(Key areas)

- 과목

레벨 (Levels) – 성적 기준

테스트 성숙도매트릭스 (Test MaturityMatrix)

- 성적표

개선 제안(Improvement suggestions)

- 훈련, 교육, 과외

체크포인트 & 의존성(Checkpoints & Dependency)

- 시험

0, A ~ D0, 1 ~ 13

KA

1

~ KA

20성숙도 증가

14

2. TPI – Key Areas

테스트 프로세스 개선 시 고려해야 할 사항

‚테스트 실행에 직접적으로 관여하는 영역‛과

‚간접적으로 관여하는 영역‛(조직 및 조직원간의 의사소통, 사무환경 등)을 모두 포

함

1) 테스트 전략, 2) 수명주기 모델, 3) (라이프 사이클에서 테스트) 수행 시점, 4) 산

정과 계획, 5) 테스트 명세 기법, 6) 정적 테스트, 7) 척도, 8) 테스트 자동화, 9) 테스

트 환경, 10) 사무실 환경, 11) 참여와 동기, 12) 테스트 팀의 역할과 훈련,

13) 방법론의 범위(업무 절차 및 문서), 14) 의사소통, 15) 보고, 16) 결함 관리, 17)

테스트웨어 관리, 18) 테스트 프로세스 관리, 19) (중간산출물) 평가 (리뷰, 인스펙션

등), 20) 저 수준 테스트* Key Areas : Test strategy, Life-cycle model, Moment of Involvement, Estimating and planning, Test specification techniques, Static Test Techniques, Metrics, Test Automation, Test Environment, Office Environment, Commitment and Motivation, Test functions and training, Scope of Methodology, Communications, Reporting, Defect management, Testware management, Test process management, Evaluation, Low-level testing

핵심영역

레벨테스트 성숙도메트릭스

개선 제안체크포인트

테스트 마감 활동

15

2. Test maturity matrix example

Reference : Tim Koomen, Stepwise Improvement of the Test Process Using TPI. 2005 ICS Test conference

노란색 : AS IS, 파란색 : TO BE

※ 21 .TPI Automotive

16

3. 진단 경과

수행 장소 : 고객 회의실

평가 위원 : 5명 (소프트웨어 테스팅 프로세스 평가 전문가 5명 )

고객 참여 : 평균 10명(관련 부서)

진단 방법 : STA(Software Testing Assessment)에 의한 인터뷰, 관련 문서 및 산출물 검토

조직 규모 : 300명 이하 중소업체 대상(2개사), QA 팀장 포함 5명 이하

진단 경과

프로세스 진단

(진단 / 집단지성토론/ 문서검토)•테스팅

•(TMMI

/STA)

1일(화)

프로세스 진단 결과 분석

및 개선 제안 준비

최종결과보고

1개월

STA자체

검토(2회)

고객과 공유

및 검토

진단 개요

테스팅 교육(TMMI모델 포함)

진단 목적 : 종합 진단, 단기 개선과제 도출, 테스트 공감대 형성

17

3. STA 테스팅 프로세스 개관

단위 테스트를 경험적으로 수행하고 있으며, 통합테스트의 수행이 필요함

시스템 테스트는 경험적으로 수행하고 있으며, 인수 테스트는 체계적인 계획과 수행이 필요함

체계적인 테스트 레벨 프로세스의 수립, 관리, 수행이 요구 됨

아래의 내용은 부서마다 다를 수 있음

테스트레벨 활동 테스트베이시스 테스트케이스 선정 기법 테스팅조직 테스팅환경

리뷰개발 팀 Daily 미팅에 일부참여

요구사항 - 개발팀 NA

단위 개발자 테스트 - 경험적 테스팅 개발팀 개발환경

통합 - - - - 개발환경

시스템

경험에 의존한 리스크 기반의 테스트*결함 발견 시 리그레션테스팅 수행

요구사항

테스팅항목 (개발팀에서 전달)기존 프로젝트 및 지식바탕경험적 작성(내부적 시험절차서)

A팀, B팀실제환경(O/S)

인수인수테스트필드테스트

요구사항체크리스트

Ad-hoc A팀, B팀실제환경(필드)

테스트 레벨 요약

18

3. 테스팅 프로세스 TMMI 심사 결과(1/4)

[Level 2]

KA 1 : 테스트 정책과 목표 수립

KA 2 : 테스트 계획 및 규모 산정

KA 3 : 테스트(설계) 기법 및 방법론의 규정화

KA 4 : 테스트 환경 관리

KA 5 : 테스트웨어/도구/장비/대상품목의 유지 관리

KA 6 : 테스트 보고(Reporting)

Level2: 결함을 효과적/효율적으로 발견하기 위한 구조적 테스트 단계

테스팅 프로세스에서 테스트 정책과 목표가 경험에 기반하여 제시됨

테스트 계획, 분석과 설계, 결함관리, 테스트 리포팅 등 테스트 레벨 프로세스 활동의 체계적인 수행, 관리가

필요하며, 경험적인 테스팅(탐색적 테스팅)이 추가적으로 수행되어야 함

시사점

핵심 영역(Key Area)

10 Outstanding

4 Fair

2 Week

0 PoorKA1 KA2 KA3 KA4 KA5 KA6

6 MarginallyQualified

8 Qualified

•Goal!

•핵심 영역•(Key Area)

•10 Outstanding

•4 Fair

•2 Week•0 Poor

•KA1 •KA2 •KA3 •KA4 •KA5 •KA6

•6 Marginally• Qualified

•8 Qualified

•접근법

•핵심 영역•(Key Area)

•10 Outstanding

•4 Fair

•2 Week•0 Poor

•KA1 •KA2 •KA3 •KA4 •KA5 •KA6

•6 Marginally• Qualified

•8 Qualified

•결과

•핵심 영역•(Key Area)

•10 Outstanding

•4 Fair

•2 Week•0 Poor

•KA1 •KA2 •KA3 •KA4 •KA5 •KA6

•6 Marginally• Qualified

•8 Qualified

•배포 및 실행

19

3. 테스팅 프로세스 TMMI 심사 결과(2/4)

테스트 정책과 전략

테스트 계획

테스트 모니터링 및 제어

테스트 설계 및 실행

테스트 환경

L2 : (테스트 수명주기) 관리

결함 예방

테스트 프로세스 최적화

테스트 품질 제어

L5 : 최적화

Level 1: 초기

테스트 운영

제품 품질 측정

발전된 동료 검토

L4 : 운영과 측정

지속적 개선

측정

조직화

품질제어

테스팅

품질측정

테스팅

요구사항 검증

테스팅

결함발견

테스팅

내재화

L3 : (SW수명주기에) 정의

테스트 조직

테스트 교육/훈련 프로그램

테스트 라이프사이클과 개발과의 통합

비기능 테스팅

동료 검토

TMMi (Test Maturity Model Integrated)

참조: TMMi Foundation (www.tmmifoundation.org)

20

3. 테스팅 프로세스 TMMI 심사 결과(3/4)

제품에 대한

•풍부한 경험

•풍부한 도메인 지식

•열정

표준 기반의 체계적인

•프로세스

•리스크 분석

•전략수립

•산출물(문서)관리

•결함관리

•교육

테스팅 업무에 대한

•테스트 업무 집중도

•동기부여

전반적인 강점 전반적인 개선점

21

3. 테스팅 프로세스 TMMI 심사 결과(4/4)

프로세스 성숙도 레벨이 올라가면??

실패 비용 감소

직원 만족도 향상

BEST 테스팅 및 품질향상으로 고객 만족도 상승

유지보수 테스트 시간 단축

프로세스의 체화로 테스트 시간 단축

커뮤니케이션 오류 및 재작업 최소화

결함 발견율이 높아짐

일관성 있는 Best Practice 기반 테스트

Efficiency Effectiveness

22

4. 개선 과제 – 조직 테스트 정책/전략 프로세스 개선

목적

테스팅 범위 정의

테스트 원칙 및 규정 수립

조직 정책 및 전략 수립

무엇을 해야 하는지에 대한 정의

테스트의 정의

테스팅의 미션(달성되야 할 품질 레벨)

조직원의 테스팅 직무에 대한 전략적(상위레벨)관점

테스트 프로세스 개선(목표,실적,척도 등)

기대

효과

주요

개선

사항

경험적,

직관적으로 테스트

As-Is

To-Be

조직 테스트 정책/전략은 모든

프로젝트 테스트에 적용되고,

테스트 프로세스에 대한 일관적 효과

23

4. 개선 과제 – 테스트 레벨 프로세스 개선

Best Practice 리포팅 제공(그래프위주)

요구사항 및 리스크 레벨과 연계된

리포팅 제공

일정,리소스 계획

리스크 분석 및 전략 수립지원

테스트추정(Estimation)

테스트보고서 설계

테스팅실행결과 기록 및 진척도 파악

결함등록 및 추적

테스트케이스 작성을 위한

설계 기법 가이드

테스트케이스 관리

리스크 분석 및 협의

테스팅전략 작성

테스트

레벨 계획

리스크 기반

테스팅전략

수립

테스트설계

결함 관리

및 추적

테스트

레벨

리포팅

As-Is

(경험적)

테스트케이스

도출

테스트수행

To-Be

24

4. 개선 과제 – 결함관리 개선

게시판 형태로 결함을 공유결함발생-수정정도를 알 수 없음

변경이 큰 부분(CD배포)의 경우는 필드에서 발생, 등록되는 결함건수가 많음

결함정보 공유가 어렵고 예전 결함을 검색하거나 히스토리를 볼 수 없음

결함을 가공한 귀중한 리포트를 만들지 못함

테스트를 통한 제품의 리스크 감소 수준 파악이 어려움

결함등록 결함분배 결함수정 결함수정확인 결함종료

발견한 결함의 수명주기에 따른 체계적인 관리

결함 관리를 실시간으로 지원하는 결함관리시스템 사용

결함관리시스템은 테스트관리시스템과 연계

결함 관리는 물롞 테스팅 전반을 관리 테스트 리포팅 자동 생성

리스크 기반의 수치화된 리포팅을 통해 제품의 품질 수준 파악 지원

As-Is 개선기회

To-Be(Level 3업체)

25

4. 개선 과제 – 테스트 리포팅

체계적인 결함과리를 통하여 누적결함 S 커브, 장애검출율, 결함율, 결함 유형, 결함 심각도 등을 리포팅

제품품질에 대한 통찰력 키우고 이를 통해 제품 출시에 대한 의사결정을 지원

To-Be(Level 3업체)

문서상으로 명확히 보고되고 있는 테스트 리포팅을 발견할 수 없음

현재 테스트 진척도를 알 수 없음

리스크 별 결함관리 정도를 알 수 없음

품질 지수의 정량적 수치를 측정하기 힘듬

As-Is

• <리스크 레벨 별 누적결함 S-커브> • <심각도 별 결함 수> • <테스트 진척도>

26

좋은 리포팅 요건

(출처 : TPI)내용

A. 발견된 결함과 미해결 결함 주기적으로 발견된 결함과 미해결 결함을 리포팅

B. 결함 우선순위 +

진척도 (테스트와

제품 품질 상태)

결함 우선 순위 + 계획된, 사용된, 필요한 예산과 시간 관련 정보

소요시간?, 어떤 테스트가 명세(TC화)되었는가?, 어떤 TC가 수행되었는가?,

어떤 부분이 정확하게 수행되었는가? 어떤 TC가 앞으로 수행되어야 하는가?

C. 리스크&조언

(메트릭으로 실증…)

테스트 전략과 연계

예산, 시간, 품질(또는 결함) 등의 메트릭 경향 분석

D. 테스팅 조언이 SPI적

특성을 반영

테스팅이 제품보다 SPI에 영향을 미쳐 결함예방 차원의 활동으로 인식된다.

테스팅 활동 이상의 조언 (예, 기능명세의 어떤 부분을 추가적으로 리뷰, SW

인도의 적절한 시기를 프로젝트 계획에 반영 등)

4. 좋은 테스트 리포팅

27

5. 테스트 프로세스 개선 절차

Reference : Tim Koomen, Stepwise Improvement of the Test Process Using TPI. 2005 ICS Test conference

프

로

세

스

개

선

절

차

인식공유

개선대상 및 영역,

접근법 선정

현 수준 평가

개선사항도출

실행계획 수립

개선 실행

개선사항 평가

•.

28

5. 컨설팅을 통한 레벨2 개선 추진전략

테스트 교육

테스트 프로세스

진단 및 제안

시범 적용

수평 전개

1단계 2단계컨설팅

TMMI Level 2 달성

유지보수 테스팅

체계화 컨설팅

OR 직접 진행

N 프로젝트 기간

유지보수 테스팅에

시범적용

3단계 4단계

수평전개

5단계

테스트 프로세스

보완

수평전개

6단계

N+1 프로젝트 기간

29

5. 테스트 프로세스 구축/개선 전략

객관성을 유지하면서 조직적 개선을 유도하기 위해서는 컨설팅을 활용

지금 당장 해야 한다면 ?

- RISK BASE(개선 과제를 중심으로 우선적 실행 고도화)

해외 수출을 위해서는 국제 표준을 기반으로 진행

- ISO29119활용, IEEE829, MISRA등

- 테스팅 보장을 위해서 공식적 설계 기법 도입(자동차의 경우 MC/DC 요구)

TMMI레벨 2 도달하기 위한 경험을 기반으로 우선적 전략, 어떤 기업이든 쉽게

접근 가능한 방법으로 정의-제도적, 경영적, 기술과 ,관리적 관점을 통합

30

5. 테스트 프로세스 구축/개선 전략

효율성/효과성을 고려하여 자동화 도입 및 기존프로세스 연계

-임베디드 시스템의 경우 코드 재사용 비율이 일반적으로 70%로 높음

-반복에 따른 효율성을 고려하여 자동화 도입, 리그레이션 테스팅 강화

자사 특성에 맞는 프로세스 구축

- 자사의 경험 기반(강점)을 유지 + 공식적 설계 기법의 적용

- 컨설턴트에게 현재 사실을 그대로 …

- 개발 프로세스와 통합, Early Test – Defect Prevention

- 리뷰 및 인스펙션의 고도화, 이해 당사자(테스터,QA) 참여

개인의 기술과 능력을 팀으로 능력수준으로 확장, 팀의 능력을 조직 전체의

능력으로 확대 시키는 전략이 필요

- 특정인의 의존도가 높은 벤처 또는 연구소의 경우 심각하게 고려.

31

6. 맺음말

‘조금이라도 견딜 수 있으면 변하지 않는다’

진단은 1개월 개선은 10년!

전문성이 확보되지 않으면, 성숙도는 언제나 레벨-1

중국의 만리 장성 커뮤니케이션의 고립을 초래

MUST DO !

리더는 누구나 쉽게 접근할 수 있는 기반(프로세스)을 만드는 것

32

TMMI 진단 참고 자료

자가 진단 : www.softwaretesting.co.kr

TMMi Foundation : www.tmmifoundation.org

34

•ROI (정량지표)

실제 프로젝트내의 테스팅 활동들이 투자 대비 얼마만큼의 재정적인 이익을 보았는지 검증.

경영층 레벨에서 가장 익숙하고 보고 받기 원하는 KPI

관련된 지표로서 Pay Back Period 도 있음.

산술식 : (투자액-이익)/투자액 * 100

테스팅 활동 중 ROI 측정

테스팅 조직 Set Up, 인력 증원

테스트 자동화 도구 도입

테스트 외부 컨설팅 도입, 테스트 아웃소싱

※별첨 : 측정 지표 ROI(Return On Investment)

35

※별첨 : 테스트 컨설팅 ROI측정 사례- A사 컨설팅

•1

컨설팅 전, 테스팅의 성과는 600 만원

컨설팅 전, 실패비용 = 70*20 + 30*100 = 4,400 만원 컨설팅 후, 실패비용 = 90*20 + 10*100 = 2,800 만원

컨설팅으로 인한 수익 = 4,400 – 2,800 = 1,600 만원 컨설팅의 ROI = (1,600 – 500) / 500 = 220%

기존

투자액

기존

투자액

목표 컨설팅 전 컨설팅 후

컨설팅비용투자

이익

5,000

4,400

2,800

1,000

500

※용어 정의

IF : Internal Failure

EF : External Failure

IF 70

EF 30 EF 10

IF 90

36

테스팅 도입 전, 실패비용 = $2,089,720

테스팅 도입 후, 실패비용 = $630,000

테스팅으로 인한 수익 = $2,089,720 – $630,000 = $1,459,720

테스팅의 ROI = (1,459,720)/645,600 = 226%

사람,인프라

투자액

Add-hoc Testing Formal Testing

투자

이익

Repair Cost

$630,000

Repair Cost

$2,089,720

$645,600

•* by The ROI of Testing, STAREAST 2008

※별첨: 테스트 도입 ROI 측정 사례-V사

37

별첨: “투자”로서의 테스팅

품질비용 개념 (Cost of (poor) quality by Juran)

Cquality = Cconformance + Cnonconformance

Conformance costs : 테스팅 (결함 발견)과 QA (결함 예방)

Nonconformance costs : 결함 수정, 재시험(retesting), 불만족 고객응대, 회사 이

미지 손상, 사업 기회 상실 등

테스팅 ROI (Return On Investment) 계산 (가상 사례)

Conformance costs : 수동 / 자동 / 정적 테스팅 (편의상 보수적으로 QA 제외)

Nonconformance costs : 결함 수정 (편의상 보수적으로 수치화 어려운 것들 제외)

매 분기 1,000개의 반드시 수정해야할 결함

결함 수정 비용이 검토(Review) 단계에서는 1,000원, 개발자 테스팅 단계에서는

10,000원, 제3자 테스트 팀에의한 테스팅 단계에서는 100,000원, 사용자가 사용 중

발견한 경우는 1,000,000원

38

※“투자”로서의 테스팅

테스팅의 가치 창출

결함 발견 및 수정 (때로는 예방

까지)

비즈니스 리스크 최소화

프로젝트를 성공으로 유도 (적시

에 정확하고 신뢰성 높은 프로젝

트 추적 정보 제공을 통해)

결함 발견 및 미수정 (고객지원

시간 감소 + 유지보수 용이)

개발자 테스트 구조화 및 개선으

로 ROI 향상

초기 수정 비용 낮음

+전체적으로 안정된 시스템 개

발에 기여

+ 개발에 자신감 부여

단위 : 천원

테스팅 없이 수동 테스팅 수/자동 테스팅 수/자동/정적개발자 발견 결함 수 : 250 250 250 250

테스터 발견 결함 수 : - 350 500 650

고객 발견 결함 수 : 750 400 250 100

테스팅 투자비

인건비 - 60,000 60,000 60,000

인프라 - 10,000 10,000 10,000

도구 - - 12,500 12,500

투자 총계 - 70,000 82,500 82,500

개발 비용

반드시 수정할 결함 수 250 250 250 250

고정비 2,500 2,500 2,500 2,500

테스팅 비용

반드시 수정할 결함 수 - 350 500 650

고정비 - 35,000 50,000 50,150

고객 지원

반드시 수정할 결함 수 750 400 250 100

고정비 750,000 400,000 250,000 100,000

품질 비용

Conformance - 70,000 82,500 82,500

Nonconformance 752,500 437,500 302,500 152,650

품질 비용 총계 752,500 507,500 385,000 235,150

ROI(Return On Investment) NA 350% 445% 627%

테스팅 ROI

•출처 : Rex Black, 소프트웨어 테스팅 교육자료, 2005