124
+ 60 分分分分分分分分分分 ISO29119 WACATE 分分分分 分分 分分 分分 分分

60分でわかった気になるISO29119 #wacate

Embed Size (px)

Citation preview

Page 1: 60分でわかった気になるISO29119 #wacate

+

60 分でわかった気になる ISO29119WACATE 実行委員

朱峰 錦司藤原 洋平

Page 2: 60分でわかった気になるISO29119 #wacate

+本セッションのゴール

規格の意義や成り立ちを知る

ISO/IEC/IEEE 29119 (以降「 29119 」と略称) Part.1-4の概要を理解し、説明できるようになる

29119 を巡る議論を知り、有用な活用方法を考えられるようになる

29119 以外のソフトウェアテスト/品質業界において有用な規格を知る

2016/1/10WACATE 2015 冬

2

Page 3: 60分でわかった気になるISO29119 #wacate

+目次

1. 規格とは

2. 29119 概要

3. 29119 各 Part 概説1. Part.1 Concepts and definitions2. Part.2 Test processes3. Part.3 Test documentation4. Part.4 Test techniques

4. 29119 の活用

5. 関連情報2016/1/10WACATE 2015 冬

3

Page 4: 60分でわかった気になるISO29119 #wacate

+

1. 規格とは

2016/1/10WACATE 2015 冬

4

Page 5: 60分でわかった気になるISO29119 #wacate

+1.1 規格

2016/1/10WACATE 2015 冬

5

与えられた状況において最適な秩序を達成する

ことを目的に、共通的に繰り返して使用する

ために、活動又はその結果に関する規則、指針

又は特性を規定する文書であって、合意に

よって確立し、一般に認められている団体によって

承認されているもの。 JIS Z 8002:2006標準化団体

Page 6: 60分でわかった気になるISO29119 #wacate

+1.2 標準化団体

様々な分野に多様な団体が存在 異なる団体が似た規格を提案をしてぶつかることも…

VHS vs. β マックス Blu-ray vs. HD DVD

権威のある標準化団体の例 国際

ISO (国際標準化機構) IEC (国際電気標準会議) IEEE-SA

国内 JISC (日本工業標準調査会)

2016/1/10WACATE 2015 冬

6

Page 7: 60分でわかった気になるISO29119 #wacate

+1.2.1 ISO国際標準化機構

International Organization for Standardization 「 IOS 」ではないので注意

世界最大の標準化団体 非政府組織、かつ、非営利法人

本部はスイスのジュネーブ 各国から 1 機関だけが参加可能

日本からは後述の JISC が参加 規格は以下のフォーマット

2016/1/10WACATE 2015 冬

7

ISO NNNNN-P:YYYY規格番号 部(パート)番号 制作・改定年

Page 8: 60分でわかった気になるISO29119 #wacate

+1.2.2 IEC国際電気標準会議

International Electro-technical Commission 電気・電子工学関連の国際規格を扱う

ISO と共同策定することも多い 規格は以下のフォーマット

規格番号は ISO とかぶらないように 60000 〜 79999 を利用

ISO と共同の場合は結合して以下のとおり

2016/1/10WACATE 2015 冬

8

IEC NNNNN:xxxxxxx規格番号 規格名

ISO/IEC NNNNN-P:YYYY xxxxxxx

Page 9: 60分でわかった気になるISO29119 #wacate

+1.2.3 IEEE-SAIEEE

The Institute of Electrical and Electronics Engineers, Inc. 電気・電子工学関連の世界最大の学会

IEEE-SA IEEE 内で規格策定を行っている団体 規格は以下のフォーマット

ISO/IEC と共同で規格策定を行うこともしばしば2016/1/10WACATE 2015 冬

9

IEEE NNN.PPx規格番号 部番号 拡張 ID

Page 10: 60分でわかった気になるISO29119 #wacate

+1.2.4 JISC日本工業標準調査会

Japanese Industrial Standards Committee 経済産業省に設置された審議会

日本の国家標準である JIS の策定を推進 規格は以下のフォーマット

部門記号は A 〜 Z まである IT 系は「情報処理: X 」

ISO 等の国際規格を翻訳したものは規格番号をそろえる 昔は 4 桁だったが、最近は ISO にあわせて 5 桁も用いる

2016/1/10WACATE 2015 冬

10

JIS X NNNNN-P:YYYY規格番号 部(パート)番号 制作・改定年部門記号

Page 11: 60分でわかった気になるISO29119 #wacate

+1.3 ISO 規格策定の流れ

通常、初回の附議から 6 ステップを経て 3 年以内に発行される 文書レベルによってはステップが省略される 各ステップごとに協議・意見照会を実施してブラシュアップ

していく

策定ステップ1. NP (新作業項目)2. WD (作業原案)3. CD (委員会原案)4. DIS (国際規格原案)5. FDIS (最終国際規格案)6. Published

2016/1/10WACATE 2015 冬

11

Page 12: 60分でわかった気になるISO29119 #wacate

+

2. 29119 概要

2016/1/10WACATE 2015 冬

12

Page 13: 60分でわかった気になるISO29119 #wacate

+2.1 規格概要

名称 ISO/IEC/IEEE 29119 Software Testing

背景 ソフトウェアテストに特化した用語、プロセス、文書などの国際標準が定義されていない IEEE 829 はソフトウェアテスト「ドキュメント」のみ 用語については ISTQB があるが、規格とは言い難い

策定 2007 年に策定に向けて ISO/IEC JTC1/SC7 内に検討グ

ループとして「 WG26 」が発足 2012 年から IEEE が joint 標準として参加

2016/1/10WACATE 2015 冬

13

Page 14: 60分でわかった気になるISO29119 #wacate

+2.2 WG26 日本国内関連メンバー

日本メンバーは主に ASTER より派遣 http://www.softwaretestingstandard.org/ より抜粋

Atsushi Mitomi - Hitachi, Japan Juichi Takahashi - Sony Corporation, Japan Kazuo Yabuta - Fujitsu, Japan Kiyoshi Ogawa - Nagoya Industrial Research Institute, Japan Kouichi Akiyama - Fuji Xerox, Japan Satomi Yoshizawa - NEC, Japan Satoshi Masuda - IBM, Japan Shinji Iwata - NTT Data Coorporation, Japan Tohru Matsuodani - Hosei University, Japan Tsuneo Yamaura - Tokai University, Japan Tsuyoshi Yumuto - Mamezou Co, Japan Yasuharu Nishi - University of Electro-Communications, Japan Yuji Shinoki - Hitachi, Japan

2016/1/10WACATE 2015 冬

14

主査

幹事幹事

Page 15: 60分でわかった気になるISO29119 #wacate

+2.3 規格の構成

現状以下の 5 パート構成

2016/1/10WACATE 2015 冬

15

パート タイトル ステータス

1 Concepts and definitions  - 概念と定義 - Published (2013)

2 Test processes  - テストプロセス - Published (2013)

3 Test documentation  - テスト文書 - Published (2013)

4 Test techniques  - テスト技法 - Published (2015)

5 Keyword-driven testing  -キーワード駆動テスト - DIS

2015/12/1 publishほやほや

Page 16: 60分でわかった気になるISO29119 #wacate

+2.4 Part.5 Keyword-driven testing「キーワード駆動テスト」という手法を軸に、テスト自動化

システムのアーキテクチャやテストケースの抽象化アプローチについて記載 Part.1-4 とはだいぶ毛色が違う

章構成 1 〜 4章:他 Part と共通 5章: Introduction to Keyword-Driven Testing

キーワード駆動テストの概念定義 6章: Application of Keyword-Driven Testing

キーワード駆動テストの適用手順 7章: Keyword-Driven Testing Frameworks

キーワード駆動テストツールのアーキテクチャ 8章: Data interchange

キーワード駆動テストツール間のデータ変換

2016/1/10WACATE 2015 冬

16

Page 17: 60分でわかった気になるISO29119 #wacate

+

3. 29119 各 Part 概説

2016/1/10WACATE 2015 冬

17

Page 18: 60分でわかった気になるISO29119 #wacate

2016/1/10WACATE 2015 冬

18

Part.1 ~ Part.4 を

40 分で

Page 19: 60分でわかった気になるISO29119 #wacate

2016/1/10WACATE 2015 冬

19

分かった気になる

Page 20: 60分でわかった気になるISO29119 #wacate

+

本スライドは意訳を含んでいます正確性を求める場合は原著を参照してください

全項目は時間の都合上紹介できません「内容」ではなく「概要」を紹介します

気になる項目は原著を確認してください

Page 21: 60分でわかった気になるISO29119 #wacate

+

Part.1 Concepts and definitions

Page 22: 60分でわかった気になるISO29119 #wacate

+Contents前書き Forewordイントロダクション Introduction

1. 適用範囲 Scope 2. 適合性 Conformance 3. 引用規格 Normative reference 4. 用語と定義 Terms and definitions 5. ソフトウェアテストのコンセプト       Software Testing Concepts

補足 Annex

Page 23: 60分でわかった気になるISO29119 #wacate

+Contents (Annex)補足 Annex

A. V&V におけるテストの役割The Role of Testing in Verification and

Validation B. メトリクスと計測

Metrics and Measures C. 様々なライフサイクルモデルにおけるテスト

Testing in Different Life Cycle Models D. テストサブプロセスの事例

Detailed Test Sub-process Examples E. テストの役割と責任

Roles and Responsibilities in Testing

Page 24: 60分でわかった気になるISO29119 #wacate

+Contents (Main)5. ソフトウェアテストのコンセプト

5.1. ソフトウェアテストのイントロダクション 5.2. 組織やプロジェクトにとっての   ソフトウェアテスト

5.3. ソフトウェアのライフサイクルにおける   一般的なソフトウェアテスト

5.4. リスクベースドテスト 5.5. テストサブプロセス 5.6. テストプラクティス 5.7. テスト自動化 5.8. 欠陥管理

Page 25: 60分でわかった気になるISO29119 #wacate

+Contents (Main)5. Software Testing Concepts

5.1. Introduction to Software Testing 5.2. Software Testing in   an Organizational and Project Context

5.3. Generic Testing Processes in   the Software Life Cycle

5.4. Risk-based Testing 5.5. Test Sub-process 5.6. Test Practices 5.7. Automation in Testing 5.8. Defect Management

Page 26: 60分でわかった気になるISO29119 #wacate

+Contents (Main)5. Software Testing Concepts

5.1. Introduction to Software Testing 5.2. Software Testing in   an Organizational and Project Context

5.3. Generic Testing Processes in   the Software Life Cycle

5.4. Risk-based Testing 5.5. Test Sub-process 5.6. Test Practices 5.7. Automation in Testing 5.8. Defect Management

Page 27: 60分でわかった気になるISO29119 #wacate

+

image

Page 28: 60分でわかった気になるISO29119 #wacate

+Introduction to Software Testing意訳ソフトウェアテストは必要だよね。完璧なソフトウェアを作ることは不可能だから。

動的なテストと静的なテストを組み合わせると、効果的だよ。

ソフトウェアテストはなるべく早く、多くの不具合を見つけるべきなんだ。

…といった基本的な概念の説明

Page 29: 60分でわかった気になるISO29119 #wacate

+Contents (Main)5. Software Testing Concepts

5.1. Introduction to Software Testing 5.2. Software Testing in   an Organizational and Project Context

5.3. Generic Testing Processes in   the Software Life Cycle

5.4. Risk-based Testing 5.5. Test Sub-process 5.6. Test Practices 5.7. Automation in Testing 5.8. Defect Management

Page 30: 60分でわかった気になるISO29119 #wacate

+Software Testing in an Organizational and Project Context

要約“テストポリシー” や “テスト戦略” といった、上流のレイヤーの話から、プロジェクトのコンテキストにおけるテストプロセスの話などについて言及

Page 31: 60分でわかった気になるISO29119 #wacate

+Software Testing in an Organizational and Project Context上位レイヤーのお話

すべてのソフトウェアテストの基礎となる、組織のテストポリシーと 1 つ以上のテスト戦略があることが望ましい

テストポリシーやテスト戦略は無くてもテスト実施できるが、一貫性が無く、効果的、効率的でない

Page 32: 60分でわかった気になるISO29119 #wacate

+Software Testing in an Organizational and Project Context上位レイヤーのお話

“ 単一の” テスト戦略、計画、方法、プロセスではあらゆる状況に対応できない

従って、組織やプロジェクトは規格を参照し、テストの詳細を絞り込む必要がある

Page 33: 60分でわかった気になるISO29119 #wacate

+Software Testing in an Organizational and Project Contextプロジェクト内のお話

プロジェクト計画は、テスト活動の考慮が必要

テスト計画では、組織のテストポリシーと戦略、およびプロジェクト固有の決定を反映させる

テスト計画はテスト戦略を含む

テスト戦略は、次頁に記載された特定の項目に取り組むべきである

Page 34: 60分でわかった気になるISO29119 #wacate

+

引用: ISO/IEC/IEEE 29119-1:2013 p16 Figure 1

Figure 1Multi-layered

test context diagram

Page 35: 60分でわかった気になるISO29119 #wacate

+Software Testing in an Organizational and Project Contextプロジェクト内のお話

プロジェクトのテストは多くの場合、いくつかのテストサブプロセスによって実行される→ 詳細は 5.5 で!

テストプロセスとテストサブプロセスの関係を次の図に示す

テストプロセスはテストレベルやフェーズ、テストタイプによって決定される

Page 36: 60分でわかった気になるISO29119 #wacate

+

引用: ISO/IEC/IEEE 29119-1:2013 p17 Figure 2

Page 37: 60分でわかった気になるISO29119 #wacate

+Software Testing in an Organizational and Project Contextプロジェクト内のお話

テストプロセスについて29119 では「マルチレイヤーテストプロセスモデル」を導入しているOrganizational Test ProcessTest Management processesDynamic Testing processes

詳細は、 29119-2 にて!

Page 38: 60分でわかった気になるISO29119 #wacate

+Contents (Main)5. Software Testing Concepts

5.1. Introduction to Software Testing 5.2. Software Testing in   an Organizational and Project Context

5.3. Generic Testing Processes in   the Software Life Cycle

5.4. Risk-based Testing 5.5. Test Sub-process 5.6. Test Practices 5.7. Automation in Testing 5.8. Defect Management

Page 39: 60分でわかった気になるISO29119 #wacate

+Generic Testing Processes inthe Software Life cycleソフトウェアにはライフサイクルタイムが存在

ソフトウェアテストは、開発だけでなく保守を含めた広いコンテキストで行われる

この節は、ソフトウェア開発ライフサイクルとそのサブプロセスやテストプロセス間の関係のいくつかを概説する

Page 40: 60分でわかった気になるISO29119 #wacate

+

引用: ISO/IEC/IEEE 29119-1:2013 p20 Figure 6

Page 41: 60分でわかった気になるISO29119 #wacate

+Generic Testing Processes inthe Software Life cycle図 6 は、システムのライフサイクルの一例です

1 つ以上の開発のライフサイクルおよび 1 つ以上の運用ライフサイクルから構成されている

システムの初回リリース以降は運用に入る

開発されているすべての新しいバージョンは、対応するテストと供に、それ自体が開発プロジェクトとして扱われるべき

Page 42: 60分でわかった気になるISO29119 #wacate

+Generic Testing Processes inthe Software Life cycle5.3.x の流れDevelopment Project Sub-processes and

their ResultsOn-going Maintenance and its ResultsSupport Processes for the Software

Development Life Cycle品質保証とテストの関係プロジェクトマネジメントとテストの関係構成管理とテストプロセス改善とテスト

Page 43: 60分でわかった気になるISO29119 #wacate

+Contents (Main)5. Software Testing Concepts

5.1. Introduction to Software Testing 5.2. Software Testing in   an Organizational and Project Context

5.3. Generic Testing Processes in   the Software Life Cycle

5.4. Risk-based Testing 5.5. Test Sub-process 5.6. Test Practices 5.7. Automation in Testing 5.8. Defect Management

Page 44: 60分でわかった気になるISO29119 #wacate

+Risk-based Testing全てを網羅した(全数)ソフトウェアテストを

行うことは不可能である

そのため、テストはサンプリング活動をする

サンプリングのために様々なプラクティス、技法、タイプのようなテストの概念が存在し、それらは議論され、掲載されている

本規格では、リスクベースアプローチを用いて指定された制約およびコンテキスト内で最適なテスト実施を考える

Page 45: 60分でわかった気になるISO29119 #wacate

+Risk-based Testingリスクベースドテストを行うということは、

テスト中、最も優先順位が高いリスクに関心を払っているということである

他の規格、例えば ISO/IEC 16085 Risk Management はシステムのオペレーション時のリスク決定に役立つ

Page 46: 60分でわかった気になるISO29119 #wacate

+Risk-based Testing

5.4.x の流れ

5.2 で記載したマルチレイヤーテストプロセス毎のリスクベースドテストの適用方法を紹介

Using Risk-Based Testing in…Organizational Test ProcessTest Management processesDynamic Testing processes

Page 47: 60分でわかった気になるISO29119 #wacate

+Contents (Main)5. Software Testing Concepts

5.1. Introduction to Software Testing 5.2. Software Testing in   an Organizational and Project Context

5.3. Generic Testing Processes in   the Software Life Cycle

5.4. Risk-based Testing 5.5. Test Sub-process 5.6. Test Practices 5.7. Automation in Testing 5.8. Defect Management

Page 48: 60分でわかった気になるISO29119 #wacate

+Test Sub-processテストプロジェクトはテスト戦略に基づき、

いくつかのテストサブプロセスで構成される

テストサブプロセスはソフトウェアのライフサイクルタイム、フェーズ、品質特性に関連付けられる

テストサブプロセスは静的テストと動的テスト両方を含んでもよい

テストサブプロセスを記述するときは、テスト対象範囲と範囲外についての明記が重要

Page 49: 60分でわかった気になるISO29119 #wacate

+Test Sub-processテストサブプロセスは、唯一の静的または動的

テストから成ることはめずらしく、クライテリアを満たすために繰り返し実施されることもある(下図)

繰り返しの動的テストは、再テストや回帰テストと呼ばれる

引用: ISO/IEC/IEEE 29119-1:2013 p26 Figure 10

Page 50: 60分でわかった気になるISO29119 #wacate

+Test Sub-processテストプロジェクトにおける

テストサブプロセスの数は、テスト戦略とライフサイクルのフェーズに依存

ただし開発ライフサイクルには依存しない

Page 51: 60分でわかった気になるISO29119 #wacate

+Contents (Main)5. Software Testing Concepts

5.1. Introduction to Software Testing 5.2. Software Testing in   an Organizational and Project Context

5.3. Generic Testing Processes in   the Software Life Cycle

5.4. Risk-based Testing 5.5. Test Sub-process 5.6. Test Practices 5.7. Automation in Testing 5.8. Defect Management

Page 52: 60分でわかった気になるISO29119 #wacate

+Test Practicesこの 29119 では、広く採用されている

Risk-based アプローチを基本としている

ただ、計画やプロジェクトのテストを実施するための別のプラクティスはいくつか存在する

⇒ Risk-based Testing 以外の紹介

テスト戦略の選択は、組織、事業、およびテスト項目についてのリスクの様々によって決定される

Page 53: 60分でわかった気になるISO29119 #wacate

+Test PracticesRisk-based アプローチ以外のプラクティス

Requirements-Based TestingModel-Based TestingMathematical-Based TestingExperience-Based TestingScripted and Unscripted Testing

それぞれの目的や狙い、やり方、注意点などについて書かれている

Page 54: 60分でわかった気になるISO29119 #wacate

+Contents (Main)5. Software Testing Concepts

5.1. Introduction to Software Testing 5.2. Software Testing in   an Organizational and Project Context

5.3. Generic Testing Processes in   the Software Life Cycle

5.4. Risk-based Testing 5.5. Test Sub-process 5.6. Test Practices 5.7. Automation in Testing 5.8. Defect Management

Page 55: 60分でわかった気になるISO29119 #wacate

+Automation in Testingテスト自動化の概要については 29119-2,

テスト技法からの側面は 29119-4 に記載

テスト自動化=テスト“実行”の自動化と思われがちだが、ツールを使用することで自動化できるエリアがある テストケースマネジメント テスト進捗管理とコントロール テストデータ生成 テストケース生成 テスト実行 テスト環境実装およびメンテナンス …他

Page 56: 60分でわかった気になるISO29119 #wacate

+Contents (Main)5. Software Testing Concepts

5.1. Introduction to Software Testing 5.2. Software Testing in   an Organizational and Project Context

5.3. Generic Testing Processes in   the Software Life Cycle

5.4. Risk-based Testing 5.5. Test Sub-process 5.6. Test Practices 5.7. Automation in Testing 5.8. Defect Management

Page 57: 60分でわかった気になるISO29119 #wacate

+Defect Management欠陥管理が必要な場合の調査、インシデント

レポート、再テストについては 29119-2 でカバーしている

ただし他の全ての要素はカバーされていないので下記規格を参照とのことISO/IEC 12207ISO/IEC 20000IEEE 1044

Page 58: 60分でわかった気になるISO29119 #wacate

+再掲: Contents (Annex)補足 Annex

A. V&V におけるテストの役割The Role of Testing in Verification and

Validation B. メトリクスと計測

Metrics and Measures C. 様々なライフサイクルモデルにおけるテスト

Testing in Different Life Cycle Models D. テストサブプロセスの事例

Detailed Test Sub-process Examples E. テストの役割と責任

Roles and Responsibilities in Testing

Page 59: 60分でわかった気になるISO29119 #wacate

+Concepts and definitions まとめ

29119-1 は、他の章からも参照されるため定義とコンセプトについて明確化している

“そもそもソフトウェアテストとは?”というところから自動化やプロセス、モデルについて幅広くカバーしている

Page 60: 60分でわかった気になるISO29119 #wacate

+

Part.2 Test processes

Page 61: 60分でわかった気になるISO29119 #wacate

+Contents (Common)前書き Forewordイントロダクション Introduction

1. 適用範囲 Scope 2. 適合性 Conformance 3. 引用規格 Normative references 4. 用語と定義 Terms and definitions 5. 次ページ

補足 Annex

Page 62: 60分でわかった気になるISO29119 #wacate

+Contents (Main)5. マルチレイヤーテストプロセスモデル

Multi-Layer Test Process Model6. 組織的テストプロセス

Organizational Test Process7. テストマネジメントプロセス

Test Management Processes8. 動的テストプロセス

Dynamic Test Processes

Page 63: 60分でわかった気になるISO29119 #wacate

+Contents (Main)5. マルチレイヤーテストプロセスモデル

Multi-Layer Test Process Model6. 組織的テストプロセス

Organizational Test Process7. テストマネジメントプロセス

Test Management Processes8. 動的テストプロセス

Dynamic Test Processes

Page 64: 60分でわかった気になるISO29119 #wacate

+The multi-layer relationship between test processes

Organizational Test Process

Test Management Processes

Dynamic Test Processes

Page 65: 60分でわかった気になるISO29119 #wacate

+Contents (Main)5. マルチレイヤーテストプロセスモデル

Multi-Layer Test Process Model6. 組織的テストプロセス

Organizational Test Process7. テストマネジメントプロセス

Test Management Processes8. 動的テストプロセス

Dynamic Test Processes

Page 66: 60分でわかった気になるISO29119 #wacate

+Organizational Test Process組織的テストプロセスは組織的なテスト仕様書の開発と管理のために使用される

これらの仕様は、組織全体のテストに適用される(つまり、プロジェクトベースではない)

組織のテストポリシーと組織のテスト戦略は、組織のテスト仕様のひとつ

Page 67: 60分でわかった気になるISO29119 #wacate

+Organizational Test Process組織のテストポリシー:

目的、目標、組織内のテストの全体的な範囲について説明した、エグゼクティブレベルの文書

組織的なテストプラクティスの確立やフレームワークを提供する

組織のテスト戦略: テストが組織内で行われる方法を定義した、詳細な技術資料

プロジェクト固有のものではなく一般的な文書 組織内のいくつかのプロジェクトためのガイドラインを

提供

Page 68: 60分でわかった気になるISO29119 #wacate

+

引用: ISO/IEC/IEEE 29119-2:2013 p12 Figure 3

Page 69: 60分でわかった気になるISO29119 #wacate

+Organizational Test Process組織的テストプロセスはテスト仕様の作成、

レビュー、メンテナンスの活動を含む

また、組織的コンプライアンスの監視もカバーしている(次図)

Page 70: 60分でわかった気になるISO29119 #wacate

+

引用: ISO/IEC/IEEE 29119-2:2013 p12 Figure 3

Page 71: 60分でわかった気になるISO29119 #wacate

+Contents (Main)5. マルチレイヤーテストプロセスモデル

Multi-Layer Test Process Model6. 組織的テストプロセス

Organizational Test Process7. テストマネジメントプロセス

Test Management Processes8. 動的テストプロセス

Dynamic Test Processes

Page 72: 60分でわかった気になるISO29119 #wacate

+Test Management Processes全体のテストプロジェクト、または、

テストプロジェクト内の任意のテストフェーズ(例:システムテスト)やテストタイプ(例:性能テスト)のテスト管理をカバーするプロセスを定義します

テストマネジメントプロセスは、次の 3 つから成り立ちます(次頁)

Page 73: 60分でわかった気になるISO29119 #wacate

+Test Management Processes

Test Management Process

TestPlanningProcess

TestMonitoring& ControlProcess

TestCompletio

nProcess

Page 74: 60分でわかった気になるISO29119 #wacate

+

引用: ISO/IEC/IEEE 29119-2:2013 p16 Figure 6

Page 75: 60分でわかった気になるISO29119 #wacate

+

引用: ISO/IEC/IEEE 29119-2:2013 p22 Figure 7

Page 76: 60分でわかった気になるISO29119 #wacate

+

引用: ISO/IEC/IEEE 29119-2:2013 p25 Figure 8

Page 77: 60分でわかった気になるISO29119 #wacate

+Contents (Main)5. マルチレイヤーテストプロセスモデル

Multi-Layer Test Process Model6. 組織的テストプロセス

Organizational Test Process7. テストマネジメントプロセス

Test Management Processes8. 動的テストプロセス

Dynamic Test Processes

Page 78: 60分でわかった気になるISO29119 #wacate

+Dynamic Test Processes動的テストプロセス =>“いわゆるテスト”を想像してください

次の項目を含むテスト設計・実装テスト環境セットアップ・メンテナンステスト実行インシデントレポート

Page 79: 60分でわかった気になるISO29119 #wacate

+Dynamic Test Processes

Dynamic Test Process

Test Design &Implementation

TestExecution

Test Environment

Set-up &Maintenance

TestIncident

Reporting

Page 80: 60分でわかった気になるISO29119 #wacate

+

引用: ISO/IEC/IEEE 29119-2:2013 p30 Figure 10

Page 81: 60分でわかった気になるISO29119 #wacate

+Test processes まとめ

29119 ではマルチレイヤーテストプロセスモデルを採用している

組織的テストプロセス、テストマネジメントプロセス、動的テストプロセスで構成される

各プロセスの中にもアクティビティのモデルが存在する

各モデルの概要、目的、内容、成果物などについて、本規格で説明されている

Page 82: 60分でわかった気になるISO29119 #wacate

+

Part.3 Test documentation

Page 83: 60分でわかった気になるISO29119 #wacate

+Contents (Common)前書き Forewordイントロダクション Introduction

1. 適用範囲 Scope 2. 適合性 Conformance 3. 引用規格 Normative references 4. 用語と定義 Terms and definitions 5. ~次ページ

補足 Annex

Page 84: 60分でわかった気になるISO29119 #wacate

+Contents (Main)5. 組織的なテストプロセスドキュメンテーション

Organizational Test Process Documentation6. テストマネジメントプロセスドキュメンテーショ

ンTest Management Processes

Documentation7. 動的テストプロセスドキュメンテーション

Dynamic Test Processes Documentation

… マルチレイヤーテストプロセスモデルに沿った ドキュメンテーション

Page 85: 60分でわかった気になるISO29119 #wacate

+Organizational Test ProcessDocumentation組織的テストプロセスにおいて定義されているドキュメントはテストポリシー組織的テスト戦略

これらは組織レベルでのテストの情報を記載しプロジェクトには依存しない

Annex に、サンプルがある

Page 86: 60分でわかった気になるISO29119 #wacate

+Test Management ProcessesDocumentationテストマネジメントプロセスにおいて定義

されているドキュメントはテスト計画テストステータスレポートテスト完了レポート

Page 87: 60分でわかった気になるISO29119 #wacate

+Dynamic Test ProcessesDocumentation動的テストプロセスにおいて定義されているドキュメントは

テスト仕様テスト設計仕様テストケース仕様テスト手順仕様

テストデータ要求テスト環境要求テストデータ準備報告テスト環境準備報告

テスト実行文書実行結果テスト結果テスト実行ログ

インシデント報告

Page 88: 60分でわかった気になるISO29119 #wacate

+

引用 :ISO/IEC/IEEE 29119-3:2013 p2 Figure 1

Page 89: 60分でわかった気になるISO29119 #wacate

+Organizational Test ProcessDocumentationテストポリシー: ソフトウェアテストの原則と目標を組織内に適用するための定義をする。 どのテストにより達成されるかは定義するが、どうやってテスト実施するか、は定義しない。

組織的テスト戦略 テストポリシーの目的を達成するために、どのように、テストを組織内で実施すべきかのガイドラインを提供する技術文書。

Page 90: 60分でわかった気になるISO29119 #wacate

+Test Management ProcessesDocumentationテスト計画 テスト計画とテスト管理文書を提供する。テスト計画は、初期計画の意思決定を説明し、その後はコントロール活動の一環として再計画される。 テスト計画は複数のプロジェクト、単一のプロジェクト、または特定のサブプロセスに適用される。テスト計画自体は単一でも、複数であってもよい。

Page 91: 60分でわかった気になるISO29119 #wacate

+Test Management ProcessesDocumentationテストステータスレポート 特定の期間に行われるテストのステータスに関する情報を提供する。

テスト完了レポート 実施したテストの概要を示します。 これは全体の報告でも、または特定のテストサブプロセスについてでもよい。

Page 92: 60分でわかった気になるISO29119 #wacate

+Dynamic Test ProcessesDocumentationテスト仕様:テスト設計仕様 テスト設計仕様はテストされる機能を識別し、実行するためのテストケースとテスト手順の定義に向けた第一歩として各機能のテストベースから導出されるテスト条件を識別する。

テスト仕様:テストケース仕様 テストケース仕様はテストカバレッジ項目と、単一または複数の機能に対応するテストケースを識別する

Page 93: 60分でわかった気になるISO29119 #wacate

+Dynamic Test ProcessesDocumentationテスト仕様:テスト手順仕様 関連するアクションとともに、実行手順を選択したテストセットのテストケースに記述する。

Page 94: 60分でわかった気になるISO29119 #wacate

+Dynamic Test ProcessesDocumentationテストデータ要求 テスト手順仕様で定義されたテスト手順を実行するために必要な試験データのプロパティについて説明する。

テスト環境要求 テスト手順仕様で定義されたテスト手順を実行するために必要なテスト環境のプロパティについて説明する。

Page 95: 60分でわかった気になるISO29119 #wacate

+Dynamic Test ProcessesDocumentationテストデータ準備報告 テストデータ準備報告書は、各テストデータ要求の達成を説明する。

テスト環境準備報告 テスト環境準備報告は、各テスト環境の要求の達成を説明する。

Page 96: 60分でわかった気になるISO29119 #wacate

+Dynamic Test ProcessesDocumentationテスト実行文書:実行結果 テストケースを手順通りに実行した結果の記録。実際の結果は、試験結果を決定するため、期待結果と比較される。

テスト実行文書:テスト結果 テスト結果は、特定のテストケースの実行が成功したか、失敗したかの記録である。

テスト実行文書:テスト実行ログ  1 つ以上のテスト手順の実行の詳細の記録。

Page 97: 60分でわかった気になるISO29119 #wacate

+Dynamic Test ProcessesDocumentationインシデント報告 テストインシデントがインシデントレポートに記録される。 不具合報告、バグレポート、障害報告などの名前としても知られている。

Page 98: 60分でわかった気になるISO29119 #wacate

+

Part.4 Test techniques

Page 99: 60分でわかった気になるISO29119 #wacate

+Contents前書き Forewordイントロダクション Introduction

1. 適用範囲 Scope 2. 適合性 Conformance 3. 引用規格 Normative references 4. 用語と定義 Terms and definitions 5. テスト設計技法 Test Design Techniques 6. テストカバレッジ計測 Test Coverage

Measurement補足 Annex

Page 100: 60分でわかった気になるISO29119 #wacate

+Contents前書き Forewordイントロダクション Introduction

1. 適用範囲 Scope 2. 適合性 Conformance 3. 引用規格 Normative references 4. 用語と定義 Terms and definitions 5. テスト設計技法 Test Design Techniques 6. テストカバレッジ計測 Test Coverage

Measurement補足 Annex

Page 101: 60分でわかった気になるISO29119 #wacate

+Test Design Techniquesテスト設計技法では、以下の 3 つを扱っている

仕様ベースのテスト設計技法

構造ベースのテスト設計技法

経験ベースのテスト設計技法

Page 102: 60分でわかった気になるISO29119 #wacate

+Test Design Techniquesテスト設計技法では、以下の 3 つを扱っている

仕様ベースのテスト設計技法

構造ベースのテスト設計技法

経験ベースのテスト設計技法

同値分割 クラシフィケーションツリー法境界値分析 構文テスト 組み合わせテストデシジョンテーブル 原因結果グラフ法

状態遷移テスト シナリオテスト ランダムテスト

Page 103: 60分でわかった気になるISO29119 #wacate

+Test Design Techniquesテスト設計技法では、以下の 3 つを扱っている

仕様ベースのテスト設計技法

構造ベースのテスト設計技法

経験ベースのテスト設計技法

ステートメントテスト ブランチテストデシジョンテスト ブランチコンディションテス

ト複合ブランチコンディションテスト

改良版コンディションデシジョンカバレッジテスト

データフロウテスト

Page 104: 60分でわかった気になるISO29119 #wacate

+Test Design Techniquesテスト設計技法では、以下の 3 つを扱っている

仕様ベースのテスト設計技法

構造ベースのテスト設計技法

経験ベースのテスト設計技法

エラー推測

Page 105: 60分でわかった気になるISO29119 #wacate

+Contents前書き Forewordイントロダクション Introduction

1. 適用範囲 Scope 2. 適合性 Conformance 3. 引用規格 Normative references 4. 用語と定義 Terms and definitions 5. テスト設計技法 Test Design Techniques 6. テストカバレッジ計測 Test Coverage

Measurement補足 Annex

Page 106: 60分でわかった気になるISO29119 #wacate

+Test Coverage Measurement5. テスト設計技法 において出てきた其々の技法に対してカバレッジ計測の仕方を紹介

カバレッジの計算式は

Coverage: 特定のテスト設計技法により達成     されるカバレッジN: 実行されるテストケースによりカバーされる数T: テスト設計技法により識別された総項目数

%100

TNCoverage

Page 107: 60分でわかった気になるISO29119 #wacate

+Test Coverage Measurment注意

ISO/IEC/IEEE29119 のこの部分で定義されたカバレッジ計測は、テスト設計技法で達成可能な異なるカバレッジの度合いに基づいています

例えばテスト対象の機能をどれだけ網羅できるか、とか複数の設計技法との比較ができる、とかいうような指標になるわけではない

Page 108: 60分でわかった気になるISO29119 #wacate

+Test Coverage Measurment

例: Equivalence Partition CoverageCoverage for equivalence partitioning shall

be calculated using the following definitions:Coverage is the equivalence partition

coverageN is the number of partitions covered by

executed test casesT is the total number of partitions identified

引用: ISO/IEC/IEEE 29119-4:2015 p26

Page 109: 60分でわかった気になるISO29119 #wacate

+

4. 29119 の活用

2016/1/10WACATE 2015 冬

110

Page 110: 60分でわかった気になるISO29119 #wacate

+4.1 反対運動

ISO29119 に対して著名なソフトウェアテスト技術者らがブログ等で反対運動(署名)を実施

代表的な記事の翻訳をボンランティアで電通大の西主査らが公開中 http://qualab.jp/category/29119/

2016/1/10WACATE 2015 冬

111

Page 111: 60分でわかった気になるISO29119 #wacate

+4.2 反対運動の主な主張

重厚長大なプロセスモデルを採用している

不必要なドキュメンテーションを要求している

事実上の強制標準となりえるリスクがある

コンサルティング等のビジネス活用に適した形で策定された部分がある

規格に適合しないプロセスを採用した場合、たとえそれが本質に最適であっても、誤ったアプローチであるとの判断がくだされるリスクがある

探索的テスト等の手法解説に実践的でない内容がある

2016/1/10WACATE 2015 冬

112

Page 112: 60分でわかった気になるISO29119 #wacate

+4.3 活用の第一歩の例

Part.2,3既存プロジェクトのアセスメントを実施する新規プロジェクト計画の際にベースとする

テーラリング必須!

Part.4 テスト技法に関する学習のガイド、辞書とする

全体リスクベースドテストのガイドとする

2016/1/10WACATE 2015 冬

113

Page 113: 60分でわかった気になるISO29119 #wacate

+

5. 関連情報

2016/1/10WACATE 2015 冬

114

Page 114: 60分でわかった気になるISO29119 #wacate

+5.1 その他の規格

ソフトウェアテスト/品質業界(?)でよく目にする規格 組織のテストプロセスアセスメントの規格

ISO/IEC 33063 ソフトウェア品質モデルの規格

ISO/IEC 25010新しいものに置き換えられた規格

IEEE 829 ISO/IEC 9126-1

2016/1/10WACATE 2015 冬

115

Page 115: 60分でわかった気になるISO29119 #wacate

+5.1.1 ISO/IEC 33063組織に対するプロセスアセスメント規格である

ISO/IEC 33000 シリーズのひとつ Process assessment model for software testing

29119 とセットで策定が進められた規格 Part.2 をベースにアセスメントを実施する

昨日の TPI NEXT との関連は(おそらく)なしどちらがいいということはなく適材適所

2016/1/10WACATE 2015 冬

116

Page 116: 60分でわかった気になるISO29119 #wacate

+5.1.2 ISO/IEC 25010 ( 1/2 )

ソフトウェアの品質要求や評価に関する規格である ISO/IEC 25000 シリーズのひとつ System and software quality models

ソフトウェアについて 2 つの品質モデルを定義 利用時の品質モデル製品品質モデル

2016/1/10WACATE 2015 冬

117

Page 117: 60分でわかった気になるISO29119 #wacate

+5.1.2 ISO/IEC 25010 ( 2/2 )

2016/1/10WACATE 2015 冬

118

モデル 品質特性 品質副特性利用時の品質モデル

有効性 有効性

効率性 効率性

満足性 実用性、信用性、快感性、快適性

リスク回避性 経済リスク緩和性、健康・安全リスク緩和性、環境リスク緩和性

利用状況網羅性 利用状況完全性、柔軟性

製品品質モデル

機能適合性 機能完全性、機能正確性、機能適切性

性能効率性 時間効率性、資源効率性、容量満足性

互換性 共存性、相互運用性

使用性 適切度認識性、習得性、運用操作性、ユーザエラー防止性、ユーザインタフェース快美性、アクセシビリティ

信頼性 成熟性、可用性、障害許容性(耐故障性)、回復性

セキュリティ 機密性、インテグリティ、否認防止性、責任追跡性、真正性

保守性 モジュール性、再利用性、解析性、修正性、試験性

移植性 適応性、設置性、置換性

Page 118: 60分でわかった気になるISO29119 #wacate

+5.1.3 IEEE 829 Software test documentation

1998 年に策定され 2008 年に改定 現状は 29119 Part.3 に置き換え

以下の 10個のテスト文書が定義されている1. Master Test Plan2. Level Test Plan3. Level Test Design4. Level Test Case5. Level Test Procedure6. Level Test Log7. Anomaly Report8. Level Interim Test Status Report9. Level Test Report10. Master Test Report

2016/1/10WACATE 2015 冬

119

Page 119: 60分でわかった気になるISO29119 #wacate

+5.1.4 ISO/IEC 9126-1 Quality model

2001 年に 9126 シリーズの Part.1 として策定 ISO/IEC 9126自体は 1998 年に策定

現状は ISO/IEC 25010 に置き換え

以下の品質モデルを定義

2016/1/10WACATE 2015 冬

120

モデル 品質特性 品質副特性

利用時の品質モデル

有効性 (なし)

生産性 (なし)

安全性 (なし)

満足度 (なし)

外部・内部品質モデル

機能性 合目的性、正確性、相互運用性、セキュリティ、機能性標準適合性

信頼性 成熟性、障害許容性、回復性、信頼性標準適合性

使用性 理解性、学習性、操作性、魅力性、使用性標準適合性

効率性 時間効率性、資源効率性、効率性標準適合性

保守性 解析性、変更性、安定性、試験性、保守性標準適合性

移植性 適応性、設置性、共存性、置換性、移植性標準適合性

Page 120: 60分でわかった気になるISO29119 #wacate

+5.2 29119 の購入方法

2種類の購入方法

2016/1/10WACATE 2015 冬

121

購入方法 メリット デメリット

ISOサイトで購入 • ちょっと安い• Pre-published な規格

も買える• Part.5 を先取り

• 英語• 支払い方法は基本クレ

ジットカード

JSAサイトで購入 • 日本語• 納品書とか領収書とか、

会社決裁で必要そうな書類を簡単に入手可能

• ちょっと高い• 1割増ぐらい• JSA 会員だと 5%増ぐらい

• Published な規格しか買えない

Page 121: 60分でわかった気になるISO29119 #wacate

+5.2.1 ISOサイトでの購入方法( 1/2 )ISO の公式サイトで会員登録をして規格(パートごと)のページへ行って購入

2016/1/10WACATE 2015 冬

122

カートに追加

Page 122: 60分でわかった気になるISO29119 #wacate

+5.2.1 ISOサイトでの購入方法( 2/2 )各パートの購入ページと値段は以下の通り

2016/1/10WACATE 2015 冬

123

パート URL 値段

1http://www.iso.org/iso/home/store/catalogue_tc/catalogue_detail.htm?csnumber=45142

178 CHF = 20,949 JPY

2http://www.iso.org/iso/home/store/catalogue_tc/catalogue_detail.htm?csnumber=56736

178 CHF = 20,949 JPY

3http://www.iso.org/iso/home/store/catalogue_tc/catalogue_detail.htm?csnumber=56737

198 CHF = 23,302 JPY

4http://www.iso.org/iso/home/store/catalogue_tc/catalogue_detail.htm?csnumber=60245

198 CHF = 23,302 JPY

5http://www.iso.org/iso/home/store/catalogue_tc/catalogue_detail.htm?csnumber=62821

58 CHF (DIS) = 6,826 JPY

Page 123: 60分でわかった気になるISO29119 #wacate

+5.2.2 JSAサイトでの購入方法

各パートの購入ページと値段は以下の通り

2016/1/10WACATE 2015 冬

124

パート URL 値段

1http://www.webstore.jsa.or.jp/webstore/Com/FlowControl.jsp?bunsyoId=ISO%2FIEC%2FIEEE+29119-1%3A2013&dantaiCd=ISO&status=1

23,068 JPY

2http://www.webstore.jsa.or.jp/webstore/Com/FlowControl.jsp?bunsyoId=ISO%2FIEC%2FIEEE+29119-2%3A2013&dantaiCd=ISO&status=1

23,068 JPY

3http://www.webstore.jsa.or.jp/webstore/Com/FlowControl.jsp?bunsyoId=ISO%2FIEC%2FIEEE+29119-3%3A2013&dantaiCd=ISO&status=1

25,660 JPY

4http://www.webstore.jsa.or.jp/webstore/Com/FlowControl.jsp?bunsyoId=ISO%2FIEC%2FIEEE+29119-4%3A2015&dantaiCd=ISO&status=1

25,660 JPY

Page 124: 60分でわかった気になるISO29119 #wacate

+まずは読んでみましょう!

2016/1/10 WACATE 2015 冬