【QCon】 Get Clean, Stay Clean 価値を向上し続けるための秘訣 #QConTokyo

© 2011 Microsoft Corporation. All rights reserved.

長沢智治ながさわともはる

日本マイクロソフト株式会社デベロッパー＆プラットフォーム統括本部エバンジェリスト / シニアプロダクトマネージャ

• E-AGILITY 協議会準備委員 • ソフトウェアテスト技術振興協会ツールワーキンググループメンバー • 日本 XP ユーザグループスタッフ • アジャイルイベント Agile Day 発起人

( ) : ( )

国内大手情報通信企業

Rational Software

IBM Rational

Borland Software Microsoft

Software/Network Engineer

Software Engineering Specialist

Brand Services Specialist

Principal Consultant Solution Architect

Evangelist Sr. PM

http://twitter.com/tomohn

http://facebook.com/tomoharu.nagasawa

http://www.linkedin.com/in/tomohn

http://blogs.itmedia.co.jp/nagap

http://blogs.msdn.com/tomohn





Microsoft Visual Studio の開発部門では、大きく変わる開発チームに最高の開発プラットフォームを提供するという価値を継続し続けるために、幾度となく改善活動を行っています。

本セッションでは、Quality を価値と定めて、開発部門が実施したこと、

– Code Complete から Feature Complete への意識の改革

– Quality Gate

– チーム開発基盤とテスト自動化の整備

について、皆様と共有いたします。

アジャイルプラクティスの積極採用とテーラリング、大規模開発での透明性の確保、バグ負債を10分の1に削減、イテレーションの期間を半減させた実話をお伝えします。



あらゆる開発に適用できるフレームワークと開発支援ツールを開発チームに提供し続ける

Integrated Development Environment

開発者の生産性の向上と開発者同士のコラボレーション

Application Lifecycle Management

開発チームの生産性の向上とチームコラボレーション


Integrated Development Environment Application Lifecycle Management

開発者の生産性の向上と開発者同士のコラボレーション

開発チームの生産性の向上とチームコラボレーション

eclipse

Microsoft®

Test Manager

あらゆる開発に適用できるフレームワークと開発支援ツールを開発チームに提供し続ける


メジャーリリースサービスパック

次期メジャーリリースサービスパック CTP Beta RC

Hot Fix

Feature Pack

Power Tools

CTP/Beta リリース


“7” の力


“7” の力




本日のテーマ: クオリティ & テスト



開発し続けるための決断 (背景)

IDE ALM

IDE 機能

IDE 機能

IDE 拡張 For Architects, Developers, Testers

ALM 機能

IDE 機能

IDE 拡張 For Architecture, Development, Test

ALM 機能

2005 2008

2010

IDE 機能 & 拡張

Test Pro 機能

ALM 機能

テスト仮想化

事件の現場

改善の現場


開発し続けるための決断 (背景)

IDE ALM

IDE 機能

IDE 機能


ALM 機能

IDE 機能


ALM 機能

2005 2008

2010

IDE 機能 & 拡張

Test Pro 機能

ALM 機能

テスト仮想化

2 年単位でのリリース機能大幅増加に関わらず

より多くのチーム開発機能品質基準を満たせずリリースを延期



IDE ALM

IDE 機能

IDE 機能


ALM 機能

IDE 機能


ALM 機能

2005 2008

2010

IDE 機能 & 拡張

Test Pro 機能

ALM 機能

テスト仮想化

開発し続けるための決断 (取り組み)


開発し続けるための決断 (取り組み)

IDE ALM

IDE 機能

IDE 機能


ALM 機能

IDE 機能


ALM 機能

2005 2008

2010

IDE 機能 & 拡張

Test Pro 機能

ALM 機能

テスト仮想化

価値ある機能を提供

タイムリーに提供

価値 (品質) の向上

透明性とアジリティ


開発し続けるための決断 (成果)

IDE ALM

IDE 機能

IDE 機能


ALM 機能

IDE 機能


ALM 機能

2005 2008

2010

IDE 機能 & 拡張

Test Pro 機能

ALM 機能

テスト仮想化

Visual Studio 2005 beta 1

Debt

Visual Studio 2008 beta 1

Debt


開発し続けるための決断 (成果)

IDE ALM

IDE 機能

IDE 機能


ALM 機能

IDE 機能


ALM 機能

2005 2008

2010

IDE 機能 & 拡張

Test Pro 機能

ALM 機能

テスト仮想化



価値感の源泉 R

em

ain

ing

Wo

rk

Plan

Task 1

Task 2

従来型の手法。タスクを分解し (WBS) 完了を計測

原価計算

Valu

e

提供可能な “顧客価値” の増分で計算

リーン生産と制約条件理論 (TOC)

“価値” を基準とし、高めていく:

定義: 投資収益率、信頼関係、透明性、個人力、責任の共有、状況に応じた戦略

やり方: 価値に基づく組織運営、意思決定

測定法: タスク達成率より、価値を測定

アジャイルプロジェクトマネージメント宣言「相互依存宣言 (Declaration of Interdependence)」

http://www.pmdoi.org/


価値の流れをつくる


Milestone of Quality

“負債” を理解する

テストの自動化の促進製品コードバグの把握テストケースバグの把握テスト環境のバグの把握

“負債” の共通認識

“負債” のコスト

“負債” の撲滅

“品質” の測定

迅速かつ、一貫して実施

いつでも、どこでも

早期からの “品質” の作りこみ

ゆとりを取り戻す


Executive Sponsorship

• 新規の開発を 4 ヵ月間停止

– 文化の見直し

• Code Complete Feature Complete

• Definitions of “Done” (Quality Gates)

– 徹底的な効率化

• チーム開発基盤の整備

• さらなるテスト自動化


Initiative


Initiative


Initiative | Feature Complete

PM* Group Dev Group Test Group *Program Manager

物理的な組織体系

バー

チャ

ルな

チー

ム Feature

#1

Feature

#2

Feature

#3

1 人 4 人以下 4 人以下 XP

Scrum

Waterfall

Feature Complete を目的としたチームとやり方の委譲キャリアモデルの分離



ビジョンや主要なテーマ

ユーザーにとっての投資効果顧客価値の大きいエリア

テーマ: ユーザーが顧客価値を高めるための製品活用法

シナリオの実現解

ユーザーストーリー Experience から導き出されたもの

リリース計画

反復計画と実施


User Feedback

ストーリーボード

シナリオベースのユーザーフィードバックの機会

※資料一般公開にあたり、写真は加工しています。


Voting Sheets

Importance to your business

Satisfaction with Existing

Notes

Most important

Least important

Does the existing functionality meet your

needs?

Pain (mark with 'x') (mark with 'x') Yes No Don't know

Once I work with something I can’t find it again

I can’t tell what changed from build to build, especially over time

I don’t know who is the expert of a given area

I need another pair of eyes on my code


Initiative | チーム開発基盤



Dog Fooding: 開発しながら自らが利用し、フィードバックし続ける



Scenario Experience

Feature

Task

Bug



情報共有

意思決定



チームキャパシティ Yellow: 70 %以上 Red: 100 %以上

Workbook.wmv



Risk Level

Green: 予定通り

Yellow: リスクを伴う

Red: 想定外（間に合わない）

Workbook.wmv



自動単体テストも作成 Feature のテストを作成シナリオテストは後でもよい

Feature の完成に向けた作業見積りコードの完成で見積もらない段階的なコミット

前倒しで、品質を作り込む～ Feature の完成前に実施脅威分析と Feature レベルのテストを必ず実施より多くのバグを発見し、修正


Initiative | Definitions of “Done”









Task

Source

Code

We’re done.

Feature ごとの期日のコミット品質基準の達成と進捗

I’m done.

個人レベルはチームで決定開発プロセスタスクの粒度、進捗

Test

Code

無理なマイクロマネージメントを行わないチームに権限を委譲チームの自己組織化を推進



Task

Task

Task

各 Feature の進捗

Product Unit の進捗

ビジネスの進捗

Feature 単位での報告義務（タスクレベルは Team の方針による）







自動テストによるコードのカバレッジ率が

70 ％を超えていること







Feature ブランチ

Check Point

＃1 Check Point

＃2

実施計画レビュー

どのように計画したのかを説明

実施内容レビュー

何を実施したのかを説明 Feature のデモ

Check Point: マネージャとの

レビュー/フィードバック/意思決定の機会

CP#0

コミット

見積り

見積り

CP#1

コミット

再見積り

CP#2

コミット



開発したテストの実施探索的テスト回帰テスト夜間テスト

Quality Gates

Build Verification Tests

夜間テストフル自動テストー Main へマージ前に実施統合テストと、探索的テストパフォーマンスとストレステスト

夜間テストフル自動テスト－ CTP, Beta, RTM, (Daily, Weekly Coverage runs)


公開向け資料用補足スライド

• 以下4スライドには、

– 米MSで自分たちのために開発したテストの効率化のためのツール/方法について触れています。

– これらはすでに Visual Studio 2010 の機能として実装されており、その動画へのリンクも記載してあります。

クリックすることで、SlidesShare で公開しているデモ動画にアクセスできます。

http://www.slideshare.net/tomohn/qcon-tokyo





自動ビルドの仕組み継続的インテグレーションの進化形自動ビルド、テストで失敗の場合は、チェックインをさせない Quality Gates を自動化

ビルド/検証開発者環境ソース管理

ビルド/検証開発者環境

継続的インテグレーション:

ゲートチェックイン:

ソース管理






開発者による単体テスト実行や自動ビルド時のテスト実行を記録ソースコード/テストコードの変更時に、検討すべきコードを自動検出

開発者環境ソース管理ビルド/検証

ソースとテストの関係を自動記録

開発時に検証すべきテストを一覧で通知

http://www.slideshare.net/tomohn/qcon-7608088




手動テスト手動テスト


手動テスト時の結果を自動記録画面ショット、操作ビデオ、操作手順、システム情報 2回目以降のテストを自動化自動ビルドでテスト実行

バグの自動起票による開発者とテスターのやり取りの効率化

バグ起票と更新

手動テストの自動化


検証に組み込む









テスト環境を動的に構築しテスターに提供問題発生時に、テスト環境を開発者に瞬時に提供


仮想テスト環境

手動テスト

バグ起票と更新

C

D

B









開発したテストの実施探索的テスト回帰テスト夜間テスト

Quality Gates

Build Verification Tests

夜間テストフル自動テストー Main へマージ前に実施統合テストと、探索的テストパフォーマンスとストレステスト

夜間テストフル自動テスト－ CTP, Beta, RTM, (Daily, Weekly Coverage runs)



まとめ

すべての “負債” の排除

ビジョンの明確化

フィーチャークルーと “Done” の定義

ブランチ戦略および、テスト環境の整備

透明性の確保と維持

チームの自律とレポートの集中化

各段階でのユーザーフィードバック

反復的な計画


まとめ

• 意思決定” に効果を発揮

– 透明性と傾向分析

– 統括的なリーダーシップの意思決定

– 実測駆動な状況把握

– 自律したチームによる意思決定

– チームの自主的な報告

– 主要なメトリックスの自動追跡


Team Foundation Server

適用プロジェクトの急増各製品の利用者数の推移



現在の開発者数 3,839

作業項目数 839,595

ソースファイル数 826,234,724

ビルド数 2,010/月

2010 年 5 月現在

10 以上の開発拠点




まとめ


まとめ

尊敬と結束

透明性はすべてに役に立つ

チームと組織のサイズ

チームは、9 人まで

組織は、できるだけ 160 人以内の単位

Dunber’s Number

Scenario を目安に組織化

変化を作る


まとめ


まとめ

Keep It Simple Stupid. 複雑さの軽減に注力シンプルにスタート小さくスタート

リアルなデータで価値を示す

一目で理解できるレポートを作成

常によりよいものを誤りは正すアジャイルなプロセスを

作成すること K.I.S.S. を忘れないこと

早い段階から巻き込む「それをやろう」と言っ

てもらう成功するための人員を確

保してもらう


© 2011 Microsoft Corporation. All rights reserved. Microsoft, Windows 7, Visual Studio and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS,

IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.

✉ [email protected]

Technology

【QCon】 Get Clean, Stay Clean 価値を向上し続けるための秘訣 #QConTokyo