Upload
kazushi-kamegawa
View
1.210
Download
2
Embed Size (px)
DESCRIPTION
Let's planning effective test plan using Test manager. テストマネージャーを使用して効率的なテストを計画しよう
Citation preview
効率的なテストを計画しようMVP Community Camp Tokyo 2014 at 2014/3/20かめがわかずし(@kkamegawa/id:kkamegawa)
自己紹介亀川 和史(かめがわかずし) / 会社員Twitter:@kkamegawa
Facebook:https://www.facebook.com/kkamegawa/Microsoft MVP for Visual Studio ALM(2012/7~)今どきのソースコード管理
http://www.atmarkit.co.jp/ait/articles/1303/01/news082.htmlはじめてのTeam Foundation Server 現在発売中
http://www.shuwasystem.co.jp/products/7980html/4046.html
本セッションでやること/やらないことやることTeam Foundation Server/Test Managerを利用したテストの効率化紹介TFS Express Editionでも使えます
やらないことアプリケーションにおけるテスト方法論やテスト設計
よくあるテスト管理きっとみたことあるはず
よくある(?) Excelのテストケース管理
Excelワークシート
エビデンス
開発者テスター
これでよさそうだけどテストケースの修正が大変(Excel方眼が…)
コメント大変別のExcelシートにスクリーンキャプチャへの参照を作るのが面倒
検索ができない SharePointに入れていればまだしも(でもたぶんやってない)
複数同じ手順を繰り返す(ログインして画面起動まで)とき、同じことを繰り返し書く→
テストケースを管理するソフトウェアプロプラエタリ製品(要求管理も一緒になっているものが多い)の例 Rational ClearQuest(IBM)
http://www-06.ibm.com/software/jp/rational/products/scm/cq/Quality Center(HP)
http://www8.hp.com/jp/ja/software-solutions/software.html?compURI=1172141 Silk Central(Borland)
http://www.borland.com/products/silkcentral/
オープンソース TestLink(通常Issue Trackerと連携して実行される)
http://www.teamst.org/
Visual Studioでは?
TFSで管理 ブラウザ/専用クライアント
要件管理と連携
タスク管理と連携
ソースコード管理と連携
テスト環境を管理
Test Managerでの管理
Test Managerってなに? TFSのフロントエンドの一つ Visual Studio OnlineとオンプレミスTeam
Foundation Serverどちらも管理可 Visual Studio Onlineだと一部英語UI
Webブラウザでも同じことが可能
UIはTFS 2010の頃からほぼ変わってない
標準でラボセンターとテストセンターの二つが使用可能
Test Managerの拡張例標準機能以外にも独自で拡張可能
拡張例:Test Scribe for Visual Studio 2013(Word への出力を行う)http://visualstudiogallery.msdn.microsoft.com/e029e3a1-c246-4737-8943-c90d68803c18
画像は上記URLから引用
Test Managerのテストセンターチームプロジェクト単位でテストを管理
最初に決めるのは「テスト計画」
区分/イテレーションの考えはVisual Studioと同じ。Webアクセスでも同じ操作が可能
手動テスト/自動テスト(ラボ設定が必要)/探索テストを管理する
Team Foundation Serverのテスト管理スプリント単位でテストを作成毎回一から作る?→別のスプリントからコピペ、共有が可能。必要なものは別のスプリントでも再利用もっと簡単に一括コピーするツールもある(Bulk Copy Test Cases for Microsoft Test
Manager : TFS 2010/2012/2013用がある)http://visualstudiogallery.msdn.microsoft.com/cdc43e42-0dd3-49a5-bf98-9f44a372f14e
テスト対象環境との関連付け→Windows 8/特定ブラウザ対応テスト、といったシステムでフィルタリング可
テスト項目にはいろんなものを関連付けることができる(プロダクトバックログアイテム/タスク/フィードバックなど)
テストと作業項目を関連付けておくと後でいいことがあるよ!
手動テストTest Managerにテストの手順を登録
画面と手順を見比べながらテストを実施
間違いやコメントをその場で記録して、フィードバック→フィードバックという項目でタスク登録される
手順
パラメータ
自動テストラボセンターで自動テスト環境を構築
テスト計画で登録したテストに対してラボセンターのテスト環境を関連付け
以上終わり!
TFSのサーバービルド時に自動テストを行うことも可能(プロセステンプレートが変わる)
自動化テストの構成
SCVMMエージェント
SCVMM管理サーバ
Webサーバ &エージェント
VM&テンプレートHyper-Vホスト
Team Foundation Server
Team Foundation Server
テストコントローラ
標準環境
ビルド時に自動テストする場合
CI用ビルド作る
自動テスト環境を作る
ラボビルドを設定
※:ラボビルド時に配置スクリプトの用意が必要
探索テストいわゆるランダムテスト
テストマネージャーでの計画は不要でそのまますぐ始められる。
操作者に自由に触ってもらって、気になったところを記録する
操作時の動画のほか、音声記録も可能
テストマネージャーとIntelliTrace
テスト実行中(手動/自動)にクラッシュした場合の実行履歴をさかのぼって調査することができる(解析は要Ultimate Edition)
実行時性能に重大な影響が出るため、工夫が必要出力先をSSDにするイベントを絞る
テスト中にクラッシュしたときの対応
TFS + Test Controller
開発者 テスター
失敗したテストをTestManagerで登録
(.itraceファイルも登録)
テスト結果を参照して.itraceファイルを開く
.itraceファイル(IntelliTrace)
テストマネージャーと操作ログUIの操作をレコーディングしてTFSに記録する
クライアントロールの手動テストのみ選択可能(自動は最初から操作が設定されているので必要ありませんよね)
こんなに記録していたらひょっとして…? TFSのデータはもちろんずっと増えていくので、注意。
特にTFS Expressではデータ上限が10GB(SQL Server Express Editionの仕様)となるので、要注意TFS ExpressとTFS(標準環境)との比較http://www.atmarkit.co.jp/ait/articles/1303/01/news082_3.html
TFS Power ToolsのAttachment Cleanerで定期的に削除しよう。
TFS Power Tools 2012以降に同梱。2010向けには拡張機能で提供。http://visualstudiogallery.msdn.microsoft.com/3d37ce86-05f1-4165-957c-26aaa5ea1010/
Test Managerのラボ機能テスト用の環境を管理する大規模向けSCVMMを使用する中小規模向け標準環境で実行するどちらでもできることは基本同じ
夜中に起動してシステムテストを行うといったことが可能
テスト中に発生した障害情報をTFSに格納可能して開発者が参照
資産の活用過去に作った資産があるので無駄にしたくない、テスト部分をお試しで使ってみたい→TFSのAPIを使ってデータ移行する方法http://blogs.msdn.com/b/visualstudioalm/archive/2012/11/27/integrating-existing-testing-systems-with-microsoft-test-manager-team-foundation-server-and-visual-studio.aspx
Quick Test Professionalとのデータ連携ツール(TFS 2010用)http://visualstudiogallery.msdn.microsoft.com/ef313348-8fd1-463b-9404-7472db99fda5
WebもTest Managerも使いたくない方向けTeamSolutionsのTeam SpecというアドオンでWordから各種編集可能要求事項登録/編集作業項目登録/編集テストケース管理オフラインもサポート
Visual Studio 2010~2013Office 32bit/64bit対応
http://www.teamsystemsolutions.com/teamspec/features/test-management.aspx より引用
できるところからこつこつと最初からいきなり全部やろうとしても挫折します。
まずは手動テスト/探索テストの手順を管理するところから
自動テストはできればやりたいですね。回数繰り返さないときついWindows やブラウザに限らずいろんなものがラピッドリリースになっているので、やらないと大変かも?
本日の環境
ドメインコントローラー
TFS2013SQL Server
Web Serverテスト
コントローラー(UIテストをしない用)
Windowsクライアントテスト
コントローラー(UIテスト構成用)
ThinkPad T420s/16GB Memory/Intel SSDのWindows 8.1 Hyper-V仮想マシン上
まとめTest Managerはテストに関する情報を一手に格納/閲覧することができます。
Excel方眼(ryでの管理はそろそろ卒業したいですね
TFS単独以外にもいっぱい支援ツールがあるので、資産の活用も可能