アジャイル開発における利用者価値が高いソフトウェアのリリー...

ソフトウェア品質シンポジウム 2019

アジャイル開発における利用者価値が高いソフトウェアのリリーススピード向上に向けた取組み

2019年9月13日

富士通株式会社ソフトウェア事業本部

酒井響平 sakai.kyohei@fujitsu.com

0ソフトウェア品質シンポジウム2019

Outline

1. 背景

2. アジャイル開発における問題

3. リリーススピード向上に向けた取組み

4. 実施結果

5. UXメトリクスに関する追加検証

6. まとめ

はじめに

本資料の内容は

資料内でご説明する取組みを

弊社のソフトウェア製品開発プロジェクトで

試行した一実践結果です。

取組みの有効性については同一プロジェクトでの

後継バージョン開発時や他のプロジェクトへの

適用を通して継続的に確認して参ります。

背景

富士通のプロダクト部門では、お客様にとって価値あるソフトウェアを迅速かつ高品質で開発するアジリティ重視開発プロセスによる製品開発を拡大している

私たちの組織では以下のような活動をしています

アジャイル開発の中での利用者体験(UX)向上支援

アジャイル開発・UX施策の実践

・アジャイル開発の考え方やスクラム・XPなどの技法を基底とする・メトリクスの活用による科学的な品質分析アプローチ・動くソフトウェアとその保守に必要なドキュメントを大切に扱う・第三者部門の開発エビデンスチェックによるプロセス検証

アジリティ重視開発プロセスの特徴

Agile×UX

アジャイル開発プロセスを採用したプロジェクトにおいて、開発した機能のリリーススピードが期待したほど上がらない

実例：

第1スプリントで機能開発

→ 第2スプリントで評価シナリオ作成・第三者によるUX評価の実施

→ 第3スプリントで評価結果の反映作業

→ 第4スプリントで再評価を実施し、問題が無ければリリース

アジャイル開発における問題

第1スプリントで開発した機能のリリースが第4スプリントまで遅れ込む

リリーススピード向上に向けた取組み

取組み1. スプリント計画時のシナリオ作成（1/2）

従来のプロセス

スプリント内で開発する機能は操作シナリオによる評価を実施

従来のプロセスの問題

従来のシナリオでは複数の機能を操作した処理結果の正当性を確認→ 使いやすさや操作時間などUXという観点ではシナリオが作られていなかった

取組み1

使いやすさを作りこむためのシナリオをスプリント計画時に作成

次のスプリントで行われる第三者によるUX評価によってUXを作りこむことを前提とするプロセスだった

↓リリーススピードの遅れ

利用シーン利用者情報

利用シーン

シナリオNo. ユーザーアクション/イベント

1 Aさんお客様からの電話を受け取る

2 Aさんシステムにログインする

3 Aさんネットワークトラブルについて検索す

コールセンターで働くオペレーター業務で使用するシステムの操作が煩雑で、不満を感じている

作業の流れ

お客様からの問い合わせに電話で応答しながらシステムを操作する場面

取組み1. スプリント計画時のシナリオ作成（2/2）

No. 操作手順確認項目

１ IDとパスワードを入力し「ログイン」ボタンを押下

２検索フォームに”ネットワークトラブル”を入力

３「検索」ボタンを押下

利用者情報(ペルソナ)や利用シーンの項目を追加操作の手順を記していた箇所を、作業の目的の並びへと変更

取組みのポイント

よりUXを意識/評価するのに適したシナリオシートに

・・・

従来の問題

使いやすさを定量化できないため、「使いやすさ」のレベルが開発者に依存

取組み2

使いやすさを定量化するためUXメトリクス技法を導入

取組み2. UXメトリクスの導入（1/4）

検索実行

ポップアップで検索条件を指定

※ 画像は実際の製品画面とは異なります

実際の利用者はシステム利用時に再検索を繰り返すこのUIでは検索自体は可能だが、時間がかかる(使いにくい)

条件変更

UXメトリクスとは…

UXメトリクスは以下の5種に分類可能[2]

パフォーマンスメトリクス

… 利用者の行動を測定 (操作時間、手番数など)

問題点に基づくメトリクス

… ユーザビリティの問題を測定

自己申告メトリクス

… アンケートの得点評価 (リッカート尺度、NPSなど)

行動/生理メトリクス

… 表情や言動の記録

統合/比較メトリクス

… 複数のデータを組み合わせた評価

目標とするUXが実現できているかを評価・判断するために、測定可能な評価指標を複数設定し数量的に把握・分析するための手法[1]

[1] 安藤昌也『UXデザインの教科書』, 丸善出版, 2016, p175.

[2] Tom Tullis, et al. 篠原稔和訳『ユーザーエクスペリエンスの測定』,東京電機大学出版局, 2016.

今回の施策の対象としたプロジェクトは、主に使いやすさの改善が中心となる改版

→ パフォーマンスメトリクスに着目

パフォーマンスメトリクスの例操作成功率操作時間手番数習熟性誤操作

今回の取組みの対象製品…コールセンターのようなユーザがお客様の対応をしながら

リアルタイムで利用するようなシステム

パフォーマンスメトリクスとして操作時間を採用

参考： Tom Tullis, et al. 篠原稔和訳『ユーザーエクスペリエンスの測定』, 東京電機大学出版局, 2016.

利用シーン利用者情報

利用シーン

UX目標値評価観点

目標値

シナリオNo. ユーザーアクション/イベント

1 Aさんお客様からの電話を受け取る

2 Aさんシステムにログインする

3 Aさんネットワークトラブルについて検索す

コールセンターで働くオペレーターAさん業務で使用するシステムの操作が煩雑で、不満を感じている

お客様からの問い合わせに電話で応答しながらシステムを操作する場面

作業の流れ

下記のシナリオを完了させるのに要する時間

取組み１で導入したシナリオに、目標値としてUXメトリクスを明記→ シナリオ単位でUXの目標値を設定が可能に

シナリオに対してメトリクス目標値を設定

UXを考慮したシナリオと目標値を前提として開発作業に取り掛かることが可能に

・・・

取組み1・2により以下の開発プロセスの確立を狙う1. スプリント計画時にUX評価に適したシナリオを作成・UX目標値を設定

2. 開発を進めながら目標を達成しているかを定量的に確認

3. 目標を達成していればリリース

→ 開発者自身がUXを常に意識した開発が行えるプロセスへ

取組みにより狙う開発プロセス

従来プロセス：

新プロセス：

UXメトリクスの推移

UX指摘のスプリント内での回収率

実施結果

UXメトリクスの推移

目標値の設定:

利用シーンの背景情報を考慮し、利用者視点で許容される操作時間を目標値として設定

UI改善前後でのメトリクス測定結果:

全シナリオでパフォーマンスメトリクス（操作時間）が向上

改善項目が多いシナリオほど、UXメトリクスは大きく向上

どのシナリオでも使いやすさが向上したことを確認

「検索テンプレート作成」シナリオ「検索」シナリオ「CSVファイル出力」シナリオ

スプリント開始前

スプリント終了時点

：UX目標値

操作時間[分]

サポート部門へのヒアリングの結果、このシステムの利用者は検索条件を変えながら検索を何度も行うことが判明した→ 再検索を織り込んだシナリオを作成し、目標値を設定→ 操作時間が大きく短縮された

UXメトリクスが改善した例 - “検索”シナリオ -

改善前改善後

検索条件と検索結果一覧が同時に視認できるようになり、再検索に要する時間が短縮

※ 画像は実際の製品画面とは異なります

UX問題指摘のスプリント内での解消率

開発スプリント内で解消したUX問題件数

開発スプリント以降で解消したUX問題件数

SP1 0 7

SP2 0 9

SP3 0 21

SP4 0 10

開発スプリント内で解消したUX問題件数

開発スプリント以降で解消したUX問題件数

SP1 36 0

SP2 14 12

SP3 - -

SP4 - -

・開発スプリント内で解消したUX問題件数は0件

・全て開発スプリント以降に対応

• 全62件の問題の80%を同一スプリント内で解消

↓開発した機能を即リリースできた

従来プロセス

新プロセス

※SP3, SP4では機能開発なし

リリーススピード向上に向けた他のメトリクスの実用性検証

満足度を測るメトリクス

使いやすさの三要素(有効さ、効率、満足度)[3]のうち、有効さと効率についてはパフォーマンスメトリクスで測定可能

[4] 黒須正明『人間中心設計の基礎』, 近代科学社, 2015, p25.

*1: NPSは自己申告メトリクスの一つ参考: 『UXマネジメント（前編）』, 電通報, https://dentsu-ho.com/articles/3087, 2015-9-17.

*2: NPSはBain & Company, Inc., Fred Reichheld, Satmetrix Systems, Inc. の登録商標です。

[3] ISO 9241-11:2018. Ergonomics of human-system interaction-- Part 11: Usability: Definitions and concepts

「有効さ、効率に従属する満足度」[4]を測るメトリクスとして、NPS®(NPS: Net Promoter Score*1*2)の利用を検討

あなたはこのサービスを友人や同僚に薦める可能性はどのくらいありますか？

NPSの有用性に関する検証

当社の2017・2018年度の新入社員研修にて実施したWebアプリケーションのグループ開発演習においてNPSの測定を実施

開発演習概要

各イテレーション(17年度は全工程終了)後にNPSを測定

NPS回答者：全受講者(自チーム/他チーム) + 講師・UXデザイナー

NPSの測定とは独立して、UXデザイナーによる『UXデザイン賞』の選定を実施

2017年度 2018年度

実施期間 14営業日 17営業日

開発プロセス WF (ハイブリッドアジャイル) アジャイル

受講者数 108名 111名

テーマ Webショッピングアプリ / メッセンジャーアプリから選択

前提知識 UXデザイン講座を受講済み UXデザイン・アジャイル講座受講済み

：自己評価

：他者評価

各年でのNPSとUXの相関性

2017年度

2018年度

Webショッピングアプリメッセンジャーアプリ

：UXデザイン賞

：自己評価

：他者評価

各年でのNPSとUXの相関性

2017年度

2018年度

Webショッピングアプリメッセンジャーアプリ

：UXデザイン賞

結果

1. 『UXデザイン賞』受賞班は、各テーマ内で他者NPSが

最も高かった

2. 自己NPSが低い班は、他者NPSも低い傾向

3. 18年度は各班の他者NPSと自己NPSの差が小さくなった

17年度平均：31.1 → 18年度平均：14.5

考察

1. NPSとUXの相関性が示された

2. NPSの自己評価をもって利用者価値を推測できる可能性

3. 各イテレーションフィードバックを得ることにより、

顧客視点から自製品を評価できるようになった

→ 2. の ”NPSの自己評価” の信憑性向上

イテレーションごとのNPSの推移

イテレーション結果・考察

1・2 MVP* がリリースできていない班が多くNPSが測定できない班が多い

3 MVPの提供が可能になった班が多く、NPSが増加し始めている

4レビュー結果を反映し、顧客価値の高いアウトプットを

提供できるようになり、NPSがさらに増加したと考えられる

* MVP: Minimum Viable Product = (価値提供可能な) 実用最小限の製品

イテレーション

結論と所感

今後の展望

まとめ

結論

スプリント開始時にUXを考慮したシナリオを作成するプロセスを確立

開発者自身でパフォーマンスメトリクスの目標値設定・実測を行うプロセスを確立

上記2つの取組みにより、大きな手戻りなく利用者価値の高いソフトウェアのリリーススピードの向上させることの実現性が見えた

追加検証を行ったNPSについても、開発者自身による目標値設定・評価を行うことでリリーススピードの向上につなげられる可能性がある

今後の展望

他の製品プロジェクトでの実践

他のメトリクスの有効性の検証

ユーザーストーリーの受け入れ条件としてのUXメトリクスの活用

アジャイル開発における利用者価値が高いソフトウェアのリリー...

Documents

Automotive SPICEに準拠したアジャイル開発の実践 · 今やアジャイルでないと変化する要求への対応が難しいアジャイル開発とは？変更に素早く対応するためのソフトウェア開発手法の総称。

8-6 アジャイル開発の始め方本文it.27monka-itaku.net/wp-content/uploads/b76a260d8901363fbbf9f6c… · アジャイル開発という考え方アジャイルとは何か

Agile Extension to the BABOK · •アジャイル開発の事例セミナーを開催することで、出席者にアジャイル開発の効果を理解してもらい、アジャイル開発の適用を拡大す

Be Agile!Be Agile! アジャイルでいこう！アジャイル開発行動展示のご紹介 SPI Japan 2016 意見交換会での発表資料＋加筆版企画の目的 •アジャイル開発は書籍ではな

アジャイル開発の必要性と課題 - 情報処理学会①アジャイル開発資産の構築経費を配分, ②アジャイル開発部門の独立性を考慮,③アジャイル開発の経費対効果を事前に検証,④要求定義時に全社最適へ

欧米流アジャイル開発導入の問題点と克服方法欧米流アジャイル開発との違い ! ソフトウェア開発の土壌が違う ! エンジニアの職種が違う

アジャイル入門 - ipa.go.jp · 『アジャイル開発とスクラム』 •顧客・技術・経営の3者をつなぐために、アジャイルと日本経営の接合点を探る

ドックフーディングとアジャイル開発デモ

はじめてのアジャイル、はじめての経験 · アジャイル型開発を行うメリットについて 2015年6月アジャイル型開発のお客様（システム部門）提案③

アジャイル概説と適用のポイント...2019/05/24 · © Hitachi Solutions, Ltd. 2019. All rights reserved. 1．アジャイル開発概要 2．アジャイル適用状況

アジャイル開発の現状と課題 - IPA2015/07/08 · アジャイル開発の現状と課題 - IPA ... る。

NECにおけるアジャイル開発の位置づけと取り組み · アジャイル開発に対する取り組み変遷アジャイル開発の推進を⾏うも、ビジネス的盛り上が

イノベーションの方法 · リーンスタートアップやアジャイル開発との類似 9 リーンスタートアップアジャイル開発アジャイルソフトウェア開発（CSAJコラム）

アジャイルなオフショア開発(Rakuten techtalk)

アジャイル開発の現状と未来エンタープライズアジャイルの ... · 2019-04-01 · BestBrains社Director。政府のアジャイルプロジェクトをコンサルティング。アジャイル契約を開発、実施

俺のKPT -アジャイル開発はじめてみました-

古参Webサービスのアジャイル化、官公庁系システム開発、自社パッケージ開発等を経て、現在に至る。 2016年にアジャイルの世界にデビュー。

【12-A-4】　Eclipse-Way ：分散アジャイル開発のためのプラクティスとその事例

反復開発やアジャイル開発の経験が少ないプロジェクトの推進役 … · 結果｜反復、アジャイル開発は成功しているか？ 11 4件のプロジェクト

アジャイル開発コンサルティングサービスメニューのご紹介

アジャイル開発における利用者価値が高い ソフトウェアのリリー...

アジャイル開発における利用者価値が高いソフトウェアのリリー...