WebEffective overview 2012 japanese

Web Effective

大規模UXテストによるWebデザインの

定量・定性評価

Keynote Systems, Inc.

Technical Business Representative

竹洞陽一郎

[email protected]

KEYNOTEの手法

統計分析手法と認知心理学に基づく

9/6/2012 2 ©2012 Keynote Systems, Inc.

Last Mile First Mile Middle Mile

WebEffective – User Experienceテスト

ユーザがアクセスした際に、アンケート依頼のポップアップを表示し、質問項目に沿ってサイト上で行動してもらうことが可能です。

200～10,000以上の規模の母数に対応しています。

3

September 6, 2012

web server

エンドユーザ


自動車 B2B 金融機関製薬

ポータルサイト／メディア

小売技術／通信旅行

Keynote のユーザー体験調査

弊社には世界135カ国、28の言語で、数千件もの実績があります


http://www.hondacars.com/

http://www.autotrader.com/?ac_afflt=none

http://www.ford.com/en/links/General/www_fordvehicles_com/

../../../

http://www.mori.com/

../../../

http://search.aol.co.uk/web_idx

http://www.hasbro.com/

http://www.sixcontinentshotels.com/h/d/6c/home

他のユーザー体験調査手法と WebEffective との違い

実際の操作に即した、作業ベースの手法

文脈に対応した質問

ユーザーの心情がわかる

ユーザー体験を総体として把握

意向および行動

サンプル数の多さ

統計上有意

世界規模での展開が可能

データの分類が可能

WebEffective は市場調査、ユーザビリティ研究、そしてWeb分析それぞれの長所を合わせ持っています。


Web上でのユーザー体験の種類

意図

ユーザーの目的は

ユーザーは何がしたいか

ユーザーは何を期待しているか

行動

目標達成のためにどんな行動をしているか

どんな機能を使っているか

どんな情報を得ているか

結果

ユーザーの成功率は

その難易度は

時間はどのくらいかかるか

効果

ユーザーの満足度は

ユーザーは、顧客になっているか

再度訪問してくれるか

WebEffective は、以下のようなユーザー体験の側面をすべて把握することができます


ひとつのツールを、多用途に使用できる

競争力調査

競合のベンチマーク

顧客の獲得

公開Web調査

サイト設計

試作サイト

の評価

継続的な

ベンチマーク

長期的な計測

訪問者の感想に関するKCR

競合にどう対抗するか

サイト計測

Site Essentials

True Intent

訪問者は目的を達成できているか

ブランドと

価値命題

ミニサイトでの広告

どうすれば関心や、定着率をあげることができるか

顧客はサイトを

見てどう思うか

新たに設計しなおしたサイトが、ユーザー体験を改善できているかを、どうやって確認するか

長期的に見たときに、ポイントとなるトレンドは何か


調査は28言語で実施可能

英語

フランス語

ドイツ語

イタリア語

スペイン語（ラテンアメリカ）

スペイン語（イベリア半島）

ポルトガル語（ブラジル）

オランダ語

スウェーデン語

ノルウェー語

デンマーク語

ギリシャ語

フィンランド語

ロシア語

アルバニア語

チェコ語

ポーランド語

トルコ語

ルーマニア語

ハンガリー語

ヒンディー語

中国語（簡略自体）

中国語

韓国語

日本語

タイ語

ベトナム語

インドネシア語


手法ー Keynote の WebEffective の流れ

4 被験者はサイトを訪問し、一定の作業を実施し、それについての質問に回答

2 募集やインターセプトを利用し、目的のための充分なサンプルを集める

3 被験者は自宅や会社など慣れた環境からサイトにアクセス

6 WebEffective

CustomerScope レポートは、調査の専門家が重要な結果や推奨事項を引き出すための分析ツールを提供

5 WebEffective

Connector によって被験者の行動、考え、意

向を把握

1 調査方針と目的を明確にする：WebEffective TestScripter を使用し、調査を設計


「カンニングペーパー」集

パネリスト／被験者／ユーザー

Keynote WebEffectiveの調査の参加者には、それぞれ「パネリストID」と呼ばれるIDが与えられます

招待状

Eメールでの調査参加の招待

サイトの訪問者に対する、調査参加のためのインターセプトメッセージ

排除機能

通常は調査のはじめに行う、不適切なパネリストをふるいにかけて落とすための一連の質問

定数サンプリング

偏りがないよう（例：男性50%、女性50%）、調査対象を確保

目的／作業

各調査でパネリストに対して指示される作業

通常、パネリストが指示された作業を実施する際の設定メッセージやリマインダーメッセージを含む

ページ遷移

特定のデータ収集オプションを使う際、ツールを使用して記録する、各パネリストが作業中にとる行動

TestScripter

計測用質問事項のスクリプトとプログラミングの専用ツール

CustomerScope

Keynoteの有する分析の対象となる量的、質的、行動上のデータを集めるための専用ツール


パネリストの体験例

http://webeffective.keynote.com/v.asp?inv=6E84C66754804BACB59817057B5B0350


パネリストのオプションと募集

多様かつ柔軟な


調査画面の例


パネルへの働きかけとプロセス

1

3 4 5

$10 Amazon

ギフト券

2

OR

ＥメールまたはWeb上でのポップアップを通じて招待通知を受ける

スクリーニングアンケート

基本質問への回答

報酬の受け取り（オプション）

全体に関する質問への回答

作業と質問への回答


パネルオプション

インターセプトを介して募集した被験者

実際のサイト訪問者がサイトを利用しているところをインターセプト

多岐にわたるインターセプト手法

パネリストは完全な匿名にするか、またはプライベートパネルに参加させることが可能

任意でパネルに対する報酬や昇格制度を設定可能

パネルの募集

第三者機関を利用し、参加者の募集や報酬を与えることが可能

通常パネリストは一度しか調査に参加しない（完全な匿名性を保つため）

Eメールでリンクを送る募集方式


顧客リスト

顧客のメーリングリストも、調査用のURL（クライアントは、プライベートパネルとしてではなく、一度きりの使用を前提にこのURL を顧客に送ることができます）を設定することで募集可能

プライベートパネル

自分専用の顧客を募集

クライアント限定で、非公開使用

クライアントから提供される顧客リストや任意に募集したパネリストを含めることが可能

Eメールで募集

パネルオプション


プロジェクトワークフロー

パネリスト・弊社・御社のタイムライン


標準的なプロジェクト周期：６〜８週間

クライアント様

レポート

承認キックオフ／計画

計測

レビュー設計

分析改善策の実施

Q&A／

プロジェクト実行

1日 2〜5日 3〜5日 1日

設計

フェーズ

実行

フェーズ

分析

フェーズ

2〜3日

5〜10日

5〜10日 1日

Keynote

パネリスト

* 注：パネル、翻訳、その他サービスに関す

る契約書はキックオフの時点までに署名す

るものとする。

* 注：弊社からのサービス提供（パネル、翻訳、その他

サービス）を受ける際は、時差を考慮して下さい。


サービス全体でのタイムライン例

* Impact Reportの提出は、スケジュール通り計測が完了していることが条件となります。予定より対応速度に

時間がかかる場合、プロジェクトの最終納品日が変更になる場合があります。

注：弊社からのサービス提供（パネル、翻訳、その他サービス）を受ける際は、時差を考慮して下さい。

アクション主体者方法日数

キックオフ会議 Keynote／クライアント様

電話会議 1日

スクリプトの初稿提出 Keynote Eメール 2〜5日

スクリプトのフィードバッククライアント様 Eメール 3日

スクリプトの最終稿提出／プレビューアクセス

Keynote Eメール 2日

プロジェクト開始の承認と、サイトの安定性の確認

クライアント様 Eメール 1日

Q&A／計測の開始 Keynote － 2〜3日

Field and Close Evaluation Keynote － 5〜10日

CustomerScopeの提出 Keynote Eメール－

分析 Keynote － 5〜10日

Impact Reportの発表 Keynote／クライアント様

電話会議 *


調査時のユーザーの作業フロー例

総サンプルサイズ：N=200

性別：男性50%、女性50%

client.comからのインターセプトを利用して集めたパネリスト100名

第三者サプライヤーを利用して集めたパネリスト100名

導入部

花屋を見つける

まとめ

スクリーニング

花屋を見つける

ウォルマートを探すウォルマートを探す

弁護士を探す弁護士を探す

レストランを見つけるレストランを見つける

Site A

n-=200

Site B

N=200

これはパネリストがサイト A とサイト B 両方

で作業を実施し、その結果を比較する調査です。順序による偏りが出ないように順序も変

更されます。

ユーザー作業フロー例１


計測時のユーザーの作業フロー例

スクリーニングアンケート

導入

タスク１

サイト１

目的間手法：

三種類の作業のうち、ひとつにつき100名の

パネリストが作業を実施

タスク２

サイト３サイト２

まとめまとめまとめ

タスク１タスク１

タスク２タスク２

パネリスト100名パネリスト100名パネリスト100名

導入

ホームページ

価値命題

n=200

ミニタスク＃３

まとめ

ミニタスク＃１

ミニタスク＃２

スクリーニング

n=300

ユーザー作業フロー例２ユーザー作業フロー例３


データ収集オプション

ユーザ行動、ユーザ思考、レート、コメントの


データ収集オプション１：アンケート

アンケート

Webベースのデータ収集

- 画面中央に質問のダイアログボックスが表示される

- 質問に合わせたウィンドウサイズ

自己報告の回答のみを把握

行動データは対象外


データ収集オプション２：コネクターなし

コネクターを使用しない計測

パネリストへの作業／手法の提示が可能

行動データは対象外


データ収集オプション３：ローカルコネクター

ローカルコネクターを利用した計測

パネリストへの作業／手法の提示が可能

行動データの把握も可能


データ収集オプション３：ローカルコネクターの詳細

ローカルコネクター

調査のはじめに被験者がダウンロードするブラウザコンパニオン（ActiveX） - スクリーン上でのワンクリックダウンロード - 約300KBのファイルサイズ - ダイアルアップ接続で、約1分（ブロードバンドであれば数秒）

行動データを収集

- ブラウザナビゲーション、Web 2.0 要素、戻るボタン使用可、ブックマーク etc.

システム要件

- IE 5.5 以上

- Firefox 3.0 以上

- Microsoft Windows サポートバージョン

- Pentium processor 以上；500 MHz 以上；ハードドライブ空 1Mb 以上

- Webブラウザの Cookie を有効に設定

機能と特長

- 精度の高い画面遷移の行動データ把握

- 複数のドメインやWebサイトをまたがっての行動を把握

- 被験者がファイヤーウォールの奥（イントラネット、試作サイトなど）での行動データを収集

- サイトの訪問時間や訪問サイトなど行動に基づいた質問が可能

- 被験者の行動に基づいた質問が可能

- 戻るボタン、新しいウィンドウ、ブックマークや中止などブラウザでの行動を把握 9/6/2012 26 ©2012 Keynote Systems, Inc.

データ収集：コネクターのベストプラクティス

推奨の組み合わせ = 最上部にドック、ポップアップで質問

検討事項

縦にスクロールすることなくページを見渡せるようにしたいときは、ドックを左に配置すると良い。

ポップアップボックスが画面の中央に出て邪魔になるのを避けたい場合は、質問をバーで表示し、ドックを左に配置すると良い。

ひとつの調査内ではあまりレイアウトを変えないようにすることで、パネリストを不快にさせたり、混乱させたりすることを避ける。

最上部にドックを配置すると左右に最も広く、最もよく下に続くWebブラウザのオリエンテーションに使用されます。

ポップアップはWebページを下に繰り下げません。


WEBEFFECTIVEポータル

調査結果を確認できる


https://webeffective.keynote.com にアクセス

下記の方法でもアクセス可

http://www.keynote.com ログイン WebEffective

下記でログインしてください

ユーザー名：USERNAME

パスワード：PASSWORD

WebEffective ポータルとは


WebEffective ポータル：

計測用スクリプトと調査報告へのアクセス

すべての調査結果を保管するためのセントラルレポジトリ。IC内のすべてのメンバーがスクリプトおよび調査報告にアクセス可能（フルアクセスまたは読み取り専用）

あらかじめ用意されたテンプレートを使用するか、

完全新規で素早く簡単に調査を作成


TestScripter

調査の設計およびスクリプト

質問項目を作成する際便利な、段階的入力画面

計測内容は簡単に設計、変更可能。アイコンで質問の種類を

判別

条件付きロジックなど、

プレビュー機能完備


WebEffective ポータル：

調査のモニタリング

フィールディングの際、

完了した調査の数を確認。

いつでも被験者を招待可能。

定義した被験者を

システムが自動で割り当て


CustomerScope

結果を一望量的／質的な調査結果や相関関係、

ページ遷移に関する各種分析ツール

各作業の成功／失敗／ギブアップ表示

平均閲覧時間、

閲覧ページ数、

作業ごとの各種

メトリクス


CustomerScope

量的調査結果

データを並べて表示、または分類表示

アウトラインから任意のセクションや質問項目へジャ

ンプ可能

分類／フィルタリングによる調査結果の

分析


CustomerScope

質的調査結果 – コメント例

テーマごとにコメントを自動クラスタリ

ング

クリックしてコメントを表示

キーワード検索も

可能


CustomerScope

ページ遷移分析 – 経路の追従

特定の被験者のページ遷移や質問への答えを表示

被験者が計測中に実際に見た画面をサムネイルで表示し、遷移履歴の前後の画面を左右に表示

閲覧時間および

ロード時間表示 9/6/2012 36 ©2012 Keynote Systems, Inc.

September 6, 2012 38


質的、量的な調査結果、相関関係、ページ遷移などの詳細分析のためのツール

調査の参加者（被験者）は、各作業の結果を成功・失敗・ギブアップのいずれかで記

録される

平均閲覧時間、閲覧ページ数、作業ごとの各種メトリクス

アナリシス・ポータルの概要


自動的にコメントをテーマ別に

分類クリックするだけでコメント全体を表示

キーワード検索も可能

分析ポータルーコメントの分類


モバイルサイト調査

スマートフォンサイトのUX効果測定


Keynote WebEffective™ スマートフォン端末調査

検索

20%

Home Lighting

5%

Philips モバイル向けサイト

N=25

Household products

75%

N=17

Espresso

82%

Coffee

6%

Home

6%

Irons

6%

Household Products

N=14

Gaggia Brera 写真

50%

Bean-to-cup

42%

Gaggia Classic 写真

8%

Espresso Webページ


コンサルティングパッケージ

お得なプリメイドパッケージ


価格

パッケージ A: サイト基本評価

御社のサイトのユーザ体験を詳細に調査します。

- サイト数: 1

- パネリスト数: 150

- 調査タスク: 3つ

- 計測対象: ユーザ行動、ユーザ思考、評価レート、コメント

- キーメトリクス: 使いやすさ、成功率、満足度、好き/嫌い、問題とフラストレーション、ブランディングとコンバージョンの観点からのサイト利用へのインパクト

- 分析: 推奨策を含む概要レポート、オンラインでの調査結果データの提供

価格: $40,000

パッケージB: 競合他社分析

御社の競合他社2社を含めたユーザ体験比較を行います。

- サイト数: 3 (例御社のサイトと御社の競合他社2社)

- パネリスト数: 150

- 調査タスク: サイトあたり1つ

- 計測対象: ユーザ行動、ユーザ思考、評価レート、コメント

- キーメトリクス: 使いやすさ、成功率、満足度、好き/嫌い、問題とフラストレーション、ブランディングとコンバージョンの観点からのサイト利用へのインパクト

- 分析: 推奨策を含む概要レポート、オンラインでの調査結果データの提供

価格: $40,000


Documents

WebEffective overview 2012 japanese