Usable Security & Privacy研究でのクラウドソーシング利用の現状

Usable Security & Privacy研究でのクラウドソーシング利用の現状

パネルディスカッション：クラウドソーシングによる大規模研究調査の現状と課題

金岡晃（東邦大学）

自己紹介

金岡晃（かなおかあきら）

2017/5/11 SPT研究会：パネル2

東邦大学理学部情報科学科准教授

専門分野暗号実装・応用（IDベース暗号、検索可能暗号、秘匿計算）

セキュリティとプライバシのユーザビリティ

その他：モバイルセキュリティ、ネットワークセキュリティ

コンタクト先 • 電子メール：akira.kanaoka AT is.sci.toho-u.ac.jp• Twitter: akirakanaoka• facebook: 金岡晃（Akira Kanaoka）

経歴と研究・業務内容


ポジション研究・業務内容

修士（東邦大）通信理論（有色雑音下での最適CDMA）

博士（東邦大→筑波大）ネットワークセキュリティ（侵入検知システム＋機械学習）

研究員（セコム）ネットワークセキュリティ＋電子認証

ポスドク研究員（筑波大）

NEDO半導体アプリケーションチッププロジェクト「PairingLiteの研究開発」（ペアリングを用いた暗号の応用検討）

教員（筑波大）招へい専門員（NICT）

ネットワークセキュリティ＋暗号の応用＋セキュリティとプライバシのユーザビリティ＜現在の研究＞

教員（東邦大）


“大丈夫、暗号は敵じゃない”、IPSJ-ONE 2015

Agenda


自分たちの研究で国産クラウドソーシングサービスを利用した事例の紹介

SOUPS発表論文におけるここ5年のクラウドソーシング利用状況

国産クラウドソーシングサービスへの期待

自分たちの研究で国産クラウドソーシングサービスを利用した事例の紹介


国産クラウドソーシングサービス利用


自分たちの研究で利用

• ランサーズを利用• 被験者は数百人レベル• 2週間程度の募集

効果的なパスワード強度メータ提案

暗号技術の信頼性表示機構の提案

Tips？と悩み


マイクロタスク：5択アンケートや自由記入など

• 自作システムを直接使ってもらう方法はない

• タスクのタイトルに工夫「【5分】＊＊の作業」とか

悩み

• 数千のオーダーで被験者が欲しい




SOUPSSymposium on Usable Privacy and Security

SOUPSについて


プライバシとセキュリティのユーザビリティに特化した難関国際会議

2005年から始まった比較的新しい会議

セキュリティ分野のトップカンファレンス（IEEE S&P、USENIX Security、ACM CCS、NDSS）へ通ずる論文多数＋主要メンバーが重複

“人間とセキュリティ“への近年の注目


A. Whitten and J.D. Tyger, “Why Johnny Can't Encrypt: A Usability Evaluation of

PGP 5.0”, USENIX Security ’99

https://www.usenix.org/conferences/test-of-time-awards

USENIX Security ‘15 Test of Time Award

IEEE S&P ’15 PC Co-Chair、NDSS ’17 General Chair

Lujo Bauer（CMU）

これまでのSOUPS：投稿数と採録数


https://cups.cs.cmu.edu/soups/


ユーザ実験の有無と、利用しているクラウドソーシングサービス

Conf ユーザ実験 MTurk その他サービス

SOUPS 2012 14/14 (100 %) 2 5

SOUPS 2013 15/15 (100 %) 5 2

SOUPS 2014 20/21 (95.2 %) 8 4

SOUPS 2015 19/22 (86.4 %) 5 6

SOUPS 2016 21/22 (95.5 %) 7 3


Findings

日本のサービス利用実績はない

2012、2013あたりはCraiglistも多い

2016で急にGoogle Consumer Survey利用が伸びている（2014に1件、2016に4件）

Craiglist, MTurk, AdMob, ResearchMatch, Knowledge Networks,

CrowdFlower, Google Cosumer Survey, Qualtrics, Kijiji, Microwokers.com,

ProlificAcademic

登場したサービス群




国際的な潮流？：Replication Paper

SOUPS 2017のCall for PapersでReplication Paperの投稿が特に強調されている


SOUPS 2016 Call for Papersより抜粋

https://www.usenix.org/conference/soups2016/call-for-papers

Technical Papers• innovative security or privacy functionality and design

• new applications of existing models or technology

• field studies of security or privacy technology

• usability evaluations of new or existing security or privacy features

• security testing of new or existing usability features

• longitudinal studies of deployed security or privacy features

• studies of administrators or developers and support for security and privacy

• the impact of organizational policy or procurement decisions

• lessons learned from the deployment and use of usable privacy and security features

• reports of replicating previously published studies and experiments

• reports of failed usable privacy/security studies or experiments, with the focus on the

lessons learned from such experience


SOUPS 2017 Call for Papersより抜粋

https://www.usenix.org/conference/soups2017/call-for-papers

Technical Papers• Innovative security or privacy functionality and design

• Field studies of security or privacy technology

• Usability evaluations of new or existing security or privacy features

• Security testing of new or existing usability features

• Longitudinal studies of deployed security or privacy features

• Studies of administrators or developers and support for security and privacy

• The impact of organizational policy or procurement decisions

• Lessons learned from the deployment and use of usable privacy and security features

Replication Papers (emphasized in 2017)Reports of replicating previously published studies and experiments. There are several options within this category:

• Full replication: Same study protocol, same type of sample.

• Variation: One design variable is changed. For instance, re-running an MTurk study with a

different sample; conducting a study with a sample from different countries, etc.• Triangulation: Same study goal but different design. For instance, conducting a field study instead of a self-

reporting survey; using a different measurement instrument to measure a variable.


お願い：クラウドソーシングサービス登録者の統計的情報開示

• 論文に参照可能な形（URLなど）で提供されるとベスト• MTurkではないサービスを利用するときに、そのサービスが持つ特徴（特にデファクト化してるMTurkとの違い）を明確化する必要性


Computer Security SymposiumCSSMWSPWSUWS

anti-Malware engineering WorkShop

Privacy WorkShop

Usable security WorkShop

まとめ


自分たちの研究で国内クラウドソーシングサービスを利用した事例の紹介



UWS（ユーザブルセキュリティワークショップ）の紹介

Data & Analytics

Usable Security & Privacy研究でのクラウドソーシング利用の現状