「歩留り」で管理するストリーミング配信 2013 3-21

「歩留り」で管理するストリーミング配信

©2012 Keynote Systems, Inc.

2013年3月21日

Keynote Systems, Inc.Technical Business Representative

竹洞陽一郎[email protected]

計測データから導き出すストリーミング配信の最適解

自己紹介

Keynote Systems…Technical Business Representative

やってきた事 Layer1～7の技術

定量化・定性化分析手法（Function Point法、COCOM II）

システム最適化

Lotus Notes → Windowsのシステム構築 → Unix/Linuxのシステム構築 → メール→ Webシステム → ユーザビリティ→システム開発見積り・IT不良資産 → 仮想マシン → CDN、Web高速化、ストリーミング、RMT問題 → Webコンサルティング（パフォーマンス、UX）

配信情報 Keynote Systems Japan 公式サイト

（http://www.keynotesystems.jp/）

Keynote Webパフォーマンスコミュニティ（https://www.facebook.com/KeynoteSystemsJapan）

Keynote Systems Japan公式Blog（http://blog.keynotesystems.jp/）

2013年3月21日 2©2012 Keynote Systems, Inc.

http://www.keynotesystems.jp/

https://www.facebook.com/KeynoteSystemsJapan

http://highperformanceweb.blogspot.jp/

Keynote Systemsについて

• アメリカ合衆国カリフォルニア州サンマテオに本社を置く

• 1995年創業、1999年NASDAQ上場

• Web、モバイル、ストリーミングのパフォーマンス計測のサービスを主とする

• 計測の分野におけるマーケットリーダー

• 顧客数4,000社以上

• 計測拠点275ヵ所

• 計測用コンピュータ7,000台以上


4

New MediaAutomotive

Retail

Financial Services

Technology & Telecom TravelPortals/Media

Business-to-Business

Keynoteをご採用頂いているお客様

©2012 Keynote Systems, Inc. 2013年3月21日

http://www.hondacars.com/

http://www.autotrader.com/?ac_afflt=none

../../../../teams/marketing/Marketing Shared Documents/Desktop/Local Settings/My Documents/

http://www.ford.com/en/links/General/www_fordvehicles_com/

../../../../teams/marketing/Marketing Shared Documents/Desktop/Local Settings/My Documents/

http://www.hasbro.com/

http://www.vitalstream.com/

今日、お話する事

「機動戦士ガンダム」で理解する「歩留り」

インターネットビジネスでの「歩留り」の重要性

統計学に基づく品質管理

Streaming Perspectiveのデータ

Keynote Systems ”Streaming Perspective”のご紹介


あなたの会社のサイトが1日1万PVを超えているなら、今日の話は重要です。


「機動戦士ガンダム」で理解する「歩留り」

ハードウェアとソフトウェアの違い


「機動戦士ガンダム」の謎

どうしてガンダムを量産しなかったのか?

何故、ジムとかボールを量産したの?

ガンダムを量産すれば、もっと楽に一年戦争は終わったのでは?

もしかして、物語の都合?

2013年3月21日 8©2012 Keynote Systems, Inc..

実は、ガンダムは量産できないシロモノ

宇宙世紀0078当時の最先端技術を投入して開発ビームライフル

ビームサーベル

ルナ・チタニウム合金

学習型コンピュータ

コア・ブロック・システム

フィールド・モーター駆動

総合性能は、７年後のグリプス戦役（「機動戦士Zガンダム」の舞台）のモビルスーツに匹敵

言わば、「枯れていない」技術で作られた特注品


大量生産されたザク – 枯れた技術での生産

１年戦争の間に8,000機も生産される

枯れた技術を使う

超高張力鋼（超硬スチール合金）

ザク・マシンガン

ザク・バズーカ

ヒートホーク

変形合体無し


ガンダムは量産できない

あらゆる局面で実戦に耐え得る完成度を実現するために、製造コストは度外視されており、生産過程で異様に高い水準でパーツの選別を行っている（基準に満たないものを流用して陸戦型ガンダム等の機体が少数量産された）。コア・ブロック・システムによる複雑な機体構造やその高機動・高出力・重装甲はとても量産可能な代物ではなかった。

― Wikipediaより抜粋


歩留りの重要性

ガンダム１機では、戦争に勝てない。どんなに、アムロが凄くても。

戦争は、地球上だけでなく、宇宙でも繰り広げられていた。ガンダムとアムロがどんなに頑張っても、全部の戦場で戦うのは無理。

量産できて、普通のパイロットでも使える兵器が必要ジム

ボール

歩留りが悪ければ、必要な兵力を補給できない


歩留りとは?

工業分野では、工業製品の生産数に対する、良品の比率

歩留まりは限りなく1に近い・または100%の方が良い

不良品をゼロとすることは、現在の技術では純粋な素材や製品を製造することができないことや、または製造ラインの作業面における人的ミスや機械トラブルを完全に無くせないことから不可能

単純な工業製品では動作しないものを不良品とみなすことが一般的

所定のスペックを満たすことで良品と認識されて満たさない場合に不良品とされるような、不良品と良品の境界が曖昧な工業製品では、検査や品質の基準に左右される


零戦は歩留りが悪かった

エンジンの歩留りが50%から一桁台

軽量化のため機体骨格に多くの肉抜き穴を開けたり、空気抵抗を減らすために製造工程が複雑な沈頭鋲を機体全面に使用するなど、大量生産に向かない設計となっている。これは当初、少数精鋭の艦戦ということで工数の多さは許容されたという面があったためである。実際、後のP-51と比較すると零戦の生産工数は3倍程度となっている。


インターネットビジネスでの「歩留り」の重要性

ハードウェアとソフトウェアの違い


ソフトウェア開発の特殊性

ソフトウェア「開発」と言っても、ソフトウェア「生産」とか「製造」とは言わない。

ソフトウェアは、ロジックをコードに具現化したもので、デジタルで保存・コピー可能

完全なコピーが可能という特殊性〜製造という過程がない

バグは、「設計ミス」であって、「製造ミス」ではない

ソフトウェア開発やソフトウェアを使ったビジネスに携わっている人に「歩留り」は無縁だった


ルールが変わった－ソフトウェアの「製造」

インターネット、モバイル、Webの普及により、ソフトウェアの利用方法が変わった。

「クライアントアプリケーションをインストールする」→完成品を利用する

「Web、Webアプリケーション、スマートフォンアプリケーション、ストリーミングを利用する」→部品や半製品を毎回、端末側で組み立てる＝製造する

インターネット網やモバイルネットワークが「製造ライン」になった。


「意外と」不安定なインターネット網

インターネットは、どこかの組織が一元的に統括・管理しているわけではない。

様々なネットワーク(AS)の集合体

ネットワーク間で、パケットをバケツリレーしている

想像を絶する構成ノード数ノード数の増加は、「ムーアの法則

」(18ヶ月毎に倍になる)に従っている

常にどこかでノードが故障している


http://iopscience.iop.org/1367-2630/10/12/123027/fulltext/

AS(autonomous system)レベルでのノード数の増加

制約の多いモバイルネットワーク

電波干渉という問題ユーザがそこに多く居るからと言って、電波塔（基地局）は増やせ

ない

基地局を乱立するとどうなるか? – “Dirty WiFi”と同じ状況に

電波の「谷間」～基地局と基地局の中間点

「繋がる」事と「通信できる」事は、違うアンテナの表示が5本中5本立った! → 電波強度が十分というだけ

携帯基地局は、混雑するとネットワークを守るためにパケットを意図的にドロップする

レイテンシの問題モバイルネットワークのレイテンシは100～200ms


携帯網のパケットドロップ率の影響

無線基地局のパケットドロップ率が20%、1パケット1KBの場合

1. 全部で100KBのデータを送信する場合失敗回数の期待値＝{100×(1-0.8)}÷0.8=25

失敗回数の分散={100×(1-0.8)}÷0.8^2 =31.25

失敗回数の標準偏差は、31.25の平方根、約6となります。

2σの考え方だと、下値＝失敗回数の期待値－2×失敗回数の分散の平方根上値＝失敗回数の期待値＋2×失敗回数の分散の平方根

2σ（シグマ）の範囲を計算すると、(25－2×6, 25+2×6)=(13, 37)95%の確率で13～37回の失敗（パケットドロップ）が発生します。

2. 全部で1,000KBのデータを送信する場合失敗回数の期待値＝{1,000×(1-0.8)}÷0.8=250

失敗回数の分散={1,000×(1-0.8)}÷0.8^2 =312.5

失敗回数の標準偏差は、312.5の平方根、約18となります。

2σ（シグマ）の範囲を計算すると、(250－2×18, 250+2×18)=(214, 286)95%の確率で214～286回の失敗（パケットドロップ）が発生します。

「歩留り」は完成品をチェックしないとわからない

サーバサイドの可用性や負荷状況を監視しても、エンドユーザに対してサービスを配信できている「保証」にはならない半製品や部品の組み立ては、PC、タブレット、スマートフォンなど

の端末で行われるため。

「歩留り」には、性能も含まれるエンドユーザサイドで、どのくらいの秒数で利用できる状態になっ

ているかを見なければ、歩留りは確認できない。

エンドユーザからのクレームが来てから対処では遅すぎるプロアクティブに「品質管理」するためには、定常的な定点計測が

重要


統計学に基づく品質管理

データを判断、データで決断


NUMB3RS


数学（統計学）の重要性


データを「正しく」分析すれば、未来が予測できる

太っているのか？痩せているのか？


60Kg

身長がわからなければ、太っているのか痩せているのかは、わからない

見るべき数値は足りているのか？

訪問者数、ページビュー数、直帰率、コンバージョン率の数値だけで十分なのか？

↓身長を知らずに体重を眺めるようなもの

今期の売上の理由は？マーケティングキャンペーンの影響？

時期？

コンテンツの改善の影響？

新商品の影響？

価格改定の影響？

ユーザーインターフェース改変の影響？2013年3月21日 26©2012 Keynote Systems, Inc.

パフォーマンスの影響


88%

11%

7%

2倍

16%

1秒速くなる毎のブランドイメージアップ

1秒速くなる毎のCVの向上

1秒速くなる毎のPVの向上

1秒遅くなる毎の顧客満足度低下率

継続的な計測による顧客満足度向上

スピード = 価値「今や、250msという速度が、Webにおける競争力の強みとなる特別な数字に近い。」 Harry Shum, Microsoft

売上向上

10%の売上向上(1秒高速化される毎に)

12%の売上向上(表示速度が6秒から1.2秒に高速化することによって)

5%の売上向上(2秒高速化される毎に)

最速で表示された場合は50%以上のPV増加(最遅表示された場合と比較)

9%以上のトラフィック増加(400ms向上される毎に)

生産性向上

2%の生産性向上

100%の生産性向上(2.7秒までアプリケーションを高速化した場合)

エラーが減少、エンジニアリングサイクルが加速、データの統一性の向上

25%の生産性向上

ライリーの小売引力の法則(W.F.Reilly, 1929)


P=α＊A/D^2

P=購入確率、α＝係数、A＝魅力、D＝距離（サイト速度）

購入確率は、人口ないし品揃えに比例し、距離（サイト速度）の二乗に反比例する

結果に影響を及ぼす変数を考える


表示速度の定量評価無しでは、PV、CV、直帰率は正しく評価できない


日本のEコマースTop20 SoftBank


日本のEコマース Top20 DoCoMo

Amazonのパフォーマンス正規分布図


2012年11月23日～12月7日

平均を見てはいけない!


Webパフォーマンスと訪問者数Internet Explorer、Firefoxの場合


Webパフォーマンスと訪問者数iPhone、Androidの場合


Webパフォーマンスとページビュー数Internet Explorer、Firefoxの場合


Webパフォーマンスとページビュー数iPhone、Androidの場合


Webパフォーマンスと直帰率Internet Explorer、Firefoxの場合


WebパフォーマンスとコンバージョンレートInternet Explorer、Firefoxの場合


WebパフォーマンスとコンバージョンレートiPhone、Androidの場合


相関図を作ることで、現在の収益への影響の主変数がコンテンツ要因かパフォーマンス要因かがわかる。


パフォーマンス

コンバージョン

STREAMING PERSPECTIVEのデータ

YouTubeも使ってる


パフォーマンス＆可用性 – 時系列


正規分布図


散布図


詳細データ


詳細データ


彼を知り己を知れば百戦危うからず

（孫子の兵法）

↓

データを持っていない

↓

競合についても、自社についても、知らなさ過ぎる

↓

負けるに決まってる


お問い合わせ

各サービス詳細資料については、Slideshareよりダウンロード頂けます。 http://www.slideshare.net/takehora/presentations

日本語Webサイトにサービス概要を掲載しております。 http://www.keynotesystems.jp/

Facebookファンページで最新情報をご覧頂けます。 https://www.facebook.com/KeynoteSystemsJapan

またブログでも記事を配信しています。 http://blog.keynotesystems.jp/

価格については、営業窓口までお問い合わせ下さい。（和泉：[email protected]）

March 21, 2013 50

http://www.slideshare.net/takehora/presentations

http://www.keynotesystems.jp/

https://www.facebook.com/KeynoteSystemsJapan

http://highperformanceweb.blogspot.jp/

Q&A

3/21/2013 51©2012 Keynote Systems, Inc.

参考資料 – STREAMING PERSPECTIVE

お時間のあるときに、ご覧下さい。


53

Agenda Product Overview

Features

What’s New

54


Features

What’s New

55

0

5000

10000

15000

20000

25000

2009 2010 2011 2012 2013 2014

PB/month

Internet Video toPC

Internet Video toTV

Streaming Market

Internet video: 40% of all consumer web traffic this year, 57% in 2014

Source: Cisco Visual Networking Index, June 2010

48% CAGR

107% CAGR

56

ContentDistributionNetworks

Portals

CommercialWeb sites

EnterpriseIntranets

Media Companies

Content Creators

Ecosystem

The Streaming Pipeline (High-Level)

57

Source

Video

Compress

Audio/Vi

deo

Codecs

(H.264,

WebM,

etc.)

Bitstream

FLV,

ASM,

etc.

Deliver over

network

using

proprietary

protocol

(RTMP,

MMS, etc.)

or HTTP

Play in

browser,

desktop,

smartpho

ne, …

58

StreamingMonitoring

Streaming MonitoringStreaming Perspective provides a comprehensive view of

streaming media performance. With geographically diverse

measurement agents that use the latest media players, provides

the industry’s most accurate and representative measurements.

Streaming Perspective

•18 Measurement locations

•Support for Real Player, QuickTime, Flash, Silverlight and 4 other players

•Market tested mature product in use by all major CDN's and used for the Olympics

•Supports Live Events, On-Demand and progressive download video monitoring

WebPerformance

MobileQuality

Online Effectivenes

s

New MediaPerformance

VoIPQuality

59

Example Streaming Perspective Customers

http://www.mirror-image.com/default.asp

http://www.edgecast.com/index.htm

http://www.bloomberg.com/

http://images.google.com/imgres?imgurl=http://www.cse.iitm.ac.in/~wissap08/Siemens_petrol1.bmp&imgrefurl=http://www.cse.iitm.ac.in/~wissap08/sponsors.html&usg=__b3B9pXXRsqxh_vpzmj_QzcJbVfs=&h=315&w=1181&sz=1091&hl=en&start=3&sig2=0SyaqQbyPZA-FWB4MznQtA&um=1&tbnid=yuXCybhg6WNYLM:&tbnh=40&tbnw=150&prev=/images?q=siemens&hl=en&sa=N&um=1&ei=iqXrSs2qB5O6tAPQw9D1Aw

http://images.google.com/imgres?imgurl=http://www.reelseo.com/wp-content/uploads/2008/10/bit-gravity.jpg&imgrefurl=http://www.reelseo.com/bitgravity-api-hd-video/&usg=__-GpmzSH5Knbuf5NeTkbYj4VpXuk=&h=141&w=296&sz=7&hl=en&start=3&sig2=orqp56T54fVxumVv44iFZg&um=1&tbnid=BQMmpTUR_Fjr7M:&tbnh=55&tbnw=116&prev=/images?q=bitgravity&hl=en&um=1&ei=zKXrSp7TDpDStQPto6CwDw

http://images.google.com/imgres?imgurl=http://www.harlemlive.org/community/Business/NoMoreDisneyStore/DISNEYLOGOCOLOR.jpg&imgrefurl=http://www.harlemlive.org/community/business/no-more-disney-stores.html&usg=__IfCvckUwXscEiwWO_uHjwsfqgJY=&h=796&w=1724&sz=145&hl=en&start=6&sig2=SRDurtY13Og5iZaU2pED6Q&um=1&tbnid=zzCX6b2warOO2M:&tbnh=69&tbnw=150&prev=/images?q=disney&hl=en&um=1&ei=OKfrSoWOL4T4tAORoPDhBw

http://images.google.com/imgres?imgurl=http://clear.colorado.edu/NAACLHLT2009/sponsor_logos/google_logo.jpg&imgrefurl=http://clear.colorado.edu/NAACLHLT2009/&usg=__fgRp5fysuW8BS_sVgQ8YxWYkUvo=&h=426&w=1024&sz=36&hl=en&start=3&sig2=ybVBAzUsj_cKwsQLh60gkQ&um=1&tbnid=mQZ2Lg-nPjPfvM:&tbnh=62&tbnw=150&prev=/images?q=google+logo&hl=en&um=1&ei=gafrSrHgA434tgOfo7T1Aw

http://images.google.com/imgres?imgurl=http://www.fluidhosting.com/images/internap_logo.gif&imgrefurl=http://www.fluidhosting.com/&usg=__rbbkD2eRN-31WsnGKk_8G7VcfOE=&h=72&w=198&sz=2&hl=en&start=5&sig2=_utymkaloUF-UWPUz2nEbQ&um=1&tbnid=9C32-Mr9QlWLfM:&tbnh=38&tbnw=104&prev=/images?q=internap+logo&hl=en&um=1&ei=L6jrSourNIS4tAPa7PX1Aw

http://images.google.com/imgres?imgurl=http://architect.wwwcomm.com/uploads/corycommunications/Images/Level3-Logo.png&imgrefurl=http://www.corycommunications.com/resources.asp&usg=__PHOQmJRooB_pXiTd7XwDVQX5xCI=&h=69&w=202&sz=8&hl=en&start=3&sig2=faSA7ApN0tBjpt9vy0cQFQ&um=1&tbnid=7yCYk8G0hDUzMM:&tbnh=36&tbnw=105&prev=/images?q=level3+logo&hl=en&um=1&ei=XajrSo72KpHutgOUufnhBw

60

Customer Example: 2008 Beijing Olympics

+

=

+

61

Streaming Perspective Locations: North America

Country City Carrier/Operator/ISP

United States Atlanta Sprint

United States Chicago Savvis

United States Dallas AT&T

United States Los Angeles Qwest

United States New York Cogent

United States San Francisco Sprint

United States San Jose XO

United States Washington DC XO

62

Streaming Perspective Locations: InternationalCountry City Carrier/Operator/ISP

Netherlands Amsterdam KPN

Germany Frankfurt Telefonica

England London C&W

Italy Milan BT Italia

France Paris Orange (FT)

Sweden Stockholm TeliaSonera

South Korea Seoul Kornet

Singapore Singapore SingTel

63

Streaming Perspective Locations: Premium

Country City Carrier/Operator/ISP

Australia Sydney Telstra

Japan Tokyo IIJ

Streaming Private Agents also available

64


Features

What’s New

Connecting, Buffering and Rebuffering is time that the technology is “working” but the viewer is not getting video – this is a strong dissatisfier!

The time that the video is actually played should be longer than the “work” time, to keep viewers engaged.

StreamQ: Keynote Authored Industry Standard

connecting buffering playing rebuffering

Typical time profile for a video as it is played:

User FRUSTRATION from connect, buffer and rebuffer delays

Connection Success Rate (CSR)

Average Bit Rate (ABR)

StreamQ

65

66

MyKeynote – Dashboard

67

MyKeynote – Graphs

68

MyKeynote – Alarms and Reports

69


Features

What’s New

70

Streaming Perspective 2.1 Bandwidth throttling

Flash player support for ActionScript 3

Flash custom parameter support

Rebuffering events in Flash

User experience timeline

Network component measurements

VBR measurements

Silverlight stream playback

Miscellaneous fixes

71

MyKeynote/KSC Integration Migration from legacy portal (streaming.keynote.com)

complete

All measurements now migrated to new portal

Customers can self-provision new measurements in KSC

72

Play Time in Seconds Flex customers can choose < 1 min play time when provisioning

Future Plans

Visual Experience Graph

Bandwidth Simulation for all player types in KSC

Improved Silverlight support

connecting buffering playing rebuffering playing

0 5 1

0

1

5

2

0

73

74

Exponential growth in Internet video

Streaming Perspective is market leader in

• Locations

• Player support

• Insight into user experience

Summary