Embed Size (px)
DESCRIPTION
この資料はIIJmio meeting #３で発表されたものです。詳細は下記blogをご覧下さい。 http://techlog.iij.ad.jp/archives/1059
Citation preview
‐ 2 ‐
最初に
スピードテストを否定するわけではありません
ケンカを売りたいわけじゃありません
‐ 3 ‐
スピードテストの「計測対象」について
スピードテストの「計測値」について
について、考えたいと思います
‐ 4 ‐
みんな大好きスピードテスト
表示される「結果」
• ダウンロード速度 … ○ ○ Kbps
• アップロード速度 … ○ ○ Kbps
• 遅延 (ping値) … ○ ○ミリ秒
大変シンプル
• わかりやすい
• 数字なので比較しやすい
でも、ちょっと待ってください！
‐ 5 ‐
スピードテストは何を測っているのか
インターネット
MVNO事業者
MNO事業者（キャリア)
スピードテストサーバ
基地局
端末の対応周波数無線機の性能
CPU速度基地局の混雑
地上ネットワークの混雑
MNO～MVNO相互接続の混雑
MVNO～インターネット
接続の混雑インターネット
全体の混雑
スピードテストサーバの混雑
スピードテストの計測結果に含まれる要素付近の電波状況
MNOの責任範囲端末の責任範囲 MVNOの責任範囲スピードテスト
提供者のの責任範囲
‐ 6 ‐
意味のある計測を行うためには
「ボトルネック」になり得る箇所は、たくさんあります
• スピードテストでは、それらすべての要素を総合した結果だけが表示されます
数字の比較に必要な前提
• 比較対象以外がボトルネックになっていないか？
• 比較対象以外の条件を固定できるか？
‐ 7 ‐
改めて
インターネット
MVNO事業者
MNO事業者（キャリア)
スピードテストサーバ
基地局
端末の対応周波数無線機の性能
CPU速度基地局の混雑
地上ネットワークの混雑
MNO～MVNO相互接続の混雑
MVNO～インターネット
接続の混雑インターネット
全体の混雑
スピードテストサーバの混雑
スピードテストの計測結果に含まれる要素付近の電波状況
MNOの責任範囲端末の責任範囲 MVNOの責任範囲スピードテスト
提供者のの責任範囲
比較したいのはここ！
ほかの条件は固定可能？(条件は時々刻々変化するので実質不可能)
‐ 8 ‐
基地局の話
同じ場所でも、異なる基地局の電波をつかんでいる可能性
があります• 基地局によって、混雑の度合いが異なる可能性があります
• 例えば、繁華街などの混雑するエリア……
• 混雑するエリア以外でもエリアの境界では複数の基地局が見えることがあります。
• 同じ端末でも時間によって別の基地局をつかんでいることも
NTT DoCoMo テクニカルジャーナル Vol.12 No.3FOMAの無線ネットワーク設計概要 その2 無線ネットワーク設計とパラメータ最適化の事例https://www.nttdocomo.co.jp/corporate/technology/rd/technical_journal/bn/vol12_3/051.html
‐ 9 ‐
意外な要素が影響することも
Windows Update
• モバイル回線でWindows Updateを実行する人もいらっしゃるようです
• 転送量が結構多いです
• ほぼ同じタイミングに集中して発生します
こういった「混雑」による速度低下も、もちろん通信サービスの
「品質」の一部です
とはいえ、以下の二つがごちゃ混ぜに評論されていると、もやもやす
る気持ちも……
• 外的要因による一時的な速度低下
• 恒常的な設備不足による速度低下
‐ 10 ‐
スピードテストの結果を見るときは……
周辺の条件も意識してください
• 比較に耐えうる条件がそろえられる？
• 完全にそろえることは不可能です → 結果も察してください
混雑の「波」を意識してください
• 一日の中での変化
• 週の中での変化
• 世間で発生するイベント (Windows Update、アプリの大型アップデート等)
あまり数値にはこだわらないでください• 実は、計測結果の数値自体にも悩ましい点があります
→次のネタへ続く
‐ 11 ‐
スピードテストの「計測値」について
‐ 12 ‐
理想的な通信速度は青線(A)
現実の通信速度は赤線(B)
計測結果を一つの数字(○○Kbps)で現わすためには、
何らかの”加工”が必要になります
スピードテストの「計測値」
瞬間
の速
度
経過時間
(A)
(B)
‐ 13 ‐
考えられる加工方法
平均を取る
• ○○Kbyteの転送にかかった時間で平均を取る
• 単純に○○秒間の平均を取る
最大速度
• 瞬間最大の速度で代表する
ピークカット
• 不安定と思われる計測結果を除外する ※次ページで説明します
上記複数の組み合わせ
等、様々な”加工”が考えられます。
‐ 14 ‐
ピークカットとは
速度が安定していない(と推測される)部分をカットして
平均を取る
総務省: インターネットのサービス品質計測等の在り方に関する研究会（第2回）資料2－4 株式会社イードプレゼンテーション資料 より、引用http://www.soumu.go.jp/main_sosiki/kenkyu/speed_measurement/02kiban04_03000123.html
‐ 15 ‐
どの加工が「正しい」と言うわけではない
「スピードテスト」アプリ毎に異なる処理
加工の方法によって、異なる値が出る
「○○Kbps」という表記に、絶対的な尺度であると
思いがちだが、実際には絶対的な尺度ではない
(同一アプリならともかく)
アプリ間で数字を比べることはできない
さらに、悩ましい点が……
‐ 16 ‐
「バースト」型の通信を計測する
例: • 通信開始から75KByte分は 3000Kbpsで通信
• それ以降は200Kbpsで通信
通信量:150KByte
通信時間:3.2秒
瞬間最大速度:3000Kbps
平均速度:375Kbps
※説明がしやすいように、きりの良い数値を使用しています※理想的な通信速度制御が行われていると仮定します
後のスライドでも、この条件は変更しません
375Kbps
‐ 17 ‐
計測のための通信量を変更する
速度制御方法は変更していないのに、平均速度が変わる• 計測のための通信量を 150KByte → 300KByteに変更
• 計測結果の平均速度が 375Kbps → 260Kbps に変化
通信量:300KByte
通信時間:9.2秒
瞬間最大速度:3000Kbps
平均速度:260Kbps
260Kbps
‐ 18 ‐
速度計測のサンプリング間隔を変更する
瞬間の速度を求める方法
瞬間の速度≃ある区間の速度 =
(直前のカウンタの値 – 現在のカウンタの値)
サンプリング時間
サンプリング時間の粒度によって、得られる値が異なる
サンプリング0.3秒最高速度 2066Kbps
サンプリング0.5秒最高速度 1320Kbps
サンプリング1秒最高速度 760Kbps
‐ 19 ‐
サンプリングのタイミング
サンプリングのタイミングがズレると、計測値が変わる
例:• 計測サーバの応答が0.2秒遅延した場合
• 計測結果の最高速度が 2066Kbps → 1133Kbps に変化
サンプリング0.3秒最高速度 1133Kbps
サンプリング0.3秒最高速度 2066Kbps
‐ 20 ‐
バーストする通信速度を計測するのは難しい
平均速度では特徴を表せない
• 平均の取り方によっても値が違ってくる
最高速度を調べることは難しい
• サンプリング時間を長くすると、ピークが丸まった数値が出る
• サンプリング時間を短くすると、ちょっとした揺らぎで数値が大きく変わる
バースト型の通信においては、
シンプルな数値で「速度」を代表させることは困難
‐ 21 ‐
もう少し詳しく「通信速度」を見てみる
‐ 22 ‐
より詳細な調査の試み
単純なスピードテストでは、「通信速度」を表現できません
「通信速度」を可視化できないか、チャレンジしてみました
以下のような構成で、通信速度を0.1秒単位でグラフ化します
Wi-Fi
• ノートPCにLTE対応USBモデムを接続 (IIJmioのSIMを装着)• スマートフォンは、Wi-FiでノートPCに接続• スマートフォンのアプリからの通信を、ノートPC上でグラフ化
クーポンOFF200Kbps (バーストあり)
‐ 23 ‐
デモ
‐ 24 ‐
これ以降はデモができなかった時のための予備
‐ 25 ‐
Ookla Speedtest.net
スピードテストのような連続的な通信は、
200Kbps付近に制御される
‐ 26 ‐
RBB TODAY SPEED TEST
Speedtest.netとは異なる傾向
計測期間中に、複数回パルス的な通信を発生させている？
‐ 27 ‐
Twitterの「更新」は瞬間的な通信
ほぼ200Kbps制限にかかっていない
※参考: クーポンON時
‐ 28 ‐
Web閲覧 (Yahoo)
HTTPリクエストが途切れた後、再度バーストしている
1ページ表示する間でも、複数回のバーストが発生
1ペジ目表示
バナー広告
2ページ目表示
画像表示
‐ 29 ‐
Pixiv
大きな画像の表示は「連続的な通信」になる
200Kbps制限がかかり、あまり快適ではない
画像の拡大 画像の拡大サムネイル
‐ 30 ‐
LINE 無料通話
通話中も200Kbpsに満たない帯域しか利用していない
音声通話では「遅延時間」が通話品質に影響する
‐ 31 ‐
LINE トーク(チャット)
ほとんど通信が発生していない
‐ 32 ‐
radiko.jp
通話と違い、散発的な通信 (Apple HTTP Live Streaming)
通信が一度途切れるので、バーストし放題
‐ 33 ‐
Lord of Knights (オンラインゲーム)
タブを切り替えると通信発生。バーストで速やかに終了
未キャッシュのカード画像を大量に取得する時は遅い
‐ 35 ‐
まとめ
スピードテストが「測っている」対象を意識
• 測りたい箇所だけを測れる訳ではない
• 比較のための条件統一が困難
• 計測結果の変動要因にも意識を向けて
スピードテストの結果は絶対的な尺度ではない
• スピードテストの「計測値」は加工されている
• 加工方法によって異なる結果になる
• バースト型の通信をスピードテストで評価するのは困難
バーストが有効に働く通信・働かない通信
• 通信の状況を詳細に見ると、興味深いです
