Movatterモバイル変換

7 | © 2019 Akamai | Confidential巨人の肩に乗る「私がさらに遠くを見ることができたとしたら、それは単に私が巨人の肩に乗っていたからです。」https://ja.wikiquote.org/wiki/%E3%82%A2%E3%82%A4%E3%82%B6%E3%83%83%E3%82%AF%E3%83%BB%E3%83%8B%E3%83%A5%E3%83%BC%E3%83%88%E3%83%B3

8 | © 2019 Akamai | Confidential現代ITの巨人「私がさらに遠くを見ることができたとしたら、それは単に私が巨人の肩に乗っていたからです。」https://ja.wikiquote.org/wiki/%E3%82%A2%E3%82%A4%E3%82%B6%E3%83%83%E3%82%AF%E3%83%BB%E3%83%8B%E3%83%A5%E3%83%BC%E3%83%88%E3%83%B3Cloud Computing

9 | © 2019 Akamai | Confidential現代ITの巨人「私がさらに遠くを見ることができたとしたら、それは単に私が巨人の肩に乗っていたからです。」https://ja.wikiquote.org/wiki/%E3%82%A2%E3%82%A4%E3%82%B6%E3%83%83%E3%82%AF%E3%83%BB%E3%83%8B%E3%83%A5%E3%83%BC%E3%83%88%E3%83%B3Cloud ComputingOpen Source Software

12 | © 2019 Akamai | Confidential大変・面倒なことはクラウドサービス送りの時代• ストレージ• DAS, NAS, SAN,ObjectStorage, ...• データベース• SQL-DB, KVS, DocumentDB, ...• サーバ、処理系• VM, Container, Runtime, Function• ネットワーク• LAN, WAN, VPN• クラスタ構築・運用• トレーシング• ロギング• 認証・認可• メッセージキュー• プッシュ通知• 各種APIサービス• データ分析・可視化

13 | © 2019 Akamai | Confidential大変・面倒なことはクラウドサービス送りの時代• ストレージ• DAS, NAS, SAN,ObjectStorage, ...• データベース• SQL-DB, KVS, DocumentDB, ...• サーバ、処理系• VM, Container, Runtime, Function• ネットワーク• LAN, WAN, VPN• クラスタ構築・運用• トレーシング• ロギング• 認証・認可• メッセージキュー• プッシュ通知• 各種APIサービス• データ分析・可視化

18 | © 2019 Akamai | ConfidentialAkamai as DataSourceの歴史• Log Delivery Service (LDS)• 生ログ蓄積・管理サービス• 指定先ストレージにバッチ転送 or メール（歴史を感じる・・・）• Download Receipt• ログ蓄積ではなくアクセス情報をストリーム的に流してくれる(Push）• Akamai Cloud Monitor• DR同様だが、より情報・形式がリッチな形で形式も扱いやすい(Push)• Akamai DataStream• サーバサイドの生ログでも要約データでも好きな方を収集できる• ストリーム的にPushもするし、アカマイ側で集積しているデータをPullもできる• Akamai mPulse API• クライアント側から採取したデータにPull方式でアクセスできる

19 | © 2019 Akamai | ConfidentialAkamai as DataSourceの歴史• Log Delivery Service (LDS)• 生ログ蓄積・管理サービス• 指定先ストレージにバッチ転送 or メール（歴史を感じる・・・）• Download Receipt• ログ蓄積ではなくアクセス情報をストリーム的に流してくれる(Push）• Akamai Cloud Monitor• DR同様だが、より情報・形式がリッチな形で形式も扱いやすい(Push)• Akamai DataStream• サーバサイドの生ログでも要約データでも好きな方を収集できる• ストリーム的にPushもするし、アカマイ側で集積しているデータをPullもできる• Akamai mPulse API• クライアントから採取したデータにPull方式でアクセスできる歴史的には様々な提供形態がありますが、生ログ保管用のLDS、そして下２つのDataStreamとmPulse APIが主力となります。

20 | © 2019 Akamai | ConfidentialAkamai DataStream API• リアルタイムでアカマイ基盤からのログ・モニタリング情報を取得可能• 詳細な生ログ、集約された統計情報のどちらにも対応• 設定で伝達・取得項目を選択し、きめ細かく制御可能• Push API• 規定のエンドポイント・サービスにJSON形式で送り込む• Splunk, SumoLogic, Amazon S3に対応• Pull API• 最大24h分のデータから、任意のデータをJSON形式で取得可能

21 | © 2019 Akamai | ConfidentialAkamai mPulse API• リアルタイムでウェブブラウザ側からのモニタリングデータを提供• ブラウザ側でのモニタリングのため、直帰率などの行動指標も取得可能• 詳細な時系列データ、集約された統計情報の両方に対応• REST APIのクエリパラメータで多様な絞り込みに対応• Pull APIのみサポート• 最大13ヶ月分の蓄積データからJSON形式でデータ取得可能Akamai DataStreamがアカマイ基盤側から見たデータ、Akamai mPulse APIがエンドユーザー（ブラウザ）側から見たデータ、とちょうど対になっている形となります。

26 | © 2019 Akamai | Confidentialノープログラミング。でも設定はあります。• Akamai DataStream• Raw DataStream の Push 設定• Amazon S3• バケットの用意と読み書き用のアクセスキー情報• Google BigQuery• DataStreamデータの保存先テーブル（スキーマ定義）• S3からのData Transfer設定• BigQuery Geo Viz• 可視化したい情報を抜いてくるためのクエリ• 可視化パラメータ（描画色や大きさなど）

42 | © 2019 Akamai | Confidential現代ITの巨人「私がさらに遠くを見ることができたとしたら、それは単に私が巨人の肩に乗っていたからです。」https://ja.wikiquote.org/wiki/%E3%82%A2%E3%82%A4%E3%82%B6%E3%83%83%E3%82%AF%E3%83%BB%E3%83%8B%E3%83%A5%E3%83%BC%E3%83%88%E3%83%B3Cloud ComputingOpen Source Software

49 | © 2019 Akamai | Confidential全体動作serverclient①loop DataStream Pull API②GET pageGET statusloop③④GET country?cc=FRmPulse Query APIせっかくのDIYなので拡張しましょう。GIO.jsの国選択イベントを拾い、その国でのパフォーマンスデータをXHR call→mPulseAPIのリレーをしつつ取得し、C3.jsで可視化。これで本当の完成！

53 | © 2019 Akamai | ConfidentialDataStream Raw Log → GIO.js 形式の変換{"data": [{"type": "Raw",..."geo": {"country": "US",...},"network": {..."bw": "5000"},...}, {"type": "Raw",...左の DataStream Raw Log (JSON) 形式のたった２つのフィールドを抜き出し、GIO.jsが求める{e:, i:, v:}の形式にすればいいだけ

54 | © 2019 Akamai | Confidential定番JSON加工ツール: jq(1)$ jq -r '[.data[] | select(.geo.country) | {"e": .geo.country,"v": .network.bw | tonumber}] | group_by(.e) | map({"i": "GB","e": .[0].e,"v": map(.v) | add})' < raw.json > status.json{"data": [{"type": "Raw",..."geo": {"country": "US",...},"network": {..."bw": "5000"},...}, {"type": "Raw",...左のDataStream Raw LogのJSON形式は上の7行ほどのjqコマンドでGIO.jsに渡すデータ構造に変換できる。つまり、ここもプログラミング不要に。この生成された結果をGIO.jsでロードする

57 | © 2019 Akamai | ConfidentialmPulse Query APIhttps://developer.akamai.com/api/web_performance/mpulse_query/v2.htmlAPI 機能$API_URL/summary ロードタイム中央値などの全体的な集計結果を返す$API_URL/histogram ロードタイムの区間毎に、そのアクセス件数を分布として返す$API_URL/sessions-per-page-load-time ロードタイムの区間毎に、その範囲に収まったセッション数を返す$API_URL/metric-per-page-load-time ロードタイムの区間毎に、その群での直帰率などの追加データを返す$API_URL/by-minutes 指定日のアクセスについて、分単位でロードタイムを返す$API_URL/geography 各国別に集計したパフォーマンス集計結果を返す$API_URL/page-groups ページグループ別に集計したパフォーマンス集計結果を返す$API_URL/browsers ブラウザ別に集計したパフォーマンス集計結果を返す$API_URL/bandwidth 帯域別に集計したパフォーマンス集計結果を返す$API_URL/ab-tests A/Bテストパターン別に集計したパフォーマンス集計結果を返す$API_URL/timers-metrics 各種パフォーマンス指標や追加指標単位の集計結果を返す$API_URL/metrics-by-dimension 指定の指標を軸にして、ユーザーの行動計測データを返す$API_URL/dimention-values 個々の指標で、フィルタ条件として指定できる値の一覧を返す

58 | © 2019 Akamai | ConfidentialmPulse Query APIhttps://developer.akamai.com/api/web_performance/mpulse_query/v2.htmlAPI 機能$API_URL/summary ロードタイム中央値などの全体的な集計結果を返す$API_URL/histogram ロードタイムの区間毎に、そのアクセス件数を分布として返す$API_URL/sessions-per-page-load-time ロードタイムの区間毎に、その範囲に収まったセッション数を返す$API_URL/metric-per-page-load-time ロードタイムの区間毎に、その群での直帰率などの追加データを返す$API_URL/by-minutes 指定日のアクセスについて、分単位でロードタイムを返す$API_URL/geography 各国別に集計したパフォーマンス集計結果を返す$API_URL/page-groups ページグループ別に集計したパフォーマンス集計結果を返す$API_URL/browsers ブラウザ別に集計したパフォーマンス集計結果を返す$API_URL/bandwidth 帯域別に集計したパフォーマンス集計結果を返す$API_URL/ab-tests A/Bテストパターン別に集計したパフォーマンス集計結果を返す$API_URL/timers-metrics 各種パフォーマンス指標や追加指標単位の集計結果を返す$API_URL/metrics-by-dimension 指定の指標を軸にして、ユーザーの行動計測データを返す$API_URL/dimention-values 個々の指標で、フィルタ条件として指定できる値の一覧を返すmPulse APIはAPIとしての提供機能がかなり多いため、本日は概要までの紹介に留めさせていただきます。

61 | © 2019 Akamai | Confidentialまとめ• Akamai DataStream 紹介（アカマイ基盤側のログ取得）• Akamai mPulse API 紹介（クライアント側データの取得）• クラウドサービスによるノープログラミングでのデータ可視化• GIO.js, C3.jsといったオープンソースライブラリでのデータ可視化• 案外簡単なDIY Akamai Globe（もどき）の制作

62 | © 2019 Akamai | Confidentialまとめ• Akamai DataStream 紹介（アカマイ基盤側のログ取得）• Akamai mPulse API 紹介（クライアント側収集データの取得）• クラウドサービスによるノープログラミングでのデータ可視化• GIO.js, C3.jsといったオープンソースライブラリでのデータ可視化• 案外簡単なDIY Akamai Globe（もどき）の制作このセッションを通じ、「なんだ、案外簡単じゃないか」「これならちょっとつついてみようかな」と思って頂けたなら幸いです。ありがとうございました！

Movatterモバイル変換

Change Language

DIY Akamai Globe in 50 Minutes

Embed presentation

Recommended

More Related Content

What's hot

Similar to DIY Akamai Globe in 50 Minutes

More from Taisuke Yamada

DIY Akamai Globe in 50 Minutes