Download as PDF, PPTX
Uploaded byAmazon Web Services Japan
PDF, PPTX6,089 views
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
Recommended
![[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2famazonauroratips-170307140000-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
![[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2fawsxon18howfarstepfunctionsgo-211124111849-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
More Related Content
What's hot
Similar to Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
![[CTO Night & Day 2019] AWS で構築するデータレイク基盤と amazon.com での導入事例 #ctonight](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2fctond2019morningsessiondatalake-191027185852-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
![[Sumo Logic x AWS 共催セミナー_20190829] Sumo Logic on AWS -AWS を活用したログ分析とセキュリティモニ...](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2fsumologiconaws-loganalysisandsecuritymonitoringusingaws-20190829-190829114856-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
More from Amazon Web Services Japan
![[20220126] JAWS-UG 2022初頭までに葬ったAWSアンチパターン大紹介](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2f20220126-anti-220126190603-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
- 1.© 2021, AmazonWeb Services, Inc. or its Affiliates.Amazon Web Services Japan, K.K.2021/06/08Chie HayashidaKinesis + Elasticsearchでつくるさいきょうのログ分析基盤
- 2.© 2021, AmazonWeb Services, Inc. or its Affiliates.22⾃⼰紹介林田千瑛（Chie Hayashida）アナリティクススペシャリストSA@AWSすきなたべもの：肉
- 3.© 2021, AmazonWeb Services, Inc. or its Affiliates.33こんな⼈にきいてほしいログの可視化ができていない• 数字ベースのビジネス判断を行うための指標がない• アプリケーションやインフラの稼働状況が可視化できていない現在のログ分析基盤に課題がある• オンプレのサーバや分析ソフトウェアのライセンス費用をクラウド化で削減したい• AWSもしくは他クラウド上のログ分析基盤がうまく活用できていない
- 4.© 2021, AmazonWeb Services, Inc. or its Affiliates.4リアルタイムなログ分析、やってますか︖
- 5.© 2021, AmazonWeb Services, Inc. or its Affiliates.55バッチデータでできるログ分析数十分から1日前以前のデータを利用例）• 日次・月次でのメトリクスの集計レポート• 長いスパンでのトレンド分析• 過去のある時点の状況を可視化
- 6.© 2021, AmazonWeb Services, Inc. or its Affiliates.66（ニア）リアルタイムデータでできるログ分析数ミリから数秒単位のレイテンシで得られるデータを利用例）• 数秒〜数分前の状況を可視化• インシデント発生時に即座に原因分析• 直近のトレンド情報を利用したアラート
- 7.© 2021, AmazonWeb Services, Inc. or its Affiliates.77リアルタイムログ分析の例ビジネス分析• ユーザの動向をリアルタイムに確認して施策に反映• 商品の売上を監視して在庫が無くなりそうになったらアラート• 金融商品の取引状況を監視• マシン設備の稼働状況を監視アプリケーション/インフラログの分析• レイテンシやエラーレートの急増を検知• アプリケーションエラーをリアルタイムにドリルダウン分析• セキュリティインシデント監視/異常検知セキュリティ• 疑わしいユーザ動向の検知（不正ユーザの早期発見・原因分析）• 侵入直後に侵入者のIPでアクセスされたデータを特定
- 8.© 2021, AmazonWeb Services, Inc. or its Affiliates.88ログ分析ダッシュボード例サーバリソースの監視
- 9.© 2021, AmazonWeb Services, Inc. or its Affiliates.99ログ分析ダッシュボード例セキュリティログの可視化(SIEM)ログをセキュリティ分析の観点から時系列、地理情報などで視覚化AWS CloudTrailAmazon GuardDuty
- 10.© 2021, AmazonWeb Services, Inc. or its Affiliates.1010ログ分析ダッシュボード例タクシーの移動情報の可視化
- 11.© 2020, AmazonWeb Services, Inc. or its Affiliates.11マネージド検索サービスAmazon ElasticsearchServiceマネージドストリーム処理サービスAmazon Kinesisシンプルなアーキテクチャでニアリアルタイム分析基盤が構築可能
- 12.© 2021, AmazonWeb Services, Inc. or its Affiliates.1212Amazon KinesisとAmazon Elasticsearch Serviceが選ばれる理由• 2つのサービスだけでアーキテクチャをシンプルにできる• スケーラブル• リアルタイム分析に必要な機能が揃っている• 従量課金
- 13.© 2021, AmazonWeb Services, Inc. or its Affiliates.1313【事例】Airbnb• 数百以上のサービス上で様々な方法・異なるログローマットで生成されるログを収集• 1日300TB以上のデータをインデックス化• 変動するトラフィックに対応するスケーラブルな分析環境の実現• 複数チームにまたがるマルチテナント分析環境の実現数秒のレイテンシで分析可能に内製ツールシンプル！
- 14.© 2021, AmazonWeb Services, Inc. or its Affiliates.1414【事例】THOMSONREUTERS• 1年で4,000 events/sec から10,000 events/sec へのスケールに対応• 新しいデータを10秒以内にダッシュボード反映• ローンチ以来データロスやダウンタイムゼロシンプル！
- 15.© 2021, AmazonWeb Services, Inc. or its Affiliates.1515【事例】AUTODESK• オンプレ上のRoute-cause AnalysisシステムをAWSへの移行によって90%の費用削減• ニアリアルタイムでのログ可視化と原因特定により、MTTIとMTTRを改善
- 16.© 2021, AmazonWeb Services, Inc. or its Affiliates.1616【事例】PayPay• 2.8TB/日のトランザクションデータを57ノードのAmazon ElasticsearchService クラスタで分析• 大規模なインデックスデータの管理をAmazon Elasticsearch Serviceの機能で実現
- 17.© 2021, AmazonWeb Services, Inc. or its Affiliates.17サービス紹介
- 18.© 2021, AmazonWeb Services, Inc. or its Affiliates.1818Amazon Kinesisスケーラブルで高機能なフルマネージドストリーミングサービス
- 19.© 2021, AmazonWeb Services, Inc. or its Affiliates.1919Amazon KinesisAWSにおけるストリーミングサービスüインフラ管理不要üスケーラブルü高い耐障害性üセキュアüAWSや3rdパーティサービスとの接続性ü利用した分のみ課金üさまざまなユースケースを網羅する機能
- 20.© 2021, AmazonWeb Services, Inc. or its Affiliates.2020Kinesis Familyどんなユースケースも対応するサービス群KinesisData StreamsKinesisData FirehoseKinesisData Analyticsストリームデータをデータストアにロードする機能ストリームデータを分析する機能ストリームを取得、加工して転送する機能
- 21.© 2021, AmazonWeb Services, Inc. or its Affiliates.2121分析対象データの例IoT & Mobile• 自動車• スマートホームデバイス• IoT搭載ツール• 製造設備• モバイルアプリIT & DevOps• データベース• ロードバランサ• ネットワークSW• デプロイツール• サーバApplication & Cloud• アクセスログ• 環境設定変更ログ• Webアプリケーションログ• ビジネスアプリケーション• コンテナフレームワーク
- 22.© 2021, AmazonWeb Services, Inc. or its Affiliates.2222さまざまなタイプのデータ収集に対応ProducersKinesisTransactionsERPWeb logs/cookiesConnecteddevicesAWS SDK• サーバやモバイルからAPIを通じて直接PublishAWS Service Integrations• CloudWatch Logs, AWS IoT, DynamoDB, Amazon Database Migration ServiceKinesis Agent• ログファイルを監視して新しいレコードを転送Kinesis Producer Library (KPL)• ストリームデータを発生させてPublish• 複数レコードをAggregateできる3rd party and open source• Log4j appender• Apache Kafka• Flume, fluentd, and more …
- 23.© 2021, AmazonWeb Services, Inc. or its Affiliates.2323Kinesis Data Streams• データの生成元（Publisher）からストリームデータを受け取り、一時永続化して、データの利用先（Consumer）にデータを渡すサービス• さまざまなストリーミングサービスと連携• クライアントライブラリを利用して独自のストリーミングアプリケーション作成が可能• シャード数の増減によってスループットを調整Publisher Consumer受け取ってすぐに処理KinesisData Streams
- 24.© 2021, AmazonWeb Services, Inc. or its Affiliates.2424Kinesis Data Firehose• データ送信元からストリームデータを受け取り、決められたバッファが溜まったタイミングもしくは一定時間ごとにデータストアに格納するサービス• 格納先のデータストアは、Amazon S3 / Amazon Redshift /Amazon Elasticsearch Service が利用可能• シャード管理不要Publisher データストアバッファが溜まったタイミングもしくは決まった頻度で転送KinesisData Firehose
- 25.© 2021, AmazonWeb Services, Inc. or its Affiliates.2525Kinesis Data Streamsと Kinesis DataFirehose の使い分けKinesis Data Streams• ミリ秒から秒単位のレイテンシで処理を行いたい場合• 複数のConsumerに低遅延でのデータ転送を行いたい場合• ストリームデータを利用する独自のアプリケーションを作成したい場合Kinesis Firehose• 数秒から数十分前のデータを利用してニアリアルタイム分析を行いたい場合
- 26.© 2021, AmazonWeb Services, Inc. or its Affiliates.2626両⽅利⽤する場合一つのストリームを独自アプリケーションとニアリアルタイム分析の両方を行いたい場合AWS LambdaAmazon KinesisData FirehoseAmazon KinesisData StreamsAmazonElasticsearchServiceUsersUsersPublisher独自アプリケーションニアリアルタイム分析
- 27.© 2021, AmazonWeb Services, Inc. or its Affiliates.2727Kinesis Data Analytics• Apache Flinkアプリケーションを構築してKinesis Data StreamsやKinesis Data Firehose内に一時永続化したデータに対して分析を行えるサービス• 分析クエリはSQLやJava、Scala、Pythonで書ける• 結果はKinesis Data Streams/Kinesis Data Firehose/AWS Lambdaのいずれかに出力• 負荷に応じてKPU（コンピュートリソースの単位）を自動伸縮• Apache BeamもサポートPublisherKinesisDataAmazon KinesisData Analytics分析クエリの実行Amazon KinesisAWS Lambda
- 28.© 2021, AmazonWeb Services, Inc. or its Affiliates.2828SQLによる分析の例分析コード実行Amazon Kinesis Data Analytics入力ストリーム 出力ストリームCREATE OR REPLACE STREAM “DESTINATION_STREAM” (“id” BIGINT NOT NULL,“action” VARCHAR(64));CREATE OR REPLACE PUMP “SAMPLE_PUMP” ASINSERT INTO “DESTINATION_STREAM”SELECT STREAMuser_id,actionFROM “INPUT_STREAM”);
- 29.© 2021, AmazonWeb Services, Inc. or its Affiliates.2929Kinesis Data AnlyticsのしくみKinesisData StreamsKinesisData FirehoseAmazon Kinesis Data AnalyticsKinesisData StreamsKinesisData FirehoseAWS LambdaAWS Lambda（前処理・オプション）or分析コード実行入力ストリーム出力ストリームエラーストリームAmazon S3S3上のマスタデータとjoinできる
- 30.© 2021, AmazonWeb Services, Inc. or its Affiliates.3030AWS Lambdaによるストリームデータ処理とKinesis DataAnalyticsの使い分けKinesisData StreamsKinesisData FirehoseAmazon Kinesis Data AnalyticsAWS Lambda（前処理・オプション）分析コード実行入力ストリーム出力ストリームエラーストリームAmazon S3AWS Lambda• 好きな言語環境でレコードごとのデータ処理を行いたい場合• S3以外のAWSサービスと連携したい場合Kinesis Data Analytics• 時間ウインドウに対するアグリゲーションを含む処理を行いたい場合• S3上の特定のマスタデータを参照する場合
- 31.© 2021, AmazonWeb Services, Inc. or its Affiliates.3131Kinesis Data Analytics Studio• ノートブックでストリームデータをインタラクティブに分析• 目指した結果が得られたら数クリックで本番デプロイNew!
- 32.© 2021, AmazonWeb Services, Inc. or its Affiliates.3232ログ分析におけるストリームデータ加⼯のユースケース• ログのフィルタリング• 不要なログを捨てることでコスト削減・分析クエリのパフォーマンス劣化を防ぐ• ログのエンリッチメント• ホスト名からIPアドレス情報を付加• ENI情報を特定• タグ情報の追加• リソースタイプごとにインデックス化• リソースタイプによって異なるインデックスへ書き込み
- 33.© 2021, AmazonWeb Services, Inc. or its Affiliates.3333Amazon Elasticsearch Service分散型 RESTful 検索/分析エンジンElasticsearchと可視化ツールKibana のフルマネージドサービス
- 34.© 2021, AmazonWeb Services, Inc. or its Affiliates.3434ユースケース構造化データ, ⾮構造化データn-gram, 形態素解析フィルタリング, ランキング全⽂検索⼤量データの挿⼊(100+TB/dayにも対応)ニアリアルタイムなデータ取り込み複雑, 広範囲なデータ集計ダッシュボード,レポート異常検出, アラートデータ分析, 可視化
- 35.© 2021, AmazonWeb Services, Inc. or its Affiliates.3535Amazon Elasticsearch Serviceを選ぶ理由従量課金、運用コスト削減、ワークロードに応じたインスタンスタイプ、リザーブドインスタンスの利用、UltraWarmとCold StorageAPI とコンソール経由で，数分でクラスターをデプロイKibanaを利用した分析ダッシュボードの作成やUI上でのインタラクティブなデータ分析が可能クラスタを簡単にリサイズ可能PBクラスのデータ量に対応１つのKibanaインタフェースから複数クラスタをまたがった検索Amazon VPC へのデプロイAmazon Cognito, 外部 IDaaS との連携FISMA, SOC, PCI, FedRamp 取得マルチテナント機能, 監査ログマルチAZ対応自動スナップショットフルマネージド 可視化機能つき 高いスケーラビリティとパフォーマンスセキュア 高い可用性 コスト効率
- 36.© 2021, AmazonWeb Services, Inc. or its Affiliates.3636エンタープライズグレードのセキュリティ、アラート、 リアルタイム異常検知、SQL、クエリの⾮同期実⾏ などを強化Apache 2.0 ライセンスの Elasticsearch ディストリビューションOpen Distro for Elasticsearch を採⽤AnalysisAnomaly DetectionAlertTrace AnalyticsSecurityAudit LogsAccess ControlIndex ManagementISM(Index State Management)Index RollupsRefresh Search AnalyzerAnalyzerPerformance AnalyzerRoot Cause AnalysisAdvanced SearchAsynchronous Searchk-NNPPL(Piped Processing Language)SQL
- 37.© 2021, AmazonWeb Services, Inc. or its Affiliates.3737SIEM on Amazon Elasticsearch Serviceマネージドサービスとサーバーレスのみで構成マルチアカウント・マルチリージョン対応CloudFormation/CDK によるデプロイ。約30分で完了マルチリージョン・マルチアカウントのログを集約して保存
- 38.© 2021, AmazonWeb Services, Inc. or its Affiliates.3838UltraWarmとCold Storageコストを抑えてクラスタをスケールUltraWarm• インデックスをS3上に配置して読み取り専⽤でクエリを実⾏• ホットノードとの間で移動が可能• i3ファミリーのホットノードと⽐べて90%近くコスト削減Cold Storage• アクセス頻度の低いデータをS3上に保管• 必要な時にUltraWarmにアタッチして分析• コストはS3のみ
- 39.© 2021, AmazonWeb Services, Inc. or its Affiliates.3939Anomary Detection on Amazon Elasticsearch Service• Random Cut Forest(RCF)を利用して正常の状態を学習してそれと異なる動きをニアリアルタイムで検出• 検出した異常をアラート機能と連携して通知• MLの知識なしに利用可能
- 40.© 2021, AmazonWeb Services, Inc. or its Affiliates.4242なぜログ分析にElasticsearchなのか• REST APIを利用してインタラクティブにCRUD(※)が実行できる• ニアリアルタイム分析による迅速なトラブルシュートができる• インデックスにより特定の文字列を含むログの抽出をDWHと比べて高速に行うことができる• 数十億レコードの分析を数秒で実行可能• リッチな可視化機能をビルトインで提供• UltraWarmやCold Storage、リザーブドインスタンスによるコスト削減※CRUD: create, read, update, delete の略
- 41.© 2021, AmazonWeb Services, Inc. or its Affiliates.4343ログ分析のためのElasticsearchインデックス管理• ログタイプ・日付ごとにインデックス作成（ログの量によって調整）• インデックステンプレートを利用することで新しい日付のインデックスを自動作成• Index State Management(ISM)によって古いインデックスは削除 or UltraWarm/Cold Storageへ自動移動• 履歴データは必要に応じて定期的にRollUp(Aggregation)してクエリ高速化・データ圧縮accesslogs_20210607accesslogs _20210606accesslogs _20210605accesslogs _20210604accesslogs _20210603accesslogs _20210602accesslogs _20210601
- 42.© 2021, AmazonWeb Services, Inc. or its Affiliates.4444まとめ• Amazon KinesisとAmazon Elasticsearch Serviceは多くのグローバル企業でログ分析基盤として採用されている• 2つのサービスのみで簡単にスケーラブルなニアリアルタイムログ分析を実現できる• あらゆるログの収集・加工・分析・可視化に対応する機能を備えている