Download as PDF, PPTX
Uploaded byAmazon Web Services Japan
PDF, PPTX5,975 views
[CTO Night & Day 2019] AWS で構築するデータレイク基盤と amazon.com での導入事例 #ctonight
2019年10月に京都で開催された CTO Night & Day 2019 Fall Day1 モーニングセッションでの講演資料です
Recommended
More Related Content
What's hot
Similar to [CTO Night & Day 2019] AWS で構築するデータレイク基盤と amazon.com での導入事例 #ctonight
![[20220126] JAWS-UG 2022初頭までに葬ったAWSアンチパターン大紹介](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2f20220126-anti-220126190603-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
More from Amazon Web Services Japan
[CTO Night & Day 2019] AWS で構築するデータレイク基盤と amazon.com での導入事例 #ctonight
- 1.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.Morning SessionAWSで構築するデータレイク基盤とamazon.comでの導入事例
- 2.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.⾃⼰紹介• 北村 聖児• Amazon Web Service Japan K.K.• Solution Architect• Media & Entertainment• 前職• Server Side Engineer• 好きなAWSサービス• Amazon Connect
- 3.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.本⽇お伝えしたいこと• データレイクとは• AWSで構築するデータレイクのアーキテクチャ• Amazonでのデータレイク事例
- 4.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.データレイクとは
- 5.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.データレイクとは1. 将来、必要な時に分析できるよう明細データを捨てずに蓄積する「湖」（2010年にJames Dixon（Pentaho CTO）がHadoop Worldで提唱）分析要件A別のカットでの分析不可分析要件A分析要件B将来、新たなカットで分析可能
- 6.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.データレイクとは2. 多様なフォーマットのデータをそのまま保存できるストレージ構造化・半構造化・非構造化データ構造化データ要件C
- 7.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.データレイクとは3. 全てのデータを一元的に保存できる容量無制限のストレージ（別々のストレージに保存するとサイロ化していく）HDFSサーバやHadoopクラスターの管理が必要Amazon Simples StorageService(S3)サーバやインフラ管理から解放
- 8.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.ゴミ溜めになるのではないか？• データと共にメタデータを登録しないと後で活用できない• DWH でデータ・ディクショナリがないと分析できないのと同じ出典：https://www.amazon.co.jp/Data-Lake-Architecture-Designing-Avoiding/dp/1634621174
- 9.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.データレイクは DWH を拡張する• データウェアハウスに加えてビッグデータ処理なども可能に1. 明細データを捨てずに蓄積2. 多様なフォーマットを保存可能3. 容量無制限なため一箇所に集約DWHBIOLTP ERP CRM LOB SNSデバイス Web センサービッグデータ処理、リアルタイム処理、機械学習データレイク+
- 10.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.AWSで構築するデータレイクのアーキテクチャ
- 11.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.データレイク半構造化／非構造化／アーカイブAWSのビッグデータ分析基盤︓ハイレベルアーキテクチャBI 機械学習分析クエリ ビッグデータ処理 リアルタイムダッシュボード／警告通知AWS Cloud相互連携11RedshiftQuickSightEMR SageMakerKinesisGlueS3Athenaデータウェアハウス構造化
- 12.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.データレイク半構造化／非構造化／アーカイブデータレイクGlueS3
- 13.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.S3によるデータレイク実現のメリット• 上限無し︓サイジング不要• ⾼い耐久性︓99.999999999%• 安価︓• $0.025/GB/⽉*（スタンダード）• $0.019/GB/⽉*（標準-低頻度アクセス）例）10TBの保存で約2.1万円/⽉**• APIアクセス• 多様な⾔語にライブラリを提供• AWS各種サービスと連携データレイクAmazonEMR（Hadoop）AmazonRedshiftAWSGlueAmazonS3センサーデータ 非構造化ファイルテキストファイルRDBMS* 費用は2019年10月時点での東京リージョンでの価格です** 1USドル = 110円で、標準-低頻度アクセスでの試算AmazonSageMaker
- 14.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.Amazon S3データ分析EMR RedshiftデータバックアップEC2 RDSStorageGatewayEBSRedshiftETLCloudFrontコンテンツ変換コンテンツ配信ElasticTranscoderデータアーカイブGlacierAWSのデータレイク＝Amazon S3AthenaAmazonForecastAmazonPersonalizeAmazonRekognitionAmazonSageMaker機械学習IoTAWS IoTBIQuickSightAWS Glue
- 15.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.データレイク半構造化／非構造化／アーカイブデータレイクGlueS3
- 16.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.AWS GlueデータレイクのデータカタログとETL処理データカタログ§ AWS Glue データカタログ︓Redshift Spectrum,Athena, EMRからS3上の半構造データにアクセスする場合のデータカタログとして利⽤・連携可能§ AWS Glue ETL︓分散処理でETLジョブを⾏うフルマネージドでサーバーレスなサービス。コストは利⽤したリソース分だけの⽀払いETL処理16データカタログとは︓データの構造（列、型など）やアクセス⽅法を定義してあり検索などが可能ETL処理とは︓複数のデータストア間でデータ連携する際の取出し(Extract)、変換(Transform)、ロード(Load) 処理
- 17.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.AWS Glue データカタログテーブル構造をHiveメタストア互換の形式で管理• 列・プロパティ・型• データロケーション（S3のパス）• 更新情報 等クローラーによる自動スキーマ推論とデータカタログ登録• Hiveパーティションを認識し登録を自動化 /mydata/year=2017/month=11/...17/month=12/...
- 18.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.データレイク半構造化／非構造化／アーカイブAWSのビッグデータ分析基盤︓ハイレベルアーキテクチャBI 機械学習分析クエリ ビッグデータ処理 リアルタイムダッシュボード／警告通知AWS Cloud相互連携RedshiftQuickSightEMR SageMakerKinesisGlueS3Athenaデータウェアハウス構造化
- 19.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.データウェアハウス構造化データRedshift
- 20.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.Amazon Redshift特徴• 最⼤2PBまで拡張可能• 超並列(MPP)で、列指向型DBエンジンによる⾼速SQL処理• 最⼤128台まで拡張可能• PostgreSQLとの互換性• 使った分だけの利⽤料⾦で従来のデータウェアハウスの1/10のコストで実現フルマネージドのクラウド型データウェアハウスサービスJDBC/ODBCRedshift
- 21.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.Amazon Redshift Spectrum• S3上に置いたファイルを外部テーブルとして直接参照して⾼速分析処理• Redshift内のデータベースの内部テーブルと組み合わせてSQLでクエリ可能• 多様なファイルフォーマットに対応ü CSV, TSV, Parquet, ORC,RegexSerDe 等S3各種データ（CSV，Parquet等）Spectrum層Redshift
- 22.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.データレイク半構造化／非構造化／アーカイブAWSのビッグデータ分析基盤︓ハイレベルアーキテクチャBI 機械学習分析クエリ ビッグデータ処理 リアルタイムダッシュボード／警告通知AWS Cloud相互連携RedshiftQuickSightEMR SageMakerKinesisGlueS3Athenaデータウェアハウス構造化
- 23.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.データレイクビッグデータ処理Athena EMR
- 24.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.Amazon Elastic MapReduce（EMR）Hadoop/Sparkなどの⼤規模分散処理環境のマネージドサービスü 簡単スタート︓数クリックでセットアップ完了ü 低コスト︓従量課⾦、必⽤な時間だけクラスターを稼働分散処理フレームワーク分散処理基盤簡単に複製リサイズも1クリックAmazonS3AmazonDynamoDBAmazonKinesisAmazonEMR
- 25.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.EMRFS: S3をHDFSの様に扱う“s3://” と指定するだけでHDFSと同様にS3にアクセス• 計算ノードとストレージを分離できるü コスト⾯でもメリット⼤• クラスタのシャットダウンが可能ü クラスタを消してもデータをロストしない• 複数クラスタ間でデータ共有が簡単• データの⾼い耐久性（S3）EMREMRデータレイクに直接並列でアクセスすることが可能AmazonS3
- 26.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.Amazon Athena• S3上のファイルにSQLを実⾏可能• PrestoベースでANSI SQL対応• サーバ管理、データロード不要• ⾃動で並列クエリ実⾏• 結果はコンソールにストリーム（動的更新）• 結果はS3にも保存• スキャンしたデータ量に対する課⾦• JDBC／ODBC経由でBIツールから可視化S3に保存したファイルをサーバーレスでインタラクティブに直接クエリ26
- 27.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.データレイク半構造化／非構造化／アーカイブAWSのビッグデータ分析基盤︓ハイレベルアーキテクチャBI 機械学習分析クエリ ビッグデータ処理 リアルタイムダッシュボード／警告通知AWS Cloud相互連携RedshiftQuickSightEMR SageMakerKinesisGlueS3Athenaデータウェアハウス構造化
- 28.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.データレイクの代表的なユースケース
- 29.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.⾼速データ処理の実装理論︓ラムダ・アーキテクチャスピード ／バッチレイヤ29http://lambda-architecture.net/newdatabatch layerspeed layermasterdatasetreal-timeviewreal-timeviewserving layerbatch viewbatch viewqueryquery全データの精度の⾼い集計リアルタイムにデータ処理結果のマージバッチ処理の結果を提供
- 30.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.ラムダ・アーキテクチャのデータレイク実装例Amazon S3AmazonDynamoDBDevicesSensorsAWS IoTAmazon KinesisData StreamsAWSGreengrassAmazon KinesisData FirehoseAmazon KinesisData AnalyticsAmazon KinesisData StreamsデータレイクAWSGlueAmazonEMRAmazonRedshiftAmazonAthenaAmazonSageMakerスピードレイヤバッチレイヤAmazonQuickSight
- 31.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.ラムダ・アーキテクチャのデータレイク実装例Amazon S3AmazonDynamoDBDevicesSensorsAWS IoTAmazon KinesisData StreamsAWSGreengrassAmazon KinesisData FirehoseAmazon KinesisData AnalyticsAmazon KinesisData StreamsデータレイクAWSGlueAmazonEMRAmazonRedshiftAmazonAthenaAmazonSageMakerスピードレイヤバッチレイヤAmazonQuickSightバッチレイヤへの取込みを待たずにリアルタイムデータを即時に活用（速報値の表示／警告通知など）
- 32.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.セキュアなデータレイクを数⽇で構築特徴 ( https://aws.amazon.com/jp/lake-formation/ )❏ Amazon S3 バケットからのデータ認識・取込・クレンジング・カタログ化・変換が容易に可能❏ Blueprint による容易なデータロード設定❖ データベースデータのロード• スナップショットデータをロードするバルクロード• 更新データを継続的にロードするインクリメンタルロード❖ CLB/ALB/CloudTrail ログのロード❏ 機械学習による変換で容易に重複データを排除❏ DataLake にアクセスする複数サービスに対し、横断的にセキュリティポリシーを適⽤❏ テーブル、および、カラム粒度の権限付与が可能❏ セルフサービスアクセス化を加速するカタログ管理機能❏ リアルタイム監査とモニタリング価格体系❏ Lake Formation ⾃体の利⽤は無償❏ Lake Formation で利⽤されるサービスにかかる費⽤のみのお⽀払い新しいインサイトの獲得と管理複数サービス横断セキュリティポリシー適⽤データの認識、取込、クレンジング、変換AWS Lake Formation
- 33.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.Amazonのデータレイク事例
- 34.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.Amazon のビジネスとデータ活用Amazon Data Warehouse• Amazon はグローバルに様々なビジネスを展開• そこから生まれる大量のデータを分析してビジネス判断
- 35.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.多様な分析要件と大きなワークロード80,000 ユーザー900,000 ジョブ／日38,000 のデータセット分析ユーザーとユースケースは多種多様
- 36.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.Amazon のデータウェアハウスの課題
- 37.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.“Andes” –データレイク・プロジェクト–• Amazonの成長に合わせて拡張可能なエコシステムを提供• オープンなシステムアーキテクチャで、多様なデータ分析の選択肢を提供• AWSを利用してフィードバック、サービス改善に貢献
- 38.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.“Andes” 以前の DWH のアーキテクチャLegacy DataWarehouseETLM Workflow ServiceExportHosted Compute and StorageExecution DAGDataIngestionData SourcesUsersReportingSystemsSoftwareApplicationsAmazonDynamoDBAmazonAuroraAmazonRedshiftOracle
- 39.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.“Andes” のアーキテクチャ SynchronizedMetadata, DataAmazonRedshiftAmazonRedshiftAWSGlueAWSGlueAmazonAuroraAmazonDynamoDBBig Data SystemDiscovery ServiceSynchronizersETLM WorkflowServiceExecutionDAGDataIngestionHoot UIData SourcesGlue ETLOrchestrationSpectrumAndes Metadata &Governance ServiceCompletionServiceCustom EMROrchestrationAmazonKinesisAmazon Simple StorageService (S3)AmazonEMRAmazonEMRAmazon S3LOAD参照
- 40.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.“Andes” 完成（2018年1月移行完了）• PBクラスの DWH を AWS に移行• DWH に加えてビッグデータ処理も可能に動画：https://www.youtube.com/watch?v=PitJL9vOotcスライド：https://www.slideshare.net/AmazonWebServices/under-the-hood-how-amazon-uses-aws-services-for-analytics-at-a-massive-scale-ant206-aws-reinvent-2018
- 41.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.• 収集と後続処理が分離され、収集側がデータレイクにデータを置くだけで良い構成• セルフサービスを促進するために「発⾒」「登録」層を導⼊セルフサービスを実現するための仕組み収集 蓄積データレイク分析 可視化・応⽤発⾒ 登録Discover Subscribeセルフサービス化
- 42.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.データレイクポータルによる「発⾒」の実現各種情報を提供• 登録者情報• 詳細情報（登録者が記⼊）• スキーマ• サポートレベル• 評価（今後の実装）部署やデータタイプによる分類検索機能※この図はアイデア検討時のモックアップであり、実際とは異なります
- 43.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.✔「登録」によるセルフサービスのデータ取得関係者との調整や開発不要欲しいデータを発⾒したら、登録（Subscribe）する登録時にはデータの⾏き先を指定（⾃部⾨のRedshiftやEMR等）⾃動的にコピー処理やメタデータ同期処理が構築され、定期的にフレッシュなデータが供給される✔登録(Subscribe)AmazonRedshiftAmazonEMRデータ定期コピー（バッチ）メタデータ同期（S3へは透過アクセス）AWS Glue
- 44.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.「登録」モデルの実現とその効果ユーザ調整が可能な設計• 必要なデータ範囲や頻度を設定可能• 独⾃のクエリを登録して、データ連携のタイミングで⾃動実⾏⾃動的なバリデーション（表⾏数チェック、スキーマチェック等）誰が何を使っているか把握できるため、データの削除や変更時にも影響範囲が把握できるという効果ありINSERT INTO ..SELECT ...User QueryWhen ...▼After data copyID = ABC and ...WhereTiming▼ Once a day :3AM
- 45.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.⾮常に多くのお客様がデータレイク基盤をAWSに構築10,000以上のデータレイクがAWS上で稼働
- 46.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.AWS Data Lake ハンズオンセミナーのご紹介参考：https://aws.amazon.com/jp/blogs/news/20190405-aws-datalake-handson-seminor/• 目黒の AWS Japan オフィスで不定期開催（無償セミナー）• 2018年から過去9回開催、参加者は100名程度• イベント開催予定：https://aws.amazon.com/jp/about-aws/events/
- 47.© 2019, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.Thank you!