Movatterモバイル変換


[0]ホーム

URL:


Uploaded byMariOhbuchi
PDF, PPTX4,258 views

AWSではじめるMLOps

第15回 MLOps 勉強会(Online)で使用したスライドです。MLOpsに便利なAWSサービスの紹介と事例をご紹介しています。

Embed presentation

Download as PDF, PPTX
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.Amazon Web Services JapanMachine Learning Solutions ArchitechtAWS ではじめる MLOps第15回 MLOps 勉強会(Online)
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.本⽇お話すること2l Amazon における機械学習l AWS における MLOpsl MLOps で使える AWS サービスAWS で MLOps やるとこんな感じなんだーと知っていただければ幸いです。
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.Amazon における機械学習
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.事例)Amazon Go : コンビニにおけるイノベーション• お客様が会計の為に並ばない• レジレスなコンビニ• 会計時のストレスを解消• 各種認識技術を活⽤• Computer Vision• Deep Learning• Fusion Sensor• ⾃動化している内容• ユーザー認証(QR+顔認証)• 買い物の⾏動のトラッキングhttps://www.youtube.com/watch?v=NrmMk1Myrxc5
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.Amazon Robotics: 物流における変⾰⼈とロボットが共に動き倉庫の⽣産性を向上l 荷物の流量(InとOut)の増加l 搬⼊搬出を速度化l 従業員の⼿間やミスの軽減に貢献l フロアスペースの効果的利⽤にも貢献機械学習を駆使したルート制御l 膨⼤な情報をクラウドに展開l ロボット同⼠の衝突回避https://www.youtube.com/watch?v=4sEVX4mPuto8
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark. Photo by Victor Freitas on Unsplashby Jeff BezosUndifferentiated Heavy Lifting他との差別化になりづらい重労働
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.AWS の機械学習スタック10AIサービスコード + DevOpsAmazon CodeGuruAmazon DevOps GuruビジネスプロセスAmazon PersonalizeAmazon ForecastAmazon Fraud DetectorAmazon Lookout for Metrics検索Amazon Kendra製造業Amazon MonitronAmazon Lookout for EquipmentAmazon Lookout for VisionヘルスケアAmazon HealthLakeAmazon Comprehend MedicalAmazon Transcribe Medicalドメイン特化チャットボットAmazon Lexテキスト & ドキュメントAmazon TranslateAmazon ComprehendAmazon Textract⾳声Amazon PollyAmazon TranscribeAmazon Transcribe Call Analytics動画像Amazon RekognitionAWS Panoramaコア機能MLサービスエッジデバイス管理ML学習ノーコードMLデータ準備特徴量ストアバイアス検出ノートブック管理と監視モデル学習本番へのデプロイパラメタ最適化説明可能性CI/CDラベリングSAGEMAKERCANVASSAGEMAKERSTUDIO LABAMAZON SAGEMAKER STUDIO IDEML フレームワークとインフラストラクチャPyTorch, ApacheMXNet, TensorFlowAmazon EC2 CPUs GPUs AWS TrainiumElasticinferenceAWS Inferentia FPGAHabanaGaudi
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.AWS における MLOps
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.AWS ML Lens: 機械学習のための Well-Architected12l 優れた運⽤効率l セキュリティl 信頼性⼀般的な AWS の Well-Architected:6つの柱に基づいてアーキテクチャを評価しよりよい設計を⽬指す Frameworkhttps://docs.aws.amazon.com/wellarchitected/latest/machine-learning-lens/machine-learning-lens.htmll パフォーマンス効率l コストの最適化l 持続可能性ML Lens: 機械学習ライフサイクルの各フェーズにおける Well-Architected英語版の⽅が最新です
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.MLOps に関連する役割と責任範囲13データアーキテクトデータエンジニアMachine Learning Lenshttps://docs.aws.amazon.com/wellarchitected/latest/machine-learning-lens/mloe-02.htmlデータサイエンティストAI/ML アーキテクトML エンジニアMLOps エンジニアセキュリティエンジニアソフトウェアエンジニア1⼈で複数の役割を担うこともよくあるデータの収集データの前処理特徴量エンジニアリングモデルの作成モデルのデプロイモデルの監視データ準備 MLモデル開発 構築・運⽤
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.代表的な開発体制14個⼈によってウェイトの違いはあるが、基本的にチーム内で全部やる1チームで全体を担当 複数チームで役割分担モデル開発、MLOps、アプリ開発モデル開発を担当するチームとMLOps、アプリ開発のチームが分離モデル開発MLOps、アプリ開発データサイエンティストチームエンジニアチームエンジニアチーム
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.AWS のマネージドサービスを活⽤した MLOps の基本構成15Amazon SageMaker PipelinesAmazon Managed WorkflowsFor Apache Airflow (MWAA)AWS Step FunctionsAWS CodePipelineAmazon SageMaker Seriesパイプライン開発ツール MLOps コンポーネントl ラベリングl データ処理l 学習l 実験管理l モデル管理l 推論エンドポイントl モデル性能監視l Human in the loopl etc.その他 OSS なども利⽤可能その他 OSS なども利⽤可能
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.そのほかの MLOps コンポーネント16Amazon Elastic Container Service (Amazon ECS)Amazon Elastic Kubernetes Service (Amazon EKS)⾃前の MLOps を細かく作りこむ場合Amazon SageMaker と MLflow で機械学習のライフサイクル管理の例https://aws.amazon.com/jp/blogs/news/machine-learning-managing-your-machine-learning-lifecycle-with-mlflow-and-amazon-sagemaker/Notebooks/StudioAmazon SageMakerデータ処理 学習/評価 デプロイAmazon S3Amazon RDBLoad balancer AWS FargateMLflow server
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.MLOps で使える AWS サービス
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.基本的な MLOps の構成図18データ準備 MLモデル開発 構築・運⽤学習パイプライン学習データ前処理評価実験管理⽣データ加⼯済みデータコード管理学習済みモデルCI/CDパイプライン学習データ前処理評価 承認デプロイ監視データサイエンティスト承認者コード管理最新データ試⾏錯誤・研究開発フェーズトレーサビリティコンテナイメージコンテナイメージラベリング運⽤フェーズ
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.代表的な MLOps の構成図19データ準備 MLモデル開発 構築・運⽤学習パイプライン学習データ前処理評価実験管理⽣データ加⼯済みデータコード管理学習済みモデルCI/CDパイプライン学習データ前処理評価 承認デプロイ監視データサイエンティスト承認者コード管理最新データ試⾏錯誤・研究開発フェーズトレーサビリティコンテナイメージコンテナイメージラベリング運⽤フェーズ
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.ラベリングの効率化︓Amazon SageMaker Ground Truth20画像分類(マルチラベル対応)物体検知 ⽂章分類(マルチラベル対応)セマンティックセグメンテーション固有表現抽出ラベル検証l テンプレートを使って数クリックでラベリングツールを作成可能l メールアドレスで作業者を登録しラベリング依頼可能。ベンダへの依頼も可能。l ⼤量データに対しては⾃動ラベリング機能によるラベリングコストの低減動画分類 動画物体検出 動画物体追跡 Point cloud物体検出Point cloud物体追跡Point cloudセマンティックセグメンテーション
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.組み込みテンプレートから作成したラベリングツールの例21セマンティクセグメンテーションの例いくつかポイントを打つと領域を⾃動認識して⾃動ラベリング
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.基本的な MLOps の構成図22データ準備 MLモデル開発 構築・運⽤学習パイプライン学習データ前処理評価実験管理⽣データ加⼯済みデータコード管理学習済みモデルCI/CDパイプライン学習データ前処理評価 承認デプロイ監視データサイエンティスト承認者コード管理最新データ試⾏錯誤・研究開発フェーズトレーサビリティコンテナイメージコンテナイメージラベリング運⽤フェーズ
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.統合開発環境(IDE)︓Amazon SageMaker Studio23l マネージドな Jupyter 環境をすぐに利⽤可能。基本的なライブラリはインストール済みl 数クリックで、作成した Jupyterノートブックのスナップショットをチームメンバに共有可能l Jupyter ノートブックの処理を実⾏するインスタンスをフレキシブルに切り替え可能l SageMaker が⽤意したビルトインのカーネルのほかに、カスタムイメージも利⽤可能Web ブラウザから利⽤可能な機械学習のための IDE
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.AWS を使った機械学習パイプライン構築⽅法の選択肢24Amazon SageMaker Pipelines Centric その他サービス CentricMisc.l Amazon SageMaker Studio を使ってモデル開発を⾏うデータサイエンティストを中⼼としてMLOps を構築する場合におすすめl SageMaker Studio を UI とすることで、AWS コンソールへのアクセスを最⼩限に MLOps の構築・運⽤が可能l 既存の DevOps の中に MLOps を組み込むようなユースケースにおすすめl OSS やさまざまな AWS サービスを組み合わせやすい
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.基本的な MLOps の構成図25データ準備 MLモデル開発 構築・運⽤学習パイプライン学習データ前処理評価実験管理⽣データ加⼯済みデータコード管理学習済みモデルCI/CDパイプライン学習データ前処理評価 承認デプロイ監視データサイエンティスト承認者コード管理最新データ試⾏錯誤・研究開発フェーズトレーサビリティコンテナイメージコンテナイメージラベリング運⽤フェーズ
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.学習パイプライン構築に使えるサービスl サーバーレスオーケストレーションサービスを提供するサービスl 分散アプリケーション・マイクロサービスの全体を「ステートマシン」と呼ばれるしくみでオーケストレートできるl 定義したステートマシンはAWS コンソールから「ワークフロー」という形式で⾒やすく可視化できるl ステートマシンの各ステップの実⾏履歴をログから追跡できるl Apache Airflowによるワークフローを構築可能なマネージドサービスl ETLジョブやデータパイプラインを実⾏するワークフローをマネージド型で実⾏可能。開発者がビジネス上の課題解決に注⼒できるようにするl AirflowのメトリクスをCloudWatchメトリクスとして扱い、ログをCloudWatch Logsに転送可能Amazon SageMaker PipelinesAmazon Managed WorkflowsFor Apache Airflow (MWAA)AWS Step Functionsl 機械学習ワークロードのCI/CD を実現する AmazonSageMaker の機能l 機械学習ワークフローのデータロードや学習処理などの⼀連の処理ステップを任意のタイミングや所定の時間に実⾏できるl 各ステップの処理結果はSageMaker Experiments で記録され、モデルの出来映えや学習パラメータなどを視覚化可能26
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.パイプライン管理ツール選択基準の例l Step Functions Data Science SDK を使うことで、Python でワークフローを構築l さまざまな AWS サービスを組み合わせたワークフローを作るl 今まで利⽤していた ApacheAirflow をマネージドにすることで管理の⼿間を削減l ワークフローの実⾏状況などをダッシュボードでグラフィカルに確認Amazon SageMaker PipelinesAmazon Managed WorkflowsFor Apache Airflow (MWAA)AWS Step Functionsl Amazon SageMaker Studio を使うデータサイエンティスト中⼼のチームでスモールスタートしたいl Python で SageMaker の機能を盛り込んだパイプラインを構築27
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.MLOps コンポーネントとしての Amazon SageMaker28Amazon SageMaker必要なリソースを⾃由に組み合わせてジョブを実⾏するコンテナオーケストレータジョブ実⾏時に使⽤した学習データ、コンテナイメージ、ソースコード、モデルは⾃動的に関連付けて記録される学習データ 実⾏環境 ソースコードAmazon S3 Amazon ECR リポジトリ(Git, CodeCommit, etc.)ジョブ専⽤インスタンス(処理完了後 ⾃動削除)
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.試⾏錯誤のための学習パイプラインの例29データ前処理 モデルの学習 モデルの評価評価結果に応じた処理Processing Job Training Job Processing Job Lambda w/container前処理済みデータ 学習済みモデル評価⽤コンテナ実験管理 (SageMaker Experiments)処理⽤コンテナAWS Step Functions共通部分をパイプラインにして⾃動化し、使⽤するデータや学習スクリプトを変えながらより良いモデルを効率的に探索https://aws.amazon.com/jp/builders-flash/202111/nyantech-ml-ops/?awsf.filter-name=*all処理⽤コンテナ学習⽤コンテナ
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.モデル作成時の試⾏錯誤に便利な SageMaker の機能30l ハイパーパラメタチューニングl 探索範囲を指定してベイズ最適化やランダムサーチでより良いパラメタを探索l マネージドスポットトレーニングl スポットインスタンスを使ってコスト効率よくモデルを学習l 分散学習l 複数インスタンスを使って学習時間を短縮l トレーニングコンパイラ new!l モデルをコンパイルしてから学習することで最⼤50%の学習効率向上l Amazon SageMaker Experiments(実験管理)l モデルに関連する情報(データのS3パス、使⽤したコンテナイメージ、評価メトリクス、ハイパーパラメタなど)を構造化データとして⼀元管理
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.基本的な MLOps の構成図31データ準備 MLモデル開発 構築・運⽤学習パイプライン学習データ前処理評価実験管理⽣データ加⼯済みデータコード管理学習済みモデルCI/CDパイプライン学習データ前処理評価 承認デプロイ監視データサイエンティスト承認者コード管理最新データ試⾏錯誤・研究開発フェーズトレーサビリティコンテナイメージコンテナイメージラベリング運⽤フェーズ
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.CI/CD パイプライン管理ツール32AWS CodePipeline Amazon SageMaker Pipelinesl 継続的デリバリーのためのフルマネージドサービスl コード変更をトリガにビルド、テスト、デプロイを⾃動実⾏するパイプラインを作成可能l GitHub や Jenkins のようなサードパーティの開発ツールをパイプラインに統合可能AWS Step Functions
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.CI/CD パイプラインの例33https://github.com/aws-samples/mlops-e2e
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.CI/CD パイプラインの例34https://github.com/aws-samples/mlops-e2eモデル学習パイプラインは SageMaker Pipelinesで構築デプロイパイプラインはCodePipeline で構築推論エンドポイントへの⼊⼒データは DB に保存し、モデルの再学習に利⽤
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.Amazon SageMaker を使った推論⽅法35バッチ推論(バッチ変換 )l リアルタイム性が求められない推論向きl transform() でエンドポイントを起動l 推論が終わるとエンドポイントが⾃動的に削除されるl 推論時のみインスタンスを起動するためコスト効率⾼停⽌EP作成推論停⽌EP作成推論停⽌時間※ EP: エンドポイント推論リクエスト 推論リクエストl リアルタイムな推論を必要とする場合に選択l deploy() でエンドポイントを構築できるl Web API の URL が発⾏され,URL にリクエストを送り推論l オートスケールの設定が可能l エンドポイント起動中は料⾦がかかるので注意リアルタイム推論⼊⼒データ推論結果インスタンス S3インスタンス⼊⼒データ推論結果
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.Amazon SageMaker を使った推論⽅法36⾮同期推論l リアルタイム推論と近い感覚で⾮同期で推論を実⾏l リアルタイム推論ではタイムアウトするような重い推論を実⾏する際に最適l 最⼤1GBのペイロードサイズ、最⼤15分かかる推論に対応l オートスケール設定も可能⼊⼒データ推論結果インスタンス S3Internal queueサーバレス推論 new! (Preview中)l サーバレスのエンドポイントを使って推論l コールドスタートを許容できるユースケースに最適l エンドポイントのメモリサイズは 1〜6GB から選択可能l ストレージサイズは 5GB 固定l スケーリングポリシーを設定可能サーバレスエンドポイント⼊⼒データ推論結果
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.リアルタイム推論のバリエーション37マルチモデルエンドポイントl 1つのエンドポイントに複数のモデルをデプロイl 推論時のコスト削減に効果マルチコンテナエンドポイントl 1つのエンドポイントに複数のモデルをコンテナごとデプロイl 異なるフレームワークのモデルにも対応l 推論時のコスト削減に効果Amazon SageMaker Endpointtokyo.tar.gzosaka.tar.gznagoya.tar.gzhakata.tar.gz⼊⼒データとモデル名推論結果Amazon SageMaker Endpointpytorch_mnistmodel imagetensorflow_mnistmodel image⼊⼒データとモデル名推論結果
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.Amazon SageMaker Blue/Green デプロイ機能 new!l Blue/Green デプロイにおいて、トラフィックの振り分けを SageMaker がコントロールし、エンドポイントの更新まで⾏えるようになったl これまで提供していた All At Once に加えて、Canary と Linear (線形) のデプロイを容易に実装可能にl Amazon CloudWatch アラームと連携して異常発⽣時の⾃動ロールバックが可能Canaryデプロイhttps://aws.amazon.com/about-aws/whats-new/2021/11/new-deployment-guardrails-amazon-sagemaker-inference-endpoints/38
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.Deep Learning 専⽤設計の推論インスタンス Inf139l 機械学習の推論を低レイテンシかつ安価に実現する推論⽤チップAWS Inferentia を搭載した Inf1 インスタンスl 同等の現⾏世代の GPU ベースの Amazon EC2 インスタンスと⽐較して、スループットの最⼤ 2.3 倍向上、最⼤ 70% のコスト削減効果が期待できるl 4つのインスタンスサイズから選択でき、Intel Xeon Scalable プロセッサ搭載https://aws.amazon.com/jp/blogs/news/choose-the-best-ai-accelerator-and-model-compilation-for-computer-vision-inference-with-amazon-sagemaker/100万推論あたりのコスト ($)c5c5+Neog4dng4dn+Neoinf11時間あたりのトランザクション数c5c5+Neog4dng4dn+Neoinf11M750K500K250K01086402
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.Amazon SageMaker Inference Recommender new!40l 候補のインスタンスすべてに対する負荷テストとモデル調整を⾃動化することで、本番環境に最適なインスタンスの特定を可能にl Amazon SageMaker Studio やノートブックでベンチマークの結果を確認し、レイテンシー、スループット、コスト、コンピューティング、メモリなど、さまざまな組み合わせ間のトレードオフを評価l 許容される同時処理数やレイテンシにしきい値を設定し、許容値を超えた場合、テストを打ち切って効率化⾃動テストを実⾏して推論に最適なインスタンスを推薦https://aws.amazon.com/jp/blogs/news/announcing-amazon-sagemaker-inference-recommender/
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.リネージ追跡の機能追加 new!l SageMaker における機械学習ワークフローの実⾏履歴 (リネージ) に対して、ステップごとに情報を検索するのではなく、関連情報を⼀括で検索できるクエリ機能が追加l たとえば、ある学習済みモデルに紐づく前処理やトレーニングのジョブをクエリ⼀つで抽出可能l クロスアカウントでのクエリにも対応し、複数組織にまたがる開発・運⽤において、ガバナンス、再現性確保などが可能にmodel packageS3 のモデルデータトレーニングジョブトレーニング⽤コンテナイメージhttps://docs.aws.amazon.com/sagemaker/latest/dg/querying-lineage-entities.htmlhttps://github.com/aws/amazon-sagemaker-examples/tree/master/sagemaker-lineage41
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.モデル監視︓Amazon SageMaker Model Monitor42
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.まとめ
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.AWS における MLOps44l 組織の ML 成熟度や開発体制にあわせて AI サービス、ML サービス、ML フレームワークとインフラストラクチャを選択l パイプライン管理ツールと MLOps コンポーネントを組み合わせて、開発体制(組織構成)にフィットした MLOps を実現可能l Amazon SageMaker は機械学習のためのコンテナオーケストレータl Amazon SageMaker は MLOps コンポーネントの詰め合わせl ⽤途に合う機能をピックアップして組み込み可能実践 AWSデータサイエンス - エンドツーエンドのMLOpsパイプライン実装AWS の機械学習サービスの使い⽅だけではなく、機械学習を組み込んだアプリケーション開発を効率化するためにどのように AWS サービスを組み合わせると良いかなどが解説されています。https://www.amazon.co.jp/dp/4873119685/ref=cm_sw_em_r_mt_dp_5B7GAZ2X87X027WG37DE
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.Appendix
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.SageMaker Project MLOps テンプレート46https://aws.amazon.com/jp/blogs/machine-learning/building-automating-managing-and-scaling-ml-workflows-using-amazon-sagemaker-pipelines/SageMaker Studio から数クリックでデプロイ可能
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.MLOps on AWS の事例47https://aws.amazon.com/jp/blogs/news/brainpad-ml-cicd-pipeline/マネージドサービスを活⽤した機械学習のためのCI/CDパイプラインの構築株式会社ブレインパッド運⽤開始後のモデル更新を⾮エンジニアであるマーケターができるよう、モデル学習パイプラインの⾃動化やグラフィカルなダッシュボードを構築https://d1.awsstatic.com/events/jp/2021/summit-online/CUS-17_AWS_Summit_Online_2021_DENSO.pdf⾼度運転⽀援向け画像認識のための Machine Learning Production Line株式会社デンソー⼤規模な画像を使ったモデル開発において、⽣産性向上、トレーサビリティを実現し、TCO(Total Cost of Ownership) の観点でコストの評価を実施
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.MLOps on AWS の事例48https://d1.awsstatic.com/events/jp/2021/summit-online/CUS-45_AWS_Summit_Online_2021_KONAMI.pdf遊戯王ニューロンにおける Amazon SageMaker の活⽤⼤規模画像データの MLOps 基盤構築株式会社コナミデジタルエンタテインメントモデルの学習、⼤規模画像データを含むデータ管理、システム運⽤における課題を、Amazon Managed Workflow for Apache Airflow や Amazon SageMaker で解決https://d1.awsstatic.com/events/jp/2021/summit-online/CUS-21_AWS_Summit_Online_2021_PKSHA_Technology.pdf顧客最適な機械学習モデルを提供する対話エンジンサービスとAmazon SageMaker の活⽤事例株式会社PKSHA Technology/株式会社BEDORE従来 Amazon EC2 で⾏っていたモデル学習を Amazon SageMaker ベースの構成に切り替え、開発者間、プロジェクト間での環境の統⼀や管理が必要なリソースの削減を実現
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.MLOps on AWS の事例49https://aws.amazon.com/jp/solutions/case-studies/pfcc/汎⽤原⼦レベルシミュレータ『Matlantis』のプラットフォームにAmazon EKS と Amazon EC2 GPU インスタンスを採⽤することでサービス化の検討開始からわずか 6 か⽉で製品化株式会社 Preferred Computational Chemistry原⼦レベルで材料の挙動を再現することで⼤規模な材料探索を⾏う汎⽤原⼦レベルシミュレータを Amazon Elastic Kubernetes Service (Amazon EKS) と Amazon EC2 GPU インスタンスを使って開発https://aws.amazon.com/jp/blogs/news/cisco-uses-amazon-sagemaker-and-kubeflow-to-create-a-hybrid-machine-learning-workflow/[AWS Blog] Cisco は、ハイブリッド機械学習ワークフローを作成するためにAmazon SageMaker と Kubeflow を使⽤モデル学習は⾃社の Cisco UCS ハードウェアで⾏い、推論に SageMaker 推論エンドポイントで⾏うワークフローを Amazon Elastic Kubernetes Service (Amazon EKS) と SageMaker Componentsfor Kubeflow Pipelines を使って実現
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.MLOps on AWS 関連のお客様のブログ記事50https://buildersbox.corp-sansan.com/entry/2021/08/30/110000【Techの道も⼀歩から】第41回「SageMakerでStep Functionsを使った学習パイプラインを構築するために概念を理解する」Sansan株式会社AWS Step Functions Data Science SDK と Amazon SageMaker を使って、データの前処理、モデルの学習のパイプラインを構築https://moneyforward.com/engineers_blog/2021/07/28/stepfunctions-sagemaker/https://moneyforward.com/engineers_blog/2021/11/16/stepfunctions-sagemaker-endpoint-deploy/StepFunctionsとSageMakerでML学習パイプラインをつくるStepFunctionsを使ってSageMakerエンドポイントのデプロイを実⾏する株式会社マネーフォワードAWS Step Functions Data Science SDK と Amazon SageMaker を使ってモデルの学習パイプラインを構築したり、SageMaker 推論エンドポイントを使ったカナリアデプロイのパイプラインを構築

Recommended

PPTX
ネットストーカー御用達OSINTツールBlackBirdを触ってみた.pptx
PPTX
MLOps入門
PDF
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
PDF
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
PPTX
リクルートを支える横断データ基盤と機械学習の適用事例
PDF
PFNのML/DL基盤を支えるKubernetesにおける自動化 / DevOpsDays Tokyo 2021
PDF
ストリーム処理を支えるキューイングシステムの選び方
PPTX
MLflowで学ぶMLOpsことはじめ
PDF
(修正)機械学習デザインパターン(ML Design Patterns)の解説
PDF
20200630 AWS Black Belt Online Seminar Amazon Cognito
PDF
Amazon SageMaker 推論エンドポイントを利用したアプリケーション開発
PDF
Infrastructure as Code (IaC) 談義 2022
PPTX
AWSで作る分析基盤
PPTX
Amazon SageMakerでカスタムコンテナを使った学習
PDF
Google Cloud で実践する SRE
PPTX
MLOpsはバズワード
PPTX
backbone としての timm 入門
PDF
なぜ、いま リレーショナルモデルなのか(理論から学ぶデータベース実践入門読書会スペシャル)
PDF
20190129 AWS Black Belt Online Seminar AWS Identity and Access Management (AW...
PDF
テスト文字列に「うんこ」と入れるな
PDF
Singularityで分散深層学習
PDF
Data-centricなML開発
PDF
Amazon SageMaker で始める機械学習
PDF
モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)
PDF
20201118 AWS Black Belt Online Seminar 形で考えるサーバーレス設計 サーバーレスユースケースパターン解説
PDF
Ml system in_python
PDF
WebSocket / WebRTCの技術紹介
PPTX
本当は恐ろしい分散システムの話
PDF
[CTO Night & Day 2019] ML services: MLOps #ctonight
PDF
Amazonでのレコメンド生成における深層学習とAWS利用について

More Related Content

PPTX
ネットストーカー御用達OSINTツールBlackBirdを触ってみた.pptx
PPTX
MLOps入門
PDF
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
PDF
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
PPTX
リクルートを支える横断データ基盤と機械学習の適用事例
PDF
PFNのML/DL基盤を支えるKubernetesにおける自動化 / DevOpsDays Tokyo 2021
PDF
ストリーム処理を支えるキューイングシステムの選び方
PPTX
MLflowで学ぶMLOpsことはじめ
ネットストーカー御用達OSINTツールBlackBirdを触ってみた.pptx
MLOps入門
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
リクルートを支える横断データ基盤と機械学習の適用事例
PFNのML/DL基盤を支えるKubernetesにおける自動化 / DevOpsDays Tokyo 2021
ストリーム処理を支えるキューイングシステムの選び方
MLflowで学ぶMLOpsことはじめ

What's hot

PDF
(修正)機械学習デザインパターン(ML Design Patterns)の解説
PDF
20200630 AWS Black Belt Online Seminar Amazon Cognito
PDF
Amazon SageMaker 推論エンドポイントを利用したアプリケーション開発
PDF
Infrastructure as Code (IaC) 談義 2022
PPTX
AWSで作る分析基盤
PPTX
Amazon SageMakerでカスタムコンテナを使った学習
PDF
Google Cloud で実践する SRE
PPTX
MLOpsはバズワード
PPTX
backbone としての timm 入門
PDF
なぜ、いま リレーショナルモデルなのか(理論から学ぶデータベース実践入門読書会スペシャル)
PDF
20190129 AWS Black Belt Online Seminar AWS Identity and Access Management (AW...
PDF
テスト文字列に「うんこ」と入れるな
PDF
Singularityで分散深層学習
PDF
Data-centricなML開発
PDF
Amazon SageMaker で始める機械学習
PDF
モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)
PDF
20201118 AWS Black Belt Online Seminar 形で考えるサーバーレス設計 サーバーレスユースケースパターン解説
PDF
Ml system in_python
PDF
WebSocket / WebRTCの技術紹介
PPTX
本当は恐ろしい分散システムの話
(修正)機械学習デザインパターン(ML Design Patterns)の解説
20200630 AWS Black Belt Online Seminar Amazon Cognito
Amazon SageMaker 推論エンドポイントを利用したアプリケーション開発
Infrastructure as Code (IaC) 談義 2022
AWSで作る分析基盤
Amazon SageMakerでカスタムコンテナを使った学習
Google Cloud で実践する SRE
MLOpsはバズワード
backbone としての timm 入門
なぜ、いま リレーショナルモデルなのか(理論から学ぶデータベース実践入門読書会スペシャル)
20190129 AWS Black Belt Online Seminar AWS Identity and Access Management (AW...
テスト文字列に「うんこ」と入れるな
Singularityで分散深層学習
Data-centricなML開発
Amazon SageMaker で始める機械学習
モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)
20201118 AWS Black Belt Online Seminar 形で考えるサーバーレス設計 サーバーレスユースケースパターン解説
Ml system in_python
WebSocket / WebRTCの技術紹介
本当は恐ろしい分散システムの話

Similar to AWSではじめるMLOps

PDF
[CTO Night & Day 2019] ML services: MLOps #ctonight
PDF
Amazonでのレコメンド生成における深層学習とAWS利用について
PPTX
Japan Wrap Up re:Invent2018
PPTX
Japan wrapup reinvent2018
PDF
[CTO Night & Day 2019] よくある課題を一気に解説!御社の技術レベルがアップする 2019 秋期講習 #ctonight
PPTX
re:Invent 2018 ML サービスアップデート
PDF
AWS Black Belt Online Seminar 2018 re:Invent 2017 Recap Machine Learning / Da...
PDF
Amazon Game Tech Night #25 ゲーム業界向け機械学習最新状況アップデート
PDF
Amazon Machine Learning
PDF
Machine Learning Operations (MLOps): Overview, Definition, and Architecture
PPTX
Machine Learning for Digital Advertising
PDF
Amazon Machine Learing と機械学習
PDF
機械学習を用いたAWS CloudTrailログの積極的活用
PDF
Amazon machine leaning の紹介
PPTX
MLOps NYC 2019 and Strata Data Conference NY 2019 report nttdata
PPTX
20170826 Oita JAWS
PDF
Machine Learning on AWS
PPTX
研究用途でのAWSの利用事例と機械学習について
PDF
AWS + MLflow + SageMakerの環境を動かしてみたお話
PDF
Amazon SageMaker: 機械学習の民主化から工業化へ(in Japanese)
[CTO Night & Day 2019] ML services: MLOps #ctonight
Amazonでのレコメンド生成における深層学習とAWS利用について
Japan Wrap Up re:Invent2018
Japan wrapup reinvent2018
[CTO Night & Day 2019] よくある課題を一気に解説!御社の技術レベルがアップする 2019 秋期講習 #ctonight
re:Invent 2018 ML サービスアップデート
AWS Black Belt Online Seminar 2018 re:Invent 2017 Recap Machine Learning / Da...
Amazon Game Tech Night #25 ゲーム業界向け機械学習最新状況アップデート
Amazon Machine Learning
Machine Learning Operations (MLOps): Overview, Definition, and Architecture
Machine Learning for Digital Advertising
Amazon Machine Learing と機械学習
機械学習を用いたAWS CloudTrailログの積極的活用
Amazon machine leaning の紹介
MLOps NYC 2019 and Strata Data Conference NY 2019 report nttdata
20170826 Oita JAWS
Machine Learning on AWS
研究用途でのAWSの利用事例と機械学習について
AWS + MLflow + SageMakerの環境を動かしてみたお話
Amazon SageMaker: 機械学習の民主化から工業化へ(in Japanese)

AWSではじめるMLOps

  • 1.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.Amazon Web Services JapanMachine Learning Solutions ArchitechtAWS ではじめる MLOps第15回 MLOps 勉強会(Online)
  • 2.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.本⽇お話すること2l Amazon における機械学習l AWS における MLOpsl MLOps で使える AWS サービスAWS で MLOps やるとこんな感じなんだーと知っていただければ幸いです。
  • 3.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.Amazon における機械学習
  • 4.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.
  • 5.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.事例)Amazon Go : コンビニにおけるイノベーション• お客様が会計の為に並ばない• レジレスなコンビニ• 会計時のストレスを解消• 各種認識技術を活⽤• Computer Vision• Deep Learning• Fusion Sensor• ⾃動化している内容• ユーザー認証(QR+顔認証)• 買い物の⾏動のトラッキングhttps://www.youtube.com/watch?v=NrmMk1Myrxc5
  • 6.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.
  • 7.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.
  • 8.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.Amazon Robotics: 物流における変⾰⼈とロボットが共に動き倉庫の⽣産性を向上l 荷物の流量(InとOut)の増加l 搬⼊搬出を速度化l 従業員の⼿間やミスの軽減に貢献l フロアスペースの効果的利⽤にも貢献機械学習を駆使したルート制御l 膨⼤な情報をクラウドに展開l ロボット同⼠の衝突回避https://www.youtube.com/watch?v=4sEVX4mPuto8
  • 9.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark. Photo by Victor Freitas on Unsplashby Jeff BezosUndifferentiated Heavy Lifting他との差別化になりづらい重労働
  • 10.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.AWS の機械学習スタック10AIサービスコード + DevOpsAmazon CodeGuruAmazon DevOps GuruビジネスプロセスAmazon PersonalizeAmazon ForecastAmazon Fraud DetectorAmazon Lookout for Metrics検索Amazon Kendra製造業Amazon MonitronAmazon Lookout for EquipmentAmazon Lookout for VisionヘルスケアAmazon HealthLakeAmazon Comprehend MedicalAmazon Transcribe Medicalドメイン特化チャットボットAmazon Lexテキスト & ドキュメントAmazon TranslateAmazon ComprehendAmazon Textract⾳声Amazon PollyAmazon TranscribeAmazon Transcribe Call Analytics動画像Amazon RekognitionAWS Panoramaコア機能MLサービスエッジデバイス管理ML学習ノーコードMLデータ準備特徴量ストアバイアス検出ノートブック管理と監視モデル学習本番へのデプロイパラメタ最適化説明可能性CI/CDラベリングSAGEMAKERCANVASSAGEMAKERSTUDIO LABAMAZON SAGEMAKER STUDIO IDEML フレームワークとインフラストラクチャPyTorch, ApacheMXNet, TensorFlowAmazon EC2 CPUs GPUs AWS TrainiumElasticinferenceAWS Inferentia FPGAHabanaGaudi
  • 11.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.AWS における MLOps
  • 12.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.AWS ML Lens: 機械学習のための Well-Architected12l 優れた運⽤効率l セキュリティl 信頼性⼀般的な AWS の Well-Architected:6つの柱に基づいてアーキテクチャを評価しよりよい設計を⽬指す Frameworkhttps://docs.aws.amazon.com/wellarchitected/latest/machine-learning-lens/machine-learning-lens.htmll パフォーマンス効率l コストの最適化l 持続可能性ML Lens: 機械学習ライフサイクルの各フェーズにおける Well-Architected英語版の⽅が最新です
  • 13.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.MLOps に関連する役割と責任範囲13データアーキテクトデータエンジニアMachine Learning Lenshttps://docs.aws.amazon.com/wellarchitected/latest/machine-learning-lens/mloe-02.htmlデータサイエンティストAI/ML アーキテクトML エンジニアMLOps エンジニアセキュリティエンジニアソフトウェアエンジニア1⼈で複数の役割を担うこともよくあるデータの収集データの前処理特徴量エンジニアリングモデルの作成モデルのデプロイモデルの監視データ準備 MLモデル開発 構築・運⽤
  • 14.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.代表的な開発体制14個⼈によってウェイトの違いはあるが、基本的にチーム内で全部やる1チームで全体を担当 複数チームで役割分担モデル開発、MLOps、アプリ開発モデル開発を担当するチームとMLOps、アプリ開発のチームが分離モデル開発MLOps、アプリ開発データサイエンティストチームエンジニアチームエンジニアチーム
  • 15.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.AWS のマネージドサービスを活⽤した MLOps の基本構成15Amazon SageMaker PipelinesAmazon Managed WorkflowsFor Apache Airflow (MWAA)AWS Step FunctionsAWS CodePipelineAmazon SageMaker Seriesパイプライン開発ツール MLOps コンポーネントl ラベリングl データ処理l 学習l 実験管理l モデル管理l 推論エンドポイントl モデル性能監視l Human in the loopl etc.その他 OSS なども利⽤可能その他 OSS なども利⽤可能
  • 16.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.そのほかの MLOps コンポーネント16Amazon Elastic Container Service (Amazon ECS)Amazon Elastic Kubernetes Service (Amazon EKS)⾃前の MLOps を細かく作りこむ場合Amazon SageMaker と MLflow で機械学習のライフサイクル管理の例https://aws.amazon.com/jp/blogs/news/machine-learning-managing-your-machine-learning-lifecycle-with-mlflow-and-amazon-sagemaker/Notebooks/StudioAmazon SageMakerデータ処理 学習/評価 デプロイAmazon S3Amazon RDBLoad balancer AWS FargateMLflow server
  • 17.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.MLOps で使える AWS サービス
  • 18.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.基本的な MLOps の構成図18データ準備 MLモデル開発 構築・運⽤学習パイプライン学習データ前処理評価実験管理⽣データ加⼯済みデータコード管理学習済みモデルCI/CDパイプライン学習データ前処理評価 承認デプロイ監視データサイエンティスト承認者コード管理最新データ試⾏錯誤・研究開発フェーズトレーサビリティコンテナイメージコンテナイメージラベリング運⽤フェーズ
  • 19.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.代表的な MLOps の構成図19データ準備 MLモデル開発 構築・運⽤学習パイプライン学習データ前処理評価実験管理⽣データ加⼯済みデータコード管理学習済みモデルCI/CDパイプライン学習データ前処理評価 承認デプロイ監視データサイエンティスト承認者コード管理最新データ試⾏錯誤・研究開発フェーズトレーサビリティコンテナイメージコンテナイメージラベリング運⽤フェーズ
  • 20.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.ラベリングの効率化︓Amazon SageMaker Ground Truth20画像分類(マルチラベル対応)物体検知 ⽂章分類(マルチラベル対応)セマンティックセグメンテーション固有表現抽出ラベル検証l テンプレートを使って数クリックでラベリングツールを作成可能l メールアドレスで作業者を登録しラベリング依頼可能。ベンダへの依頼も可能。l ⼤量データに対しては⾃動ラベリング機能によるラベリングコストの低減動画分類 動画物体検出 動画物体追跡 Point cloud物体検出Point cloud物体追跡Point cloudセマンティックセグメンテーション
  • 21.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.組み込みテンプレートから作成したラベリングツールの例21セマンティクセグメンテーションの例いくつかポイントを打つと領域を⾃動認識して⾃動ラベリング
  • 22.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.基本的な MLOps の構成図22データ準備 MLモデル開発 構築・運⽤学習パイプライン学習データ前処理評価実験管理⽣データ加⼯済みデータコード管理学習済みモデルCI/CDパイプライン学習データ前処理評価 承認デプロイ監視データサイエンティスト承認者コード管理最新データ試⾏錯誤・研究開発フェーズトレーサビリティコンテナイメージコンテナイメージラベリング運⽤フェーズ
  • 23.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.統合開発環境(IDE)︓Amazon SageMaker Studio23l マネージドな Jupyter 環境をすぐに利⽤可能。基本的なライブラリはインストール済みl 数クリックで、作成した Jupyterノートブックのスナップショットをチームメンバに共有可能l Jupyter ノートブックの処理を実⾏するインスタンスをフレキシブルに切り替え可能l SageMaker が⽤意したビルトインのカーネルのほかに、カスタムイメージも利⽤可能Web ブラウザから利⽤可能な機械学習のための IDE
  • 24.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.AWS を使った機械学習パイプライン構築⽅法の選択肢24Amazon SageMaker Pipelines Centric その他サービス CentricMisc.l Amazon SageMaker Studio を使ってモデル開発を⾏うデータサイエンティストを中⼼としてMLOps を構築する場合におすすめl SageMaker Studio を UI とすることで、AWS コンソールへのアクセスを最⼩限に MLOps の構築・運⽤が可能l 既存の DevOps の中に MLOps を組み込むようなユースケースにおすすめl OSS やさまざまな AWS サービスを組み合わせやすい
  • 25.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.基本的な MLOps の構成図25データ準備 MLモデル開発 構築・運⽤学習パイプライン学習データ前処理評価実験管理⽣データ加⼯済みデータコード管理学習済みモデルCI/CDパイプライン学習データ前処理評価 承認デプロイ監視データサイエンティスト承認者コード管理最新データ試⾏錯誤・研究開発フェーズトレーサビリティコンテナイメージコンテナイメージラベリング運⽤フェーズ
  • 26.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.学習パイプライン構築に使えるサービスl サーバーレスオーケストレーションサービスを提供するサービスl 分散アプリケーション・マイクロサービスの全体を「ステートマシン」と呼ばれるしくみでオーケストレートできるl 定義したステートマシンはAWS コンソールから「ワークフロー」という形式で⾒やすく可視化できるl ステートマシンの各ステップの実⾏履歴をログから追跡できるl Apache Airflowによるワークフローを構築可能なマネージドサービスl ETLジョブやデータパイプラインを実⾏するワークフローをマネージド型で実⾏可能。開発者がビジネス上の課題解決に注⼒できるようにするl AirflowのメトリクスをCloudWatchメトリクスとして扱い、ログをCloudWatch Logsに転送可能Amazon SageMaker PipelinesAmazon Managed WorkflowsFor Apache Airflow (MWAA)AWS Step Functionsl 機械学習ワークロードのCI/CD を実現する AmazonSageMaker の機能l 機械学習ワークフローのデータロードや学習処理などの⼀連の処理ステップを任意のタイミングや所定の時間に実⾏できるl 各ステップの処理結果はSageMaker Experiments で記録され、モデルの出来映えや学習パラメータなどを視覚化可能26
  • 27.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.パイプライン管理ツール選択基準の例l Step Functions Data Science SDK を使うことで、Python でワークフローを構築l さまざまな AWS サービスを組み合わせたワークフローを作るl 今まで利⽤していた ApacheAirflow をマネージドにすることで管理の⼿間を削減l ワークフローの実⾏状況などをダッシュボードでグラフィカルに確認Amazon SageMaker PipelinesAmazon Managed WorkflowsFor Apache Airflow (MWAA)AWS Step Functionsl Amazon SageMaker Studio を使うデータサイエンティスト中⼼のチームでスモールスタートしたいl Python で SageMaker の機能を盛り込んだパイプラインを構築27
  • 28.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.MLOps コンポーネントとしての Amazon SageMaker28Amazon SageMaker必要なリソースを⾃由に組み合わせてジョブを実⾏するコンテナオーケストレータジョブ実⾏時に使⽤した学習データ、コンテナイメージ、ソースコード、モデルは⾃動的に関連付けて記録される学習データ 実⾏環境 ソースコードAmazon S3 Amazon ECR リポジトリ(Git, CodeCommit, etc.)ジョブ専⽤インスタンス(処理完了後 ⾃動削除)
  • 29.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.試⾏錯誤のための学習パイプラインの例29データ前処理 モデルの学習 モデルの評価評価結果に応じた処理Processing Job Training Job Processing Job Lambda w/container前処理済みデータ 学習済みモデル評価⽤コンテナ実験管理 (SageMaker Experiments)処理⽤コンテナAWS Step Functions共通部分をパイプラインにして⾃動化し、使⽤するデータや学習スクリプトを変えながらより良いモデルを効率的に探索https://aws.amazon.com/jp/builders-flash/202111/nyantech-ml-ops/?awsf.filter-name=*all処理⽤コンテナ学習⽤コンテナ
  • 30.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.モデル作成時の試⾏錯誤に便利な SageMaker の機能30l ハイパーパラメタチューニングl 探索範囲を指定してベイズ最適化やランダムサーチでより良いパラメタを探索l マネージドスポットトレーニングl スポットインスタンスを使ってコスト効率よくモデルを学習l 分散学習l 複数インスタンスを使って学習時間を短縮l トレーニングコンパイラ new!l モデルをコンパイルしてから学習することで最⼤50%の学習効率向上l Amazon SageMaker Experiments(実験管理)l モデルに関連する情報(データのS3パス、使⽤したコンテナイメージ、評価メトリクス、ハイパーパラメタなど)を構造化データとして⼀元管理
  • 31.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.基本的な MLOps の構成図31データ準備 MLモデル開発 構築・運⽤学習パイプライン学習データ前処理評価実験管理⽣データ加⼯済みデータコード管理学習済みモデルCI/CDパイプライン学習データ前処理評価 承認デプロイ監視データサイエンティスト承認者コード管理最新データ試⾏錯誤・研究開発フェーズトレーサビリティコンテナイメージコンテナイメージラベリング運⽤フェーズ
  • 32.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.CI/CD パイプライン管理ツール32AWS CodePipeline Amazon SageMaker Pipelinesl 継続的デリバリーのためのフルマネージドサービスl コード変更をトリガにビルド、テスト、デプロイを⾃動実⾏するパイプラインを作成可能l GitHub や Jenkins のようなサードパーティの開発ツールをパイプラインに統合可能AWS Step Functions
  • 33.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.CI/CD パイプラインの例33https://github.com/aws-samples/mlops-e2e
  • 34.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.CI/CD パイプラインの例34https://github.com/aws-samples/mlops-e2eモデル学習パイプラインは SageMaker Pipelinesで構築デプロイパイプラインはCodePipeline で構築推論エンドポイントへの⼊⼒データは DB に保存し、モデルの再学習に利⽤
  • 35.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.Amazon SageMaker を使った推論⽅法35バッチ推論(バッチ変換 )l リアルタイム性が求められない推論向きl transform() でエンドポイントを起動l 推論が終わるとエンドポイントが⾃動的に削除されるl 推論時のみインスタンスを起動するためコスト効率⾼停⽌EP作成推論停⽌EP作成推論停⽌時間※ EP: エンドポイント推論リクエスト 推論リクエストl リアルタイムな推論を必要とする場合に選択l deploy() でエンドポイントを構築できるl Web API の URL が発⾏され,URL にリクエストを送り推論l オートスケールの設定が可能l エンドポイント起動中は料⾦がかかるので注意リアルタイム推論⼊⼒データ推論結果インスタンス S3インスタンス⼊⼒データ推論結果
  • 36.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.Amazon SageMaker を使った推論⽅法36⾮同期推論l リアルタイム推論と近い感覚で⾮同期で推論を実⾏l リアルタイム推論ではタイムアウトするような重い推論を実⾏する際に最適l 最⼤1GBのペイロードサイズ、最⼤15分かかる推論に対応l オートスケール設定も可能⼊⼒データ推論結果インスタンス S3Internal queueサーバレス推論 new! (Preview中)l サーバレスのエンドポイントを使って推論l コールドスタートを許容できるユースケースに最適l エンドポイントのメモリサイズは 1〜6GB から選択可能l ストレージサイズは 5GB 固定l スケーリングポリシーを設定可能サーバレスエンドポイント⼊⼒データ推論結果
  • 37.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.リアルタイム推論のバリエーション37マルチモデルエンドポイントl 1つのエンドポイントに複数のモデルをデプロイl 推論時のコスト削減に効果マルチコンテナエンドポイントl 1つのエンドポイントに複数のモデルをコンテナごとデプロイl 異なるフレームワークのモデルにも対応l 推論時のコスト削減に効果Amazon SageMaker Endpointtokyo.tar.gzosaka.tar.gznagoya.tar.gzhakata.tar.gz⼊⼒データとモデル名推論結果Amazon SageMaker Endpointpytorch_mnistmodel imagetensorflow_mnistmodel image⼊⼒データとモデル名推論結果
  • 38.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.Amazon SageMaker Blue/Green デプロイ機能 new!l Blue/Green デプロイにおいて、トラフィックの振り分けを SageMaker がコントロールし、エンドポイントの更新まで⾏えるようになったl これまで提供していた All At Once に加えて、Canary と Linear (線形) のデプロイを容易に実装可能にl Amazon CloudWatch アラームと連携して異常発⽣時の⾃動ロールバックが可能Canaryデプロイhttps://aws.amazon.com/about-aws/whats-new/2021/11/new-deployment-guardrails-amazon-sagemaker-inference-endpoints/38
  • 39.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.Deep Learning 専⽤設計の推論インスタンス Inf139l 機械学習の推論を低レイテンシかつ安価に実現する推論⽤チップAWS Inferentia を搭載した Inf1 インスタンスl 同等の現⾏世代の GPU ベースの Amazon EC2 インスタンスと⽐較して、スループットの最⼤ 2.3 倍向上、最⼤ 70% のコスト削減効果が期待できるl 4つのインスタンスサイズから選択でき、Intel Xeon Scalable プロセッサ搭載https://aws.amazon.com/jp/blogs/news/choose-the-best-ai-accelerator-and-model-compilation-for-computer-vision-inference-with-amazon-sagemaker/100万推論あたりのコスト ($)c5c5+Neog4dng4dn+Neoinf11時間あたりのトランザクション数c5c5+Neog4dng4dn+Neoinf11M750K500K250K01086402
  • 40.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.Amazon SageMaker Inference Recommender new!40l 候補のインスタンスすべてに対する負荷テストとモデル調整を⾃動化することで、本番環境に最適なインスタンスの特定を可能にl Amazon SageMaker Studio やノートブックでベンチマークの結果を確認し、レイテンシー、スループット、コスト、コンピューティング、メモリなど、さまざまな組み合わせ間のトレードオフを評価l 許容される同時処理数やレイテンシにしきい値を設定し、許容値を超えた場合、テストを打ち切って効率化⾃動テストを実⾏して推論に最適なインスタンスを推薦https://aws.amazon.com/jp/blogs/news/announcing-amazon-sagemaker-inference-recommender/
  • 41.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.リネージ追跡の機能追加 new!l SageMaker における機械学習ワークフローの実⾏履歴 (リネージ) に対して、ステップごとに情報を検索するのではなく、関連情報を⼀括で検索できるクエリ機能が追加l たとえば、ある学習済みモデルに紐づく前処理やトレーニングのジョブをクエリ⼀つで抽出可能l クロスアカウントでのクエリにも対応し、複数組織にまたがる開発・運⽤において、ガバナンス、再現性確保などが可能にmodel packageS3 のモデルデータトレーニングジョブトレーニング⽤コンテナイメージhttps://docs.aws.amazon.com/sagemaker/latest/dg/querying-lineage-entities.htmlhttps://github.com/aws/amazon-sagemaker-examples/tree/master/sagemaker-lineage41
  • 42.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.モデル監視︓Amazon SageMaker Model Monitor42
  • 43.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.まとめ
  • 44.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.AWS における MLOps44l 組織の ML 成熟度や開発体制にあわせて AI サービス、ML サービス、ML フレームワークとインフラストラクチャを選択l パイプライン管理ツールと MLOps コンポーネントを組み合わせて、開発体制(組織構成)にフィットした MLOps を実現可能l Amazon SageMaker は機械学習のためのコンテナオーケストレータl Amazon SageMaker は MLOps コンポーネントの詰め合わせl ⽤途に合う機能をピックアップして組み込み可能実践 AWSデータサイエンス - エンドツーエンドのMLOpsパイプライン実装AWS の機械学習サービスの使い⽅だけではなく、機械学習を組み込んだアプリケーション開発を効率化するためにどのように AWS サービスを組み合わせると良いかなどが解説されています。https://www.amazon.co.jp/dp/4873119685/ref=cm_sw_em_r_mt_dp_5B7GAZ2X87X027WG37DE
  • 45.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.Appendix
  • 46.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.SageMaker Project MLOps テンプレート46https://aws.amazon.com/jp/blogs/machine-learning/building-automating-managing-and-scaling-ml-workflows-using-amazon-sagemaker-pipelines/SageMaker Studio から数クリックでデプロイ可能
  • 47.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.MLOps on AWS の事例47https://aws.amazon.com/jp/blogs/news/brainpad-ml-cicd-pipeline/マネージドサービスを活⽤した機械学習のためのCI/CDパイプラインの構築株式会社ブレインパッド運⽤開始後のモデル更新を⾮エンジニアであるマーケターができるよう、モデル学習パイプラインの⾃動化やグラフィカルなダッシュボードを構築https://d1.awsstatic.com/events/jp/2021/summit-online/CUS-17_AWS_Summit_Online_2021_DENSO.pdf⾼度運転⽀援向け画像認識のための Machine Learning Production Line株式会社デンソー⼤規模な画像を使ったモデル開発において、⽣産性向上、トレーサビリティを実現し、TCO(Total Cost of Ownership) の観点でコストの評価を実施
  • 48.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.MLOps on AWS の事例48https://d1.awsstatic.com/events/jp/2021/summit-online/CUS-45_AWS_Summit_Online_2021_KONAMI.pdf遊戯王ニューロンにおける Amazon SageMaker の活⽤⼤規模画像データの MLOps 基盤構築株式会社コナミデジタルエンタテインメントモデルの学習、⼤規模画像データを含むデータ管理、システム運⽤における課題を、Amazon Managed Workflow for Apache Airflow や Amazon SageMaker で解決https://d1.awsstatic.com/events/jp/2021/summit-online/CUS-21_AWS_Summit_Online_2021_PKSHA_Technology.pdf顧客最適な機械学習モデルを提供する対話エンジンサービスとAmazon SageMaker の活⽤事例株式会社PKSHA Technology/株式会社BEDORE従来 Amazon EC2 で⾏っていたモデル学習を Amazon SageMaker ベースの構成に切り替え、開発者間、プロジェクト間での環境の統⼀や管理が必要なリソースの削減を実現
  • 49.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.MLOps on AWS の事例49https://aws.amazon.com/jp/solutions/case-studies/pfcc/汎⽤原⼦レベルシミュレータ『Matlantis』のプラットフォームにAmazon EKS と Amazon EC2 GPU インスタンスを採⽤することでサービス化の検討開始からわずか 6 か⽉で製品化株式会社 Preferred Computational Chemistry原⼦レベルで材料の挙動を再現することで⼤規模な材料探索を⾏う汎⽤原⼦レベルシミュレータを Amazon Elastic Kubernetes Service (Amazon EKS) と Amazon EC2 GPU インスタンスを使って開発https://aws.amazon.com/jp/blogs/news/cisco-uses-amazon-sagemaker-and-kubeflow-to-create-a-hybrid-machine-learning-workflow/[AWS Blog] Cisco は、ハイブリッド機械学習ワークフローを作成するためにAmazon SageMaker と Kubeflow を使⽤モデル学習は⾃社の Cisco UCS ハードウェアで⾏い、推論に SageMaker 推論エンドポイントで⾏うワークフローを Amazon Elastic Kubernetes Service (Amazon EKS) と SageMaker Componentsfor Kubeflow Pipelines を使って実現
  • 50.
    © 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.MLOps on AWS 関連のお客様のブログ記事50https://buildersbox.corp-sansan.com/entry/2021/08/30/110000【Techの道も⼀歩から】第41回「SageMakerでStep Functionsを使った学習パイプラインを構築するために概念を理解する」Sansan株式会社AWS Step Functions Data Science SDK と Amazon SageMaker を使って、データの前処理、モデルの学習のパイプラインを構築https://moneyforward.com/engineers_blog/2021/07/28/stepfunctions-sagemaker/https://moneyforward.com/engineers_blog/2021/11/16/stepfunctions-sagemaker-endpoint-deploy/StepFunctionsとSageMakerでML学習パイプラインをつくるStepFunctionsを使ってSageMakerエンドポイントのデプロイを実⾏する株式会社マネーフォワードAWS Step Functions Data Science SDK と Amazon SageMaker を使ってモデルの学習パイプラインを構築したり、SageMaker 推論エンドポイントを使ったカナリアデプロイのパイプラインを構築

[8]ページ先頭

©2009-2025 Movatter.jp