Movatterモバイル変換
[0]
ホーム
URL:
画像なし
夜間モード
Download free for 30 days
Sign in
Upload
Language (EN)
Support
Business
Mobile
Social Media
Marketing
Technology
Art & Photos
Career
Design
Education
Presentations & Public Speaking
Government & Nonprofit
Healthcare
Internet
Law
Leadership & Management
Automotive
Engineering
Software
Recruiting & HR
Retail
Sales
Services
Science
Small Business & Entrepreneurship
Food
Environment
Economy & Finance
Data & Analytics
Investor Relations
Sports
Spiritual
News & Politics
Travel
Self Improvement
Real Estate
Entertainment & Humor
Health & Medicine
Devices & Hardware
Lifestyle
Change Language
Language
English
Español
Português
Français
Deutsche
Cancel
Save
Submit search
EN
Uploaded by
MariOhbuchi
PDF, PPTX
4,258 views
AWSではじめるMLOps
第15回 MLOps 勉強会(Online)で使用したスライドです。MLOpsに便利なAWSサービスの紹介と事例をご紹介しています。
Technology
◦
Read more
2
Save
Share
Embed
Embed presentation
Download
Download as PDF, PPTX
1
/ 50
2
/ 50
3
/ 50
Most read
4
/ 50
5
/ 50
6
/ 50
7
/ 50
8
/ 50
9
/ 50
10
/ 50
Most read
11
/ 50
12
/ 50
13
/ 50
14
/ 50
15
/ 50
16
/ 50
17
/ 50
18
/ 50
19
/ 50
20
/ 50
21
/ 50
22
/ 50
23
/ 50
24
/ 50
25
/ 50
26
/ 50
27
/ 50
28
/ 50
29
/ 50
Most read
30
/ 50
31
/ 50
32
/ 50
33
/ 50
34
/ 50
35
/ 50
36
/ 50
37
/ 50
38
/ 50
39
/ 50
40
/ 50
41
/ 50
42
/ 50
43
/ 50
44
/ 50
45
/ 50
46
/ 50
47
/ 50
48
/ 50
49
/ 50
50
/ 50
Recommended
PPTX
ネットストーカー御用達OSINTツールBlackBirdを触ってみた.pptx
by
Shota Shinogi
PPTX
MLOps入門
by
Hiro Mura
PDF
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
by
NTT DATA Technology & Innovation
PDF
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
by
NTT DATA Technology & Innovation
PPTX
リクルートを支える横断データ基盤と機械学習の適用事例
by
Tetsutaro Watanabe
PDF
PFNのML/DL基盤を支えるKubernetesにおける自動化 / DevOpsDays Tokyo 2021
by
Preferred Networks
PDF
ストリーム処理を支えるキューイングシステムの選び方
by
Yoshiyasu SAEKI
PPTX
MLflowで学ぶMLOpsことはじめ
by
Kenichi Sonoda
PDF
(修正)機械学習デザインパターン(ML Design Patterns)の解説
by
Hironori Washizaki
PDF
20200630 AWS Black Belt Online Seminar Amazon Cognito
by
Amazon Web Services Japan
PDF
Amazon SageMaker 推論エンドポイントを利用したアプリケーション開発
by
Amazon Web Services Japan
PDF
Infrastructure as Code (IaC) 談義 2022
by
Amazon Web Services Japan
PPTX
AWSで作る分析基盤
by
Yu Otsubo
PPTX
Amazon SageMakerでカスタムコンテナを使った学習
by
西岡 賢一郎
PDF
Google Cloud で実践する SRE
by
Google Cloud Platform - Japan
PPTX
MLOpsはバズワード
by
Tetsutaro Watanabe
PPTX
backbone としての timm 入門
by
Takuji Tahara
PDF
なぜ、いま リレーショナルモデルなのか(理論から学ぶデータベース実践入門読書会スペシャル)
by
Mikiya Okuno
PDF
20190129 AWS Black Belt Online Seminar AWS Identity and Access Management (AW...
by
Amazon Web Services Japan
PDF
テスト文字列に「うんこ」と入れるな
by
Kentaro Matsui
PDF
Singularityで分散深層学習
by
Hitoshi Sato
PDF
Data-centricなML開発
by
Takeshi Suzuki
PDF
Amazon SageMaker で始める機械学習
by
Amazon Web Services Japan
PDF
モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)
by
株式会社MonotaRO Tech Team
PDF
20201118 AWS Black Belt Online Seminar 形で考えるサーバーレス設計 サーバーレスユースケースパターン解説
by
Amazon Web Services Japan
PDF
Ml system in_python
by
yusuke shibui
PDF
WebSocket / WebRTCの技術紹介
by
Yasuhiro Mawarimichi
PPTX
本当は恐ろしい分散システムの話
by
Kumazaki Hiroki
PDF
[CTO Night & Day 2019] ML services: MLOps #ctonight
by
Amazon Web Services Japan
PDF
Amazonでのレコメンド生成における深層学習とAWS利用について
by
Amazon Web Services Japan
More Related Content
PPTX
ネットストーカー御用達OSINTツールBlackBirdを触ってみた.pptx
by
Shota Shinogi
PPTX
MLOps入門
by
Hiro Mura
PDF
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
by
NTT DATA Technology & Innovation
PDF
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
by
NTT DATA Technology & Innovation
PPTX
リクルートを支える横断データ基盤と機械学習の適用事例
by
Tetsutaro Watanabe
PDF
PFNのML/DL基盤を支えるKubernetesにおける自動化 / DevOpsDays Tokyo 2021
by
Preferred Networks
PDF
ストリーム処理を支えるキューイングシステムの選び方
by
Yoshiyasu SAEKI
PPTX
MLflowで学ぶMLOpsことはじめ
by
Kenichi Sonoda
ネットストーカー御用達OSINTツールBlackBirdを触ってみた.pptx
by
Shota Shinogi
MLOps入門
by
Hiro Mura
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
by
NTT DATA Technology & Innovation
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
by
NTT DATA Technology & Innovation
リクルートを支える横断データ基盤と機械学習の適用事例
by
Tetsutaro Watanabe
PFNのML/DL基盤を支えるKubernetesにおける自動化 / DevOpsDays Tokyo 2021
by
Preferred Networks
ストリーム処理を支えるキューイングシステムの選び方
by
Yoshiyasu SAEKI
MLflowで学ぶMLOpsことはじめ
by
Kenichi Sonoda
What's hot
PDF
(修正)機械学習デザインパターン(ML Design Patterns)の解説
by
Hironori Washizaki
PDF
20200630 AWS Black Belt Online Seminar Amazon Cognito
by
Amazon Web Services Japan
PDF
Amazon SageMaker 推論エンドポイントを利用したアプリケーション開発
by
Amazon Web Services Japan
PDF
Infrastructure as Code (IaC) 談義 2022
by
Amazon Web Services Japan
PPTX
AWSで作る分析基盤
by
Yu Otsubo
PPTX
Amazon SageMakerでカスタムコンテナを使った学習
by
西岡 賢一郎
PDF
Google Cloud で実践する SRE
by
Google Cloud Platform - Japan
PPTX
MLOpsはバズワード
by
Tetsutaro Watanabe
PPTX
backbone としての timm 入門
by
Takuji Tahara
PDF
なぜ、いま リレーショナルモデルなのか(理論から学ぶデータベース実践入門読書会スペシャル)
by
Mikiya Okuno
PDF
20190129 AWS Black Belt Online Seminar AWS Identity and Access Management (AW...
by
Amazon Web Services Japan
PDF
テスト文字列に「うんこ」と入れるな
by
Kentaro Matsui
PDF
Singularityで分散深層学習
by
Hitoshi Sato
PDF
Data-centricなML開発
by
Takeshi Suzuki
PDF
Amazon SageMaker で始める機械学習
by
Amazon Web Services Japan
PDF
モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)
by
株式会社MonotaRO Tech Team
PDF
20201118 AWS Black Belt Online Seminar 形で考えるサーバーレス設計 サーバーレスユースケースパターン解説
by
Amazon Web Services Japan
PDF
Ml system in_python
by
yusuke shibui
PDF
WebSocket / WebRTCの技術紹介
by
Yasuhiro Mawarimichi
PPTX
本当は恐ろしい分散システムの話
by
Kumazaki Hiroki
(修正)機械学習デザインパターン(ML Design Patterns)の解説
by
Hironori Washizaki
20200630 AWS Black Belt Online Seminar Amazon Cognito
by
Amazon Web Services Japan
Amazon SageMaker 推論エンドポイントを利用したアプリケーション開発
by
Amazon Web Services Japan
Infrastructure as Code (IaC) 談義 2022
by
Amazon Web Services Japan
AWSで作る分析基盤
by
Yu Otsubo
Amazon SageMakerでカスタムコンテナを使った学習
by
西岡 賢一郎
Google Cloud で実践する SRE
by
Google Cloud Platform - Japan
MLOpsはバズワード
by
Tetsutaro Watanabe
backbone としての timm 入門
by
Takuji Tahara
なぜ、いま リレーショナルモデルなのか(理論から学ぶデータベース実践入門読書会スペシャル)
by
Mikiya Okuno
20190129 AWS Black Belt Online Seminar AWS Identity and Access Management (AW...
by
Amazon Web Services Japan
テスト文字列に「うんこ」と入れるな
by
Kentaro Matsui
Singularityで分散深層学習
by
Hitoshi Sato
Data-centricなML開発
by
Takeshi Suzuki
Amazon SageMaker で始める機械学習
by
Amazon Web Services Japan
モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)
by
株式会社MonotaRO Tech Team
20201118 AWS Black Belt Online Seminar 形で考えるサーバーレス設計 サーバーレスユースケースパターン解説
by
Amazon Web Services Japan
Ml system in_python
by
yusuke shibui
WebSocket / WebRTCの技術紹介
by
Yasuhiro Mawarimichi
本当は恐ろしい分散システムの話
by
Kumazaki Hiroki
Similar to AWSではじめるMLOps
PDF
[CTO Night & Day 2019] ML services: MLOps #ctonight
by
Amazon Web Services Japan
PDF
Amazonでのレコメンド生成における深層学習とAWS利用について
by
Amazon Web Services Japan
PPTX
Japan Wrap Up re:Invent2018
by
Kameda Harunobu
PPTX
Japan wrapup reinvent2018
by
Amazon Web Services Japan
PDF
[CTO Night & Day 2019] よくある課題を一気に解説!御社の技術レベルがアップする 2019 秋期講習 #ctonight
by
Amazon Web Services Japan
PPTX
re:Invent 2018 ML サービスアップデート
by
Amazon Web Services Japan
PDF
AWS Black Belt Online Seminar 2018 re:Invent 2017 Recap Machine Learning / Da...
by
Amazon Web Services Japan
PDF
Amazon Game Tech Night #25 ゲーム業界向け機械学習最新状況アップデート
by
Amazon Web Services Japan
PDF
Amazon Machine Learning
by
Yuta Imai
PDF
Machine Learning Operations (MLOps): Overview, Definition, and Architecture
by
Takuya Minagawa
PPTX
Machine Learning forDigital Advertising
by
Amazon Web Services Japan
PDF
Amazon Machine Learing と機械学習
by
Kei Hirata
PDF
機械学習を用いたAWS CloudTrailログの積極的活用
by
kz-takahashi
PDF
Amazon machine leaning の紹介
by
Akinori Abe
PPTX
MLOps NYC 2019 and Strata Data Conference NY 2019 report nttdata
by
NTT DATA Technology & Innovation
PPTX
20170826 Oita JAWS
by
Kameda Harunobu
PDF
Machine Learning on AWS
by
Amazon Web Services Japan
PPTX
研究用途でのAWSの利用事例と機械学習について
by
Yasuhiro Matsuo
PDF
AWS + MLflow + SageMakerの環境を動かしてみたお話
by
ItohHiroki
PDF
Amazon SageMaker: 機械学習の民主化から工業化へ(in Japanese)
by
Toshihiko Yamakami
[CTO Night & Day 2019] ML services: MLOps #ctonight
by
Amazon Web Services Japan
Amazonでのレコメンド生成における深層学習とAWS利用について
by
Amazon Web Services Japan
Japan Wrap Up re:Invent2018
by
Kameda Harunobu
Japan wrapup reinvent2018
by
Amazon Web Services Japan
[CTO Night & Day 2019] よくある課題を一気に解説!御社の技術レベルがアップする 2019 秋期講習 #ctonight
by
Amazon Web Services Japan
re:Invent 2018 ML サービスアップデート
by
Amazon Web Services Japan
AWS Black Belt Online Seminar 2018 re:Invent 2017 Recap Machine Learning / Da...
by
Amazon Web Services Japan
Amazon Game Tech Night #25 ゲーム業界向け機械学習最新状況アップデート
by
Amazon Web Services Japan
Amazon Machine Learning
by
Yuta Imai
Machine Learning Operations (MLOps): Overview, Definition, and Architecture
by
Takuya Minagawa
Machine Learning forDigital Advertising
by
Amazon Web Services Japan
Amazon Machine Learing と機械学習
by
Kei Hirata
機械学習を用いたAWS CloudTrailログの積極的活用
by
kz-takahashi
Amazon machine leaning の紹介
by
Akinori Abe
MLOps NYC 2019 and Strata Data Conference NY 2019 report nttdata
by
NTT DATA Technology & Innovation
20170826 Oita JAWS
by
Kameda Harunobu
Machine Learning on AWS
by
Amazon Web Services Japan
研究用途でのAWSの利用事例と機械学習について
by
Yasuhiro Matsuo
AWS + MLflow + SageMakerの環境を動かしてみたお話
by
ItohHiroki
Amazon SageMaker: 機械学習の民主化から工業化へ(in Japanese)
by
Toshihiko Yamakami
AWSではじめるMLOps
1.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.Amazon Web Services JapanMachine Learning Solutions ArchitechtAWS ではじめる MLOps第15回 MLOps 勉強会(Online)
2.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.本⽇お話すること2l Amazon における機械学習l AWS における MLOpsl MLOps で使える AWS サービスAWS で MLOps やるとこんな感じなんだーと知っていただければ幸いです。
3.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.Amazon における機械学習
4.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.
5.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.事例)Amazon Go : コンビニにおけるイノベーション• お客様が会計の為に並ばない• レジレスなコンビニ• 会計時のストレスを解消• 各種認識技術を活⽤• Computer Vision• Deep Learning• Fusion Sensor• ⾃動化している内容• ユーザー認証(QR+顔認証)• 買い物の⾏動のトラッキングhttps://www.youtube.com/watch?v=NrmMk1Myrxc5
6.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.
7.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.
8.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.Amazon Robotics: 物流における変⾰⼈とロボットが共に動き倉庫の⽣産性を向上l 荷物の流量(InとOut)の増加l 搬⼊搬出を速度化l 従業員の⼿間やミスの軽減に貢献l フロアスペースの効果的利⽤にも貢献機械学習を駆使したルート制御l 膨⼤な情報をクラウドに展開l ロボット同⼠の衝突回避https://www.youtube.com/watch?v=4sEVX4mPuto8
9.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark. Photo by Victor Freitas on Unsplashby Jeff BezosUndifferentiated Heavy Lifting他との差別化になりづらい重労働
10.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.AWS の機械学習スタック10AIサービスコード + DevOpsAmazon CodeGuruAmazon DevOps GuruビジネスプロセスAmazon PersonalizeAmazon ForecastAmazon Fraud DetectorAmazon Lookout for Metrics検索Amazon Kendra製造業Amazon MonitronAmazon Lookout for EquipmentAmazon Lookout for VisionヘルスケアAmazon HealthLakeAmazon Comprehend MedicalAmazon Transcribe Medicalドメイン特化チャットボットAmazon Lexテキスト & ドキュメントAmazon TranslateAmazon ComprehendAmazon Textract⾳声Amazon PollyAmazon TranscribeAmazon Transcribe Call Analytics動画像Amazon RekognitionAWS Panoramaコア機能MLサービスエッジデバイス管理ML学習ノーコードMLデータ準備特徴量ストアバイアス検出ノートブック管理と監視モデル学習本番へのデプロイパラメタ最適化説明可能性CI/CDラベリングSAGEMAKERCANVASSAGEMAKERSTUDIO LABAMAZON SAGEMAKER STUDIO IDEML フレームワークとインフラストラクチャPyTorch, ApacheMXNet, TensorFlowAmazon EC2 CPUs GPUs AWS TrainiumElasticinferenceAWS Inferentia FPGAHabanaGaudi
11.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.AWS における MLOps
12.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.AWS ML Lens: 機械学習のための Well-Architected12l 優れた運⽤効率l セキュリティl 信頼性⼀般的な AWS の Well-Architected:6つの柱に基づいてアーキテクチャを評価しよりよい設計を⽬指す Frameworkhttps://docs.aws.amazon.com/wellarchitected/latest/machine-learning-lens/machine-learning-lens.htmll パフォーマンス効率l コストの最適化l 持続可能性ML Lens: 機械学習ライフサイクルの各フェーズにおける Well-Architected英語版の⽅が最新です
13.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.MLOps に関連する役割と責任範囲13データアーキテクトデータエンジニアMachine Learning Lenshttps://docs.aws.amazon.com/wellarchitected/latest/machine-learning-lens/mloe-02.htmlデータサイエンティストAI/ML アーキテクトML エンジニアMLOps エンジニアセキュリティエンジニアソフトウェアエンジニア1⼈で複数の役割を担うこともよくあるデータの収集データの前処理特徴量エンジニアリングモデルの作成モデルのデプロイモデルの監視データ準備 MLモデル開発 構築・運⽤
14.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.代表的な開発体制14個⼈によってウェイトの違いはあるが、基本的にチーム内で全部やる1チームで全体を担当 複数チームで役割分担モデル開発、MLOps、アプリ開発モデル開発を担当するチームとMLOps、アプリ開発のチームが分離モデル開発MLOps、アプリ開発データサイエンティストチームエンジニアチームエンジニアチーム
15.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.AWS のマネージドサービスを活⽤した MLOps の基本構成15Amazon SageMaker PipelinesAmazon Managed WorkflowsFor Apache Airflow (MWAA)AWS Step FunctionsAWS CodePipelineAmazon SageMaker Seriesパイプライン開発ツール MLOps コンポーネントl ラベリングl データ処理l 学習l 実験管理l モデル管理l 推論エンドポイントl モデル性能監視l Human in the loopl etc.その他 OSS なども利⽤可能その他 OSS なども利⽤可能
16.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.そのほかの MLOps コンポーネント16Amazon Elastic Container Service (Amazon ECS)Amazon Elastic Kubernetes Service (Amazon EKS)⾃前の MLOps を細かく作りこむ場合Amazon SageMaker と MLflow で機械学習のライフサイクル管理の例https://aws.amazon.com/jp/blogs/news/machine-learning-managing-your-machine-learning-lifecycle-with-mlflow-and-amazon-sagemaker/Notebooks/StudioAmazon SageMakerデータ処理 学習/評価 デプロイAmazon S3Amazon RDBLoad balancer AWS FargateMLflow server
17.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.MLOps で使える AWS サービス
18.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.基本的な MLOps の構成図18データ準備 MLモデル開発 構築・運⽤学習パイプライン学習データ前処理評価実験管理⽣データ加⼯済みデータコード管理学習済みモデルCI/CDパイプライン学習データ前処理評価 承認デプロイ監視データサイエンティスト承認者コード管理最新データ試⾏錯誤・研究開発フェーズトレーサビリティコンテナイメージコンテナイメージラベリング運⽤フェーズ
19.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.代表的な MLOps の構成図19データ準備 MLモデル開発 構築・運⽤学習パイプライン学習データ前処理評価実験管理⽣データ加⼯済みデータコード管理学習済みモデルCI/CDパイプライン学習データ前処理評価 承認デプロイ監視データサイエンティスト承認者コード管理最新データ試⾏錯誤・研究開発フェーズトレーサビリティコンテナイメージコンテナイメージラベリング運⽤フェーズ
20.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.ラベリングの効率化︓Amazon SageMaker Ground Truth20画像分類(マルチラベル対応)物体検知 ⽂章分類(マルチラベル対応)セマンティックセグメンテーション固有表現抽出ラベル検証l テンプレートを使って数クリックでラベリングツールを作成可能l メールアドレスで作業者を登録しラベリング依頼可能。ベンダへの依頼も可能。l ⼤量データに対しては⾃動ラベリング機能によるラベリングコストの低減動画分類 動画物体検出 動画物体追跡 Point cloud物体検出Point cloud物体追跡Point cloudセマンティックセグメンテーション
21.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.組み込みテンプレートから作成したラベリングツールの例21セマンティクセグメンテーションの例いくつかポイントを打つと領域を⾃動認識して⾃動ラベリング
22.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.基本的な MLOps の構成図22データ準備 MLモデル開発 構築・運⽤学習パイプライン学習データ前処理評価実験管理⽣データ加⼯済みデータコード管理学習済みモデルCI/CDパイプライン学習データ前処理評価 承認デプロイ監視データサイエンティスト承認者コード管理最新データ試⾏錯誤・研究開発フェーズトレーサビリティコンテナイメージコンテナイメージラベリング運⽤フェーズ
23.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.統合開発環境(IDE)︓Amazon SageMaker Studio23l マネージドな Jupyter 環境をすぐに利⽤可能。基本的なライブラリはインストール済みl 数クリックで、作成した Jupyterノートブックのスナップショットをチームメンバに共有可能l Jupyter ノートブックの処理を実⾏するインスタンスをフレキシブルに切り替え可能l SageMaker が⽤意したビルトインのカーネルのほかに、カスタムイメージも利⽤可能Web ブラウザから利⽤可能な機械学習のための IDE
24.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.AWS を使った機械学習パイプライン構築⽅法の選択肢24Amazon SageMaker Pipelines Centric その他サービス CentricMisc.l Amazon SageMaker Studio を使ってモデル開発を⾏うデータサイエンティストを中⼼としてMLOps を構築する場合におすすめl SageMaker Studio を UI とすることで、AWS コンソールへのアクセスを最⼩限に MLOps の構築・運⽤が可能l 既存の DevOps の中に MLOps を組み込むようなユースケースにおすすめl OSS やさまざまな AWS サービスを組み合わせやすい
25.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.基本的な MLOps の構成図25データ準備 MLモデル開発 構築・運⽤学習パイプライン学習データ前処理評価実験管理⽣データ加⼯済みデータコード管理学習済みモデルCI/CDパイプライン学習データ前処理評価 承認デプロイ監視データサイエンティスト承認者コード管理最新データ試⾏錯誤・研究開発フェーズトレーサビリティコンテナイメージコンテナイメージラベリング運⽤フェーズ
26.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.学習パイプライン構築に使えるサービスl サーバーレスオーケストレーションサービスを提供するサービスl 分散アプリケーション・マイクロサービスの全体を「ステートマシン」と呼ばれるしくみでオーケストレートできるl 定義したステートマシンはAWS コンソールから「ワークフロー」という形式で⾒やすく可視化できるl ステートマシンの各ステップの実⾏履歴をログから追跡できるl Apache Airflowによるワークフローを構築可能なマネージドサービスl ETLジョブやデータパイプラインを実⾏するワークフローをマネージド型で実⾏可能。開発者がビジネス上の課題解決に注⼒できるようにするl AirflowのメトリクスをCloudWatchメトリクスとして扱い、ログをCloudWatch Logsに転送可能Amazon SageMaker PipelinesAmazon Managed WorkflowsFor Apache Airflow (MWAA)AWS Step Functionsl 機械学習ワークロードのCI/CD を実現する AmazonSageMaker の機能l 機械学習ワークフローのデータロードや学習処理などの⼀連の処理ステップを任意のタイミングや所定の時間に実⾏できるl 各ステップの処理結果はSageMaker Experiments で記録され、モデルの出来映えや学習パラメータなどを視覚化可能26
27.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.パイプライン管理ツール選択基準の例l Step Functions Data Science SDK を使うことで、Python でワークフローを構築l さまざまな AWS サービスを組み合わせたワークフローを作るl 今まで利⽤していた ApacheAirflow をマネージドにすることで管理の⼿間を削減l ワークフローの実⾏状況などをダッシュボードでグラフィカルに確認Amazon SageMaker PipelinesAmazon Managed WorkflowsFor Apache Airflow (MWAA)AWS Step Functionsl Amazon SageMaker Studio を使うデータサイエンティスト中⼼のチームでスモールスタートしたいl Python で SageMaker の機能を盛り込んだパイプラインを構築27
28.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.MLOps コンポーネントとしての Amazon SageMaker28Amazon SageMaker必要なリソースを⾃由に組み合わせてジョブを実⾏するコンテナオーケストレータジョブ実⾏時に使⽤した学習データ、コンテナイメージ、ソースコード、モデルは⾃動的に関連付けて記録される学習データ 実⾏環境 ソースコードAmazon S3 Amazon ECR リポジトリ(Git, CodeCommit, etc.)ジョブ専⽤インスタンス(処理完了後 ⾃動削除)
29.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.試⾏錯誤のための学習パイプラインの例29データ前処理 モデルの学習 モデルの評価評価結果に応じた処理Processing Job Training Job Processing Job Lambda w/container前処理済みデータ 学習済みモデル評価⽤コンテナ実験管理 (SageMaker Experiments)処理⽤コンテナAWS Step Functions共通部分をパイプラインにして⾃動化し、使⽤するデータや学習スクリプトを変えながらより良いモデルを効率的に探索https://aws.amazon.com/jp/builders-flash/202111/nyantech-ml-ops/?awsf.filter-name=*all処理⽤コンテナ学習⽤コンテナ
30.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.モデル作成時の試⾏錯誤に便利な SageMaker の機能30l ハイパーパラメタチューニングl 探索範囲を指定してベイズ最適化やランダムサーチでより良いパラメタを探索l マネージドスポットトレーニングl スポットインスタンスを使ってコスト効率よくモデルを学習l 分散学習l 複数インスタンスを使って学習時間を短縮l トレーニングコンパイラ new!l モデルをコンパイルしてから学習することで最⼤50%の学習効率向上l Amazon SageMaker Experiments(実験管理)l モデルに関連する情報(データのS3パス、使⽤したコンテナイメージ、評価メトリクス、ハイパーパラメタなど)を構造化データとして⼀元管理
31.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.基本的な MLOps の構成図31データ準備 MLモデル開発 構築・運⽤学習パイプライン学習データ前処理評価実験管理⽣データ加⼯済みデータコード管理学習済みモデルCI/CDパイプライン学習データ前処理評価 承認デプロイ監視データサイエンティスト承認者コード管理最新データ試⾏錯誤・研究開発フェーズトレーサビリティコンテナイメージコンテナイメージラベリング運⽤フェーズ
32.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.CI/CD パイプライン管理ツール32AWS CodePipeline Amazon SageMaker Pipelinesl 継続的デリバリーのためのフルマネージドサービスl コード変更をトリガにビルド、テスト、デプロイを⾃動実⾏するパイプラインを作成可能l GitHub や Jenkins のようなサードパーティの開発ツールをパイプラインに統合可能AWS Step Functions
33.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.CI/CD パイプラインの例33https://github.com/aws-samples/mlops-e2e
34.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.CI/CD パイプラインの例34https://github.com/aws-samples/mlops-e2eモデル学習パイプラインは SageMaker Pipelinesで構築デプロイパイプラインはCodePipeline で構築推論エンドポイントへの⼊⼒データは DB に保存し、モデルの再学習に利⽤
35.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.Amazon SageMaker を使った推論⽅法35バッチ推論(バッチ変換 )l リアルタイム性が求められない推論向きl transform() でエンドポイントを起動l 推論が終わるとエンドポイントが⾃動的に削除されるl 推論時のみインスタンスを起動するためコスト効率⾼停⽌EP作成推論停⽌EP作成推論停⽌時間※ EP: エンドポイント推論リクエスト 推論リクエストl リアルタイムな推論を必要とする場合に選択l deploy() でエンドポイントを構築できるl Web API の URL が発⾏され,URL にリクエストを送り推論l オートスケールの設定が可能l エンドポイント起動中は料⾦がかかるので注意リアルタイム推論⼊⼒データ推論結果インスタンス S3インスタンス⼊⼒データ推論結果
36.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.Amazon SageMaker を使った推論⽅法36⾮同期推論l リアルタイム推論と近い感覚で⾮同期で推論を実⾏l リアルタイム推論ではタイムアウトするような重い推論を実⾏する際に最適l 最⼤1GBのペイロードサイズ、最⼤15分かかる推論に対応l オートスケール設定も可能⼊⼒データ推論結果インスタンス S3Internal queueサーバレス推論 new! (Preview中)l サーバレスのエンドポイントを使って推論l コールドスタートを許容できるユースケースに最適l エンドポイントのメモリサイズは 1〜6GB から選択可能l ストレージサイズは 5GB 固定l スケーリングポリシーを設定可能サーバレスエンドポイント⼊⼒データ推論結果
37.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.リアルタイム推論のバリエーション37マルチモデルエンドポイントl 1つのエンドポイントに複数のモデルをデプロイl 推論時のコスト削減に効果マルチコンテナエンドポイントl 1つのエンドポイントに複数のモデルをコンテナごとデプロイl 異なるフレームワークのモデルにも対応l 推論時のコスト削減に効果Amazon SageMaker Endpointtokyo.tar.gzosaka.tar.gznagoya.tar.gzhakata.tar.gz⼊⼒データとモデル名推論結果Amazon SageMaker Endpointpytorch_mnistmodel imagetensorflow_mnistmodel image⼊⼒データとモデル名推論結果
38.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.Amazon SageMaker Blue/Green デプロイ機能 new!l Blue/Green デプロイにおいて、トラフィックの振り分けを SageMaker がコントロールし、エンドポイントの更新まで⾏えるようになったl これまで提供していた All At Once に加えて、Canary と Linear (線形) のデプロイを容易に実装可能にl Amazon CloudWatch アラームと連携して異常発⽣時の⾃動ロールバックが可能Canaryデプロイhttps://aws.amazon.com/about-aws/whats-new/2021/11/new-deployment-guardrails-amazon-sagemaker-inference-endpoints/38
39.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.Deep Learning 専⽤設計の推論インスタンス Inf139l 機械学習の推論を低レイテンシかつ安価に実現する推論⽤チップAWS Inferentia を搭載した Inf1 インスタンスl 同等の現⾏世代の GPU ベースの Amazon EC2 インスタンスと⽐較して、スループットの最⼤ 2.3 倍向上、最⼤ 70% のコスト削減効果が期待できるl 4つのインスタンスサイズから選択でき、Intel Xeon Scalable プロセッサ搭載https://aws.amazon.com/jp/blogs/news/choose-the-best-ai-accelerator-and-model-compilation-for-computer-vision-inference-with-amazon-sagemaker/100万推論あたりのコスト ($)c5c5+Neog4dng4dn+Neoinf11時間あたりのトランザクション数c5c5+Neog4dng4dn+Neoinf11M750K500K250K01086402
40.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.Amazon SageMaker Inference Recommender new!40l 候補のインスタンスすべてに対する負荷テストとモデル調整を⾃動化することで、本番環境に最適なインスタンスの特定を可能にl Amazon SageMaker Studio やノートブックでベンチマークの結果を確認し、レイテンシー、スループット、コスト、コンピューティング、メモリなど、さまざまな組み合わせ間のトレードオフを評価l 許容される同時処理数やレイテンシにしきい値を設定し、許容値を超えた場合、テストを打ち切って効率化⾃動テストを実⾏して推論に最適なインスタンスを推薦https://aws.amazon.com/jp/blogs/news/announcing-amazon-sagemaker-inference-recommender/
41.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.リネージ追跡の機能追加 new!l SageMaker における機械学習ワークフローの実⾏履歴 (リネージ) に対して、ステップごとに情報を検索するのではなく、関連情報を⼀括で検索できるクエリ機能が追加l たとえば、ある学習済みモデルに紐づく前処理やトレーニングのジョブをクエリ⼀つで抽出可能l クロスアカウントでのクエリにも対応し、複数組織にまたがる開発・運⽤において、ガバナンス、再現性確保などが可能にmodel packageS3 のモデルデータトレーニングジョブトレーニング⽤コンテナイメージhttps://docs.aws.amazon.com/sagemaker/latest/dg/querying-lineage-entities.htmlhttps://github.com/aws/amazon-sagemaker-examples/tree/master/sagemaker-lineage41
42.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.モデル監視︓Amazon SageMaker Model Monitor42
43.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.まとめ
44.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.AWS における MLOps44l 組織の ML 成熟度や開発体制にあわせて AI サービス、ML サービス、ML フレームワークとインフラストラクチャを選択l パイプライン管理ツールと MLOps コンポーネントを組み合わせて、開発体制(組織構成)にフィットした MLOps を実現可能l Amazon SageMaker は機械学習のためのコンテナオーケストレータl Amazon SageMaker は MLOps コンポーネントの詰め合わせl ⽤途に合う機能をピックアップして組み込み可能実践 AWSデータサイエンス - エンドツーエンドのMLOpsパイプライン実装AWS の機械学習サービスの使い⽅だけではなく、機械学習を組み込んだアプリケーション開発を効率化するためにどのように AWS サービスを組み合わせると良いかなどが解説されています。https://www.amazon.co.jp/dp/4873119685/ref=cm_sw_em_r_mt_dp_5B7GAZ2X87X027WG37DE
45.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.Appendix
46.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.SageMaker Project MLOps テンプレート46https://aws.amazon.com/jp/blogs/machine-learning/building-automating-managing-and-scaling-ml-workflows-using-amazon-sagemaker-pipelines/SageMaker Studio から数クリックでデプロイ可能
47.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.MLOps on AWS の事例47https://aws.amazon.com/jp/blogs/news/brainpad-ml-cicd-pipeline/マネージドサービスを活⽤した機械学習のためのCI/CDパイプラインの構築株式会社ブレインパッド運⽤開始後のモデル更新を⾮エンジニアであるマーケターができるよう、モデル学習パイプラインの⾃動化やグラフィカルなダッシュボードを構築https://d1.awsstatic.com/events/jp/2021/summit-online/CUS-17_AWS_Summit_Online_2021_DENSO.pdf⾼度運転⽀援向け画像認識のための Machine Learning Production Line株式会社デンソー⼤規模な画像を使ったモデル開発において、⽣産性向上、トレーサビリティを実現し、TCO(Total Cost of Ownership) の観点でコストの評価を実施
48.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.MLOps on AWS の事例48https://d1.awsstatic.com/events/jp/2021/summit-online/CUS-45_AWS_Summit_Online_2021_KONAMI.pdf遊戯王ニューロンにおける Amazon SageMaker の活⽤⼤規模画像データの MLOps 基盤構築株式会社コナミデジタルエンタテインメントモデルの学習、⼤規模画像データを含むデータ管理、システム運⽤における課題を、Amazon Managed Workflow for Apache Airflow や Amazon SageMaker で解決https://d1.awsstatic.com/events/jp/2021/summit-online/CUS-21_AWS_Summit_Online_2021_PKSHA_Technology.pdf顧客最適な機械学習モデルを提供する対話エンジンサービスとAmazon SageMaker の活⽤事例株式会社PKSHA Technology/株式会社BEDORE従来 Amazon EC2 で⾏っていたモデル学習を Amazon SageMaker ベースの構成に切り替え、開発者間、プロジェクト間での環境の統⼀や管理が必要なリソースの削減を実現
49.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.MLOps on AWS の事例49https://aws.amazon.com/jp/solutions/case-studies/pfcc/汎⽤原⼦レベルシミュレータ『Matlantis』のプラットフォームにAmazon EKS と Amazon EC2 GPU インスタンスを採⽤することでサービス化の検討開始からわずか 6 か⽉で製品化株式会社 Preferred Computational Chemistry原⼦レベルで材料の挙動を再現することで⼤規模な材料探索を⾏う汎⽤原⼦レベルシミュレータを Amazon Elastic Kubernetes Service (Amazon EKS) と Amazon EC2 GPU インスタンスを使って開発https://aws.amazon.com/jp/blogs/news/cisco-uses-amazon-sagemaker-and-kubeflow-to-create-a-hybrid-machine-learning-workflow/[AWS Blog] Cisco は、ハイブリッド機械学習ワークフローを作成するためにAmazon SageMaker と Kubeflow を使⽤モデル学習は⾃社の Cisco UCS ハードウェアで⾏い、推論に SageMaker 推論エンドポイントで⾏うワークフローを Amazon Elastic Kubernetes Service (Amazon EKS) と SageMaker Componentsfor Kubeflow Pipelines を使って実現
50.
© 2022, Amazon
Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark.MLOps on AWS 関連のお客様のブログ記事50https://buildersbox.corp-sansan.com/entry/2021/08/30/110000【Techの道も⼀歩から】第41回「SageMakerでStep Functionsを使った学習パイプラインを構築するために概念を理解する」Sansan株式会社AWS Step Functions Data Science SDK と Amazon SageMaker を使って、データの前処理、モデルの学習のパイプラインを構築https://moneyforward.com/engineers_blog/2021/07/28/stepfunctions-sagemaker/https://moneyforward.com/engineers_blog/2021/11/16/stepfunctions-sagemaker-endpoint-deploy/StepFunctionsとSageMakerでML学習パイプラインをつくるStepFunctionsを使ってSageMakerエンドポイントのデプロイを実⾏する株式会社マネーフォワードAWS Step Functions Data Science SDK と Amazon SageMaker を使ってモデルの学習パイプラインを構築したり、SageMaker 推論エンドポイントを使ったカナリアデプロイのパイプラインを構築
Download
[8]
ページ先頭
©2009-2025
Movatter.jp