Download to read offline
![SageMakerがトレーニング時に行うこと● docker run image train を実行○ train引数によりコンテナ内のデフォルトのCMDが上書きされる● ENTRYPOINTで実行形式を指定○ 例: ENTRYPOINT ["python", "k-means-algorithm.py"]○ ENTRYPOINTで直接実行ファイルを指定することで、SageMaker APIからSIGTERMやSIGKILLのシグナルを送ることができるようになる● ハイパーパラメータで渡された値はオプションとして渡されるhyperparameters={"max_leaf_nodes": 30} python … --max_leaf_nodes 30argparseなどで読み込む](/image.pl?url=https%3a%2f%2fimage.slidesharecdn.com%2f20220827customecontainerforsagemaker-220827003144-01ff089a%2f75%2fAmazon-SageMaker-13-2048.jpg&f=jpg&w=240)
![Trust Policy追記{"Version": "2012-10-17","Statement": [{"Effect": "Allow","Principal": {"Service": ["codebuild.amazonaws.com"]},"Action": "sts:AssumeRole"}]}codebuildを追加する](/image.pl?url=https%3a%2f%2fimage.slidesharecdn.com%2f20220827customecontainerforsagemaker-220827003144-01ff089a%2f75%2fAmazon-SageMaker-18-2048.jpg&f=jpg&w=240)
![Permission Policy追加{"Version": "2012-10-17","Statement": [{"Effect": "Allow","Action": ["codebuild:DeleteProject","codebuild:CreateProject","codebuild:BatchGetBuilds","codebuild:StartBuild"],"Resource":"arn:aws:codebuild:*:*:project/sagemaker-studio*"},{"Effect": "Allow","Action": "logs:CreateLogStream","Resource": "arn:aws:logs:*:*:log-group:/aws/codebuild/sagemaker-studio*"},{"Effect": "Allow","Action": ["logs:GetLogEvents","logs:PutLogEvents"],"Resource": "arn:aws:logs:*:*:log-group:/aws/codebuild/sagemaker-studio*:log-stream:*"},{"Effect": "Allow","Action": "logs:CreateLogGroup","Resource": "*"},{"Effect": "Allow","Action": ["ecr:CreateRepository","ecr:BatchGetImage","ecr:CompleteLayerUpload","ecr:DescribeImages","ecr:DescribeRepositories","ecr:UploadLayerPart","ecr:ListImages","ecr:InitiateLayerUpload","ecr:BatchCheckLayerAvailability","ecr:PutImage"],"Resource": "arn:aws:ecr:*:*:repository/sagemaker-studio*"},{"Effect": "Allow","Action": "ecr:GetAuthorizationToken","Resource": "*"},{"Effect": "Allow","Action": ["s3:GetObject","s3:DeleteObject","s3:PutObject"],"Resource": "arn:aws:s3:::sagemaker-*/*"},{"Effect": "Allow","Action": ["s3:CreateBucket"],"Resource": "arn:aws:s3:::sagemaker*"},{"Effect": "Allow","Action": ["iam:GetRole","iam:ListRoles"],"Resource": "*"},{"Effect": "Allow","Action": "iam:PassRole","Resource": "arn:aws:iam::*:role/*","Condition": {"StringLikeIfExists": {"iam:PassedToService": "codebuild.amazonaws.com"}}}]}codebuildやecrやS3などの権限を追加する](/image.pl?url=https%3a%2f%2fimage.slidesharecdn.com%2f20220827customecontainerforsagemaker-220827003144-01ff089a%2f75%2fAmazon-SageMaker-19-2048.jpg&f=jpg&w=240)
Uploaded by西岡 賢一郎
PPTX, PDF1,308 views
Amazon SageMakerでカスタムコンテナを使った学習
機械学習の社会実装勉強会第14回(https://machine-learning-workshop.connpass.com/event/257236/)で発表した資料です。
More Related Content
What's hot
Similar to Amazon SageMakerでカスタムコンテナを使った学習
![[CTO Night & Day 2019] ML services: MLOps #ctonight](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2fctond2019morningsessionml-191027185903-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
More from 西岡 賢一郎
Amazon SageMakerでカスタムコンテナを使った学習
- 1.
- 2.自己紹介● 名前: 西岡賢一郎○ Twitter: @ken_nishi○ note: 西岡賢一郎@研究者から経営者へ (https://note.com/kenichiro)○ YouTube: 【経営xデータサイエンスx開発】西岡 賢一郎のチャンネル(https://www.youtube.com/channel/UCpiskjqLv1AJg64jFCQIyBg)● 経歴○ 東京大学で位置予測アルゴリズムを研究し博士 (学術) を取得○ 東京大学の博士課程在学中にデータサイエンスをもとにしたサービスを提供する株式会社トライディアを設立○ トライディアを別のIT会社に売却し、CTOとして3年半務め、2021年10月末にCTOを退職○ CDPのスタートアップと株式会社データインフォームドの2つに所属○ 自社および他社のプロダクト開発チーム・データサイエンスチームの立ち上げ経験
- 3.今回のお話● カスタムコンテナ● sagemaker-training-toolkit●SageMaker上でイメージのbuild● デモ
- 4.
- 5.
- 6.
- 7.カスタムコンテナ出典: https://aws.amazon.com/jp/blogs/news/sagemaker-custom-containers-pattern-training/カスタムコンテナは以下の3種類のパターンで作成できる1. AWS提供のコンテナイメージを拡張a. 最も簡単b. 独自ライブラリを使いたいときなど2. 独自のコンテナイメージ + SageMakerTraining Toolkita. SageMaker Training Toolkit3. スクラッチのコンテナイメージa. 非推奨b. 最も難しいc. SageMaker Training Jobの外部とデータとのやり取りの使用の理解が必要今回は、2の独自のコンテナイメージ +SageMaker Training Toolkitでカスタムコンテナを作る方法を紹介今回はこちらを紹介
- 8.
- 9.sagemaker-training-toolkitのイメージ作成に必要な3つのこと必ずやることは以下の3つ1. 使いたいイメージの中でpip installsagemaker-trainingを実行2. 学習用スクリプトを /opt/ml/code下に配置3.SAGEMAKER_PROGRAM でスクリプトを指定(カスタムコンテナ構築に必要な唯一の環境変数)出典: https://github.com/aws/sagemaker-training-toolkit指定する項目が少なくて実装も簡単！
- 10.https://github.com/knishioka/machine-learning-workshop/blob/main/sagemaker/sklearn_custom_ml.py学習用スクリプト train.py大きく分けて2つのパートを用意しておく1.モデルを学習しシリアライズし/opt/ml/modelに保存○ SKlearnのコンテナはカスタムスクリプトをインポートするため、間違えて実行されないようにif__name__ == "__main__" に入れておく2.学習済みモデルを/opt/ml/modelから読み込む○ model_fnは、学習、評価、予測をサポートするすべてのロジックを含む関数学習 → シリアライズ → /opt/ml/modelに保存/opt/ml/modelからモデル読み込み学習パートと推論用のモデル読み込みを実装。推論を別のイメージにする場合は推論用の実装は不要。学習 推論
- 11.コンテナ内の構造● /opt/mlすべてSageMaker用となるため、アルゴリズムが必要とするようなデータを置いてはいけない● /opt/ml/inputトレーニングジョブ実行時に利用●/opt/ml/codeコンテナが実行するスクリプトを配置● /opt/ml/modelアルゴリズムによって生成されたモデルを書き込む● /opt/ml/outputモデル以外に保存するアーティファクトを書き込む● /opt/ml/failureトレーニングに失敗した場合、すべてのアルゴリズムの出力を書き込む出典: https://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/amazon-sagemaker-toolkits.html
- 12.CHANNELを理解するSM_CHANNEL_XXXのXXXがそのまま展開(Fileモード)。例えば、以下のように実行するとfit({"training": "s3://path/to/training""validation": "s3://path/to/validation","testing":"s3://path/to/testing"})コンテナ内の以下の場所にデータが展開される● /opt/ml/input/data/training● /opt/ml/input/data/validation● /opt/ml/input/data/testingチャネル名は大文字として環境変数に設定される● SM_CHANNEL_TRAINING=/opt/ml/input/data/training● SM_CHANNEL_VALIDATION=/opt/ml/input/data/validation● SM_CHANNEL_TESTING=/opt/ml/input/data/testing
- 13.SageMakerがトレーニング時に行うこと● docker runimage train を実行○ train引数によりコンテナ内のデフォルトのCMDが上書きされる● ENTRYPOINTで実行形式を指定○ 例: ENTRYPOINT ["python", "k-means-algorithm.py"]○ ENTRYPOINTで直接実行ファイルを指定することで、SageMaker APIからSIGTERMやSIGKILLのシグナルを送ることができるようになる● ハイパーパラメータで渡された値はオプションとして渡されるhyperparameters={"max_leaf_nodes": 30} python … --max_leaf_nodes 30argparseなどで読み込む
- 14.
- 15.通常のbuild● SageMakerでカスタムコンテナを使うためにはECRに作成したイメージをプッシュする必要がある● ECRにプッシュするためには、dockerコマンドだけでなくawsコマンドも使う必要があり、ステップが少し多いdockerbuildaws ecr get-loginaws ecr create-repositorydocker push実行コマンドが多い！！
- 16.
- 17.sm-dockerの使い方● SageMaker実行ロールの設定○ SageMakerで使用している実行ロールに対して、CodeBuildの信頼ポリシーを追加○SageMakerで使用している実行ロールに対して、ECRにレポジトリを作成しイメージをプッシュできる権限を追加○ 詳しくは、Using the Amazon SageMaker Studio Image Build CLI to build container imagesfrom your Studio notebooks を参照● インストール: !pip install sagemaker-studio-image-build● イメージ作成: !sm-docker build .最初の準備は大変だが実行は圧倒的に楽！！
- 18.Trust Policy追記{"Version": "2012-10-17","Statement":[{"Effect": "Allow","Principal": {"Service": ["codebuild.amazonaws.com"]},"Action": "sts:AssumeRole"}]}codebuildを追加する
- 19.Permission Policy追加{"Version": "2012-10-17","Statement":[{"Effect": "Allow","Action": ["codebuild:DeleteProject","codebuild:CreateProject","codebuild:BatchGetBuilds","codebuild:StartBuild"],"Resource":"arn:aws:codebuild:*:*:project/sagemaker-studio*"},{"Effect": "Allow","Action": "logs:CreateLogStream","Resource": "arn:aws:logs:*:*:log-group:/aws/codebuild/sagemaker-studio*"},{"Effect": "Allow","Action": ["logs:GetLogEvents","logs:PutLogEvents"],"Resource": "arn:aws:logs:*:*:log-group:/aws/codebuild/sagemaker-studio*:log-stream:*"},{"Effect": "Allow","Action": "logs:CreateLogGroup","Resource": "*"},{"Effect": "Allow","Action": ["ecr:CreateRepository","ecr:BatchGetImage","ecr:CompleteLayerUpload","ecr:DescribeImages","ecr:DescribeRepositories","ecr:UploadLayerPart","ecr:ListImages","ecr:InitiateLayerUpload","ecr:BatchCheckLayerAvailability","ecr:PutImage"],"Resource": "arn:aws:ecr:*:*:repository/sagemaker-studio*"},{"Effect": "Allow","Action": "ecr:GetAuthorizationToken","Resource": "*"},{"Effect": "Allow","Action": ["s3:GetObject","s3:DeleteObject","s3:PutObject"],"Resource": "arn:aws:s3:::sagemaker-*/*"},{"Effect": "Allow","Action": ["s3:CreateBucket"],"Resource": "arn:aws:s3:::sagemaker*"},{"Effect": "Allow","Action": ["iam:GetRole","iam:ListRoles"],"Resource": "*"},{"Effect": "Allow","Action": "iam:PassRole","Resource": "arn:aws:iam::*:role/*","Condition": {"StringLikeIfExists": {"iam:PassedToService": "codebuild.amazonaws.com"}}}]}codebuildやecrやS3などの権限を追加する
- 20.
- 21.デモ● SageMaker上でのイメージのビルドとカスタムコンテナを使った学習の実行● コード○全体: https://github.com/knishioka/machine-learning-workshop/tree/main/sagemaker/custom_container_with_sagemaker-training-toolkit○ 実行用notebook: https://github.com/knishioka/machine-learning-workshop/blob/main/sagemaker/custom_container_with_sagemaker-training-toolkit/training_with_custom_container.ipynb
Editor's Notes
- #3 こちらが私のプロフィールとなります。機械学習には、大学時代の研究から携わっており、自分で立ち上げたスタートアップでも機械学習を使ったサービスを提供していました。プロダクト開発チームやデータサイエンスチームの立ち上げなどもやっています。
- #6 ここでは、SageMakerでどのように学習をしていくかを説明。SageMakerではECRやS3を使って学習を進めていく。 ECRは学習や推論に使うイメージの取得に使われ、S3は学習データなどの入力データや学習済みモデルなどの出力に使う。fitでは学習済みモデルがS3に保存されるが、これだけだとSageMakerで学習済みモデルを使えないので、create_modelをすることにより、学習済みモデルを作る。あとは細かい話として、エンドポイントを作ることで外部から推論を実行できるようになる。
- #7 こちらは、先程のフローをもう少し簡略化したもの。 青い丸が解析者がやるアクション。重要な点はfitとcreate_modelがそれぞれ学習と推論のためのアクションであり、それらに対してコンテナが必要となること。つまり、学習で独自のコンテナを使うということは、fitで使うコンテナを自分で作るということになる。
- #8 カスタムコンテナの作り方は3種類。1, 2, 3の順番で難易度が高くなる。まず一つ目がAWSがすでに提供しているコンテナイメージを拡張する方法。独自ライブラリを使いたい場合などはこちらで対応。2つめがSageMaker Training Toolkitを使ったもの。こちらは自分で好きなベースイメージを選ぶことができる。3つめがスクラッチで作っていくもの。こちらはTraining Jobが外部とどのようにデータをやり取りしているか知る必要があり難しい。
- #10 sagemaker-training-toolkitの使い方は非常にシンプル。自分の好きなベースイメージを使ったDockerfileの中で3つの操作を指定するだけ。まず一つ目が、sagemaker-trainingのライブラリをインストールします。こちらはpipを使えばすぐにインストールできます。次に学習用の独自スクリプトを/opt/ml/code/train.pyに配置します。そして、環境変数SAGEMAKER_PROGRAMにtrain.pyを指定します。train.pyの実装は必要ですが、コンテナイメージ自体はこんなにシンプルに作ることができるようになっています。
- #11 では、学習用スクリプトはどんなものかを紹介。こちらは、学習と推論両方に対応するために作ったスクリプトで、大きく分けて2つのパートに別れている。一つがname==mainとなっている部分。ここが学習データを読み込み、学習をし、学習済みモデルを保存する部分。学習モデルの保存場所は決まっていて、/opt/ml/modelに保存する。もう一つが推論のためのモデルの読み込みで、model_fn関数で定義されている。こちらは先程の/opt/ml/modelからモデルを読み込む。/opt/ml/modelは環境変数でSM_MODEL_DIRで呼び出すこともできる。
- #12 コンテナ内の構造をもう少し説明。
- #13 CHANNELがどのように作成されるか理解しておくことも重要。fitのときにどのように与えるかでCHANNELは変わる。training, validation, testingで与えた場合は、/opt/ml/input/data以下にそれぞれのデータが配置される。そして、環境変数SM_CHANNEL_でそれぞれのパスを取得できるようになる。
- #14 最後にSageMakerがトレーニングのときに行うことを紹介。
- #15 sagemaker-training-toolkitの使い方は紹介済み。sagemaker上でのイメージのbuildについて説明。
- #16 イメージはbuild下だけでは使えないので、ecrにプッシュする必要がある。イメージを作ってecrにログインして、ecrにレポジトリを作って、そこにpushするという作業が必要。何回も修正するたびに作り直すのもめんどくさい。
- #17 sagemaker上ではsm-dockerを使えば、面倒くさい作業を一気にやることができます。sm-dockerでbuildをすると、dockerfile, コード、buildspec.ymlなどをs3へアップロードし、codebuildでイメージをbuildし、ecrへのイメージのアップロードまでしてくれます。
- #18 sm-docker自体のインストールはpip installをするだけなので簡単なのですが、実際に実行するためにはSageMakerに紐付いている実行ロールに信頼ポリシーと権限を追加する必要があります。ここが少しハードルが高い部分。IAMをいじらないといけない。ただ、この設定をしてしまえば、sm-docker buildとするだけで、簡単にイメージの作成とプッシュまで行ってくれる。
- #19 詳細はあとから見てほしいが、trust policyとpermission policyを少し紹介。trust policyに関しては、codebuildのものを追加するだけ。
- #20 permisson policyはもはや文字が小さくて見えないと思うが、codebuildやecr, s3などの権限を追加。policyさえ作ってしまえばいいし、サンプルとなるポリシーも公開されているので、IAMに慣れている人であれば、設定はそこまで大変ではない。
- #21 最後にカスタムコンテナを使った実行のためのコードを紹介。こちらは非常に簡単で、image_uriに先程作ったECRのURIを指定するだけ。
- #22 最後に簡単にデモ。