AIプラットフォームにおけるMLflowの利用について

LINEヤフーTech (LY Corporation Tech)PRO

December 15, 2025

Tweet Share

Transcript

1. © LY Corporation Public AIプラットフォームにおける MLflowの利用について LINEヤフー DATA&AI CBU AI

   CBU 湯原 基貴

2. © LY Corporation Public 湯原 基貴 LINEヤフー DATA&AI CBU AI

   CBU AIPFユニット 〜2022.02 通信会社、SIerのR&Dチーム • プライベートIaaS基盤の開発 • 分散機械学習ライブラリの開発 • 機械学習（深層学習）を利用したPoC • 機械学習基盤の研究 2022.03〜 LINEヤフーに中途入社 AIプラットフォームの開発、運用 • MLflow • ACP を担当

3. © LY Corporation 3 AIプラットフォーム（AIPF） Public Google Cloud「MLOps: ML における継続的デリバリーと自動化のパイプライン」より引用

4. © LY Corporation 4 AIプラットフォーム（AIPF） Public Google Cloud「MLOps: ML における継続的デリバリーと自動化のパイプライン」より引用

   • MLOpsを支える内製ツール、OSSを全 社向けに提供 • 約100サービス/プロダクトが利用 • オンプレミス環境のマルチテナント Kubernetes環境（ACP)上に構築

5. © LY Corporation Public • 学習の観点 • ML/DLモデル学習結果の記録 • パラメータ

   • メトリクス • モデル（artifact） • グラフ • （最近）LLMに対する実験結果の記録 • Trace • Evaluation（LLM as a Judgeなど） • 推論の観点 • デプロイするモデルの保存場所 5 AIPFにおけるMLflowの役割

6. © LY Corporation Public • サービス（チーム）ごとにMLflowサーバが欲しいという要望 • リソースの効率的な利用のためにマネージドサービスとして提供 マネージドなMLflowの提供 ユーザー

   Dragon（オブジェクトストレージ） ACP 学習Pod MySQL（プライベートDBaaS） アーティファクトを格納 メタ情報を格納 MLflow Pod Ingress Service サービス MLflow MLflow Pod

7. © LY Corporation Public • MLflowへのアクセス（モデルやデータへのアクセス）は制限したい • モデル学習はACPのPod上で実施 • ユーザだけでなく、プログラム（サービス）からMLflow（API）にアクセスする

   • サービス間の認証認可フローを考慮する必要がある 7 サービス間の認証認可フロー ユーザー ACP 学習用Pod サービス 認証 認可 MLflow

8. © LY Corporation Public • ユーザだけではなく、サービス（プログラム）からのアクセスも制御できること • ロールベースのアクセス制御（RBAC）が可能なこと • MLflow本体には独自の機能を追加せずに認証認可が実現できること

   • 定期的なアップデートを容易にするため 8 AIPF MLflowにおける認証認可の要件

9. © LY Corporation Public • OAuth2.0にはサービス間の認証認可フローとしてClient Credentials Grant Flowが定義されている •

   ユーザの介在なしにサービスが自分自身を認証してAccessTokenを取得し、保護されたAPIにアクセ スするためのフロー 9 Client Credentials Grant Flow

10. © LY Corporation Public • MLflowにおけるサービス間認証認可フローを Client Credentials Grant Flow

    に基づいて実現する • サービス（プログラム）に必要な機能 • Authorization Serverとの認証 • Access Tokenの取得 • MLflow（=Resource Server）に必要な機能 • Access Tokenの検証 • 認可チェック 10 Client Credentials Grant Flow

11. © LY Corporation Public • LINEヤフーでAthenzによる認証認可プラットフォームが社内で提供されている • Athenz • OAuth2.0に準拠したサービス間認証、RBACをサポートするOSS

    • 米国のYahoo Inc. とLINEヤフーが協力して開発に貢献 • CNCF（Cloud Native Computing Foundation）のSandboxプロジェクト • AthenzはClient Credentials Grant Flowをサポートしている • MLflow（とACP）においてもAthenzを利用してサービス間の認証認可フローを実現している 11 AthenzによるClient Credentials Grant Flowの実現

12. © LY Corporation Public • AthenzにはSPIFFEの仕様に基づいて、サービスを証明するためのX509証明書形式のClient Certを発行す る機能（Athenz Copper Argos）がある

    • SPIFFE: Secure Production Identity Framework For Everyone • 分散システムにおける安全なID管理のためのオープン標準仕様 • Client CertによりAuthorization ServerとmTLS通信することで自身が正当なサービスであることを証明 できる • ACPではPodのデプロイ時にAthenz Copper Argosを利用してmTLS認証を行い、AccessTokenを取得す る機能を実装している • Kubernetesのwebhookを用いて自動的に認証、AccessToken取得用のcontainerを追加 • Podが起動したときにはAccess Tokenが配置されている • Pod上で起動するサービス（例:モデル学習プログラム）はAccess Tokenの取得を意識することなく 利用できる 12 AIPF MLflowにおけるサービス間の認証認可の実現方法 サービスの認証とAccess Tokenの取得 参考資料: Athenz & Spire によるアクセス制御

13. © LY Corporation Public • MLflowサーバに対してResource Serverの 機能を追加する必要がある • Athenzのプロダクトの1つである

    Authorization Proxyを利用 • Kubernetesのサイドカーとして動く リバースプロキシ。Access Tokenの 検証や認可チェック 13 AIPF MLflowにおけるサービス間の認証認可の実現方法 MLflowにおけるAccess Tokenの検証、認可チェック

14. © LY Corporation Public 14 AIPF MLflowにおけるサービス間の認証認可の実現方法 • APIリクエスト時は AuthorizationヘッダにAccess

    Tokenを設定 • MLflowのPythonライブラリを 使用するときは、環境変数 MLFLOW_TRACKING_TOKEN にAccess Tokenを設定

15. © LY Corporation Public • マネージドなMLflowサーバを提供するために認証認可が必要 • ユーザだけではなく、サービス（プログラム）に対しても認証認可を行う必要がある • OAuth2.0で定義されたサービス間の認証認可フロー（Client

    Credentials Grant Flow）の実現 • Athenzによる認証認可プラットフォームと連携して実現 • ACPとも連携し、Access Tokenの取得を意識せずに利用（MLflowのAPIにアクセス）できるようにして いる 15 まとめ

16. © LY Corporation Public • MLflowのprometheus-exporterからのメトリクスの取得 • HTTPステータス、処理時間 • エラー監視、パフォーマンス監視に利用

    • Ingressからアクセスログを取得 • MLflow API（パス）の取得、集計 • 週次、月次のMLflowの利用状況の分析に利用 MLflowの利用状況の取得 16 Supplement: AIPF MLflowの利用状況

17. © LY Corporation Public • 約40サービスに対してMLflowを提 供 • 増減はありつつも2024年4月からお よそ4倍に増加

    17 1日の平均アクセス数

18. © LY Corporation Public • 新規Runやモデル参照数は増加 • 新規Model数はほぼ一定 • 単純に自サービスのモデル学習結果

    を記録する以外の利用方法も増えて いる • 日次のモデル評価を記録 • AutoML的なプロダクトの backendとして利用 18 新規Run、新規モデル、モデル参照数（1日あたりの平均アクセス数）

19. © LY Corporation Public