Transcript

1. AutoGluon Tabular モデル入門 自動機械学習で表形式データをマスターする 初心者向け解説と主要モデルの徹底解剖 1

2. 1. AutoGluon TabularPredictor の概要 AutoGluon とは？ Amazonが開発したオープンソースの自動機械学習（AutoML)ライブラリ。 最小限のコードで、多様なタスクに対し高い性能を発揮。 TabularPredictor とは？

   AutoGluonの主要コンポーネント。 表形式データ（行と列からなるデータ）の予測に特化。 分類問題（例：顧客の解約予測）と回帰問題（例：不動産価格予測）の両方に対応。 2

3. TabularPredictor の強力な自動化機能 ユーザーは生データを渡すだけ！ データ前処理の自動化: 欠損値の補完、カテゴリ特徴量のエンコーディング、スケーリングなどを自動実行。 問題タイプの自動判別: ターゲット列から、二値分類、多クラス分類、回帰を自動で判断し、適切な評価指標を選択。 モデル選択とチューニングの自動化: 様々なモデルとハイパーパラメータを自動で探索・学習。 アンサンブル学習の自動適用:

   複数のモデルを賢く組み合わせ、単一モデルを超える高精度と堅牢性を実現。 3

4. 「ブラックボックス」ではない！透明性の確保 AutoMLは便利ですが、なぜその予測になったのか理解することも重要です。 predictor.leaderboard() : 学習した全モデルの性能をランキング形式で確認。どのモデルが優れていたかが一目瞭然。 predictor.feature_importance() : どの特徴量（列）が予測に最も貢献したかを数値化。データへの理解が深まる。 predictor.model_best :

   最も性能が高かったモデル（通常はアンサンブル）の名前を確認。 これらの機能により、自動化の恩恵を受けつつ、モデルの振る舞いを理解し、信頼性を高めることができま す。 4

5. TabularPredictor の基本的な使い方 たった数行のコードで、複雑な機械学習パイプラインを実行できます。 1. ライブラリのインポートとデータの準備 from autogluon.tabular import TabularDataset, TabularPredictor

   train_data = TabularDataset('https://autogluon.s3.amazonaws.com/datasets/Inc/train.csv') test_data = TabularDataset('https://autogluon.s3.amazonaws.com/datasets/Inc/test.csv') 2. 学習の実行 predictor = TabularPredictor(label='class').fit(train_data) 3. 予測の実行 predictions = predictor.predict(test_data) 4. 性能評価とリーダーボードの表示 predictor.evaluate(test_data) predictor.leaderboard(test_data) 5

6. モデルキー アルゴリズム名 概要 (TabularPredictor における役割) GBM LightGBM 高速・高効率な勾配ブースティングツリー。高い精度を発揮。 CAT CatBoost

   カテゴリ特徴量の扱いに特化した勾配ブースティングツリー。 XGB XGBoost 高性能でスケーラブルな勾配ブースティングツリー。Kaggleで実 績。 RF Random Forest 複数の決定木を組み合わせたアンサンブル。堅牢で安定した性能。 XT Extra Trees RFに似るが、よりランダム性を高め高速化。 NN_TORCH PyTorch NN 表形式データ向けのディープラーニングモデル。複雑なパターンを 学習。 LR Linear Model 線形回帰/ロジスティック回帰。シンプルで解釈しやすい。 KNN K-Nearest Neighbors 近いデータ点に基づいて予測。シンプルで直感的。 AG_AUTOMM AutoMM 表、テキスト、画像など複数データタイプを統合するマルチモーダ ルモデル。 6

7. 【勾配ブースティング】LightGBM (GBM) コンセプト: 弱い決定木を順次追加し、前のモデルの誤りを修正していく。 特徴: 高速な学習: ヒストグラムベースのアルゴリズムとリーフワイズ成長。 高精度: より複雑なパターンを捉える能力。 低メモリ使用量:

   大規模データセットに強い。 注意点: データが少ないと 過学習しやすい傾向。 強み: 速度と精度のバランスに優れ、多くのタスクでベースラインとして強力。 7

8. 【勾配ブースティング】CatBoost (CAT) コンセプト: 勾配ブースティングに、カテゴリ特徴量処理の革新をプラス。 特徴: カテゴリ特徴量のネイティブ処理: 事前処理なしでカテゴリ変数を扱える。 過学習の抑制: 独自の「順序付きブースティング」で堅牢性を向上。 注意点:

   メモリ使用量が多くなる場合がある。 強み: カテゴリ特徴量が多いデータセットで特に強力。データ準備の手間を大幅に削減。 8

9. 【勾配ブースティング】XGBoost (XGB) コンセプト: 勾配ブースティングの元祖的な高性能ライブラリ。 特徴: 高精度: Kaggle等のコンペで圧倒的な実績。 柔軟性と機能豊富: 正則化、欠損値の自動処理、クロスバリデーションなど。 注意点:

   他のGBMより計算コストが高い場合がある。 強み: 精度を極限まで追求したい場面で信頼性が高い選択肢。 9

10. 勾配ブースティングモデル比較 特徴/ モデル LightGBM (GBM) CatBoost (CAT) XGBoost (XGB) 成長戦略

    リーフワイズ (高速) 対称ツリー レベルワイズ カテゴリ特徴量 要エンコーディング ネイティブ処理 要エンコーディング 速度 最も高速 高速 高速 メモリ使用量 低い 高い傾向 中程度 強み 速度と効率 カテゴリデータ処理 精度と柔軟性 AutoGluon はこれらの多様な強みを組み合わせることで、単一モデルの弱点を補い、最高の性能を目指しま す。 10

11. 【ツリーアンサンブル】Random Forest (RF) & Extra Trees (XT) コンセプト: 多数の決定木を構築し、その予測を統合（多数決/平均）。 Random

    Forest (RF) : 学習: データの一部（ブートストラップサンプル）と特徴量の一部を使って木を構築。 特徴: 過学習に強く、堅牢。 Extra Trees (XT) : 学習: データ全体を使用し、分割点を ランダムに選択。 特徴: RFよりもさらにランダム性が高く、 学習が高速。 これらは、勾配ブースティングとは異なるアプローチで、アンサンブルの多様性を高める重要なモデルで す。 11

12. 【シンプルモデル】Linear Model (LR) & K-Nearest Neighbors (KNN) Linear Model (LR)

    : コンセプト: データ間に 線形（直線的）な関係を仮定して予測。 強み: シンプルで解釈しやすい。「なぜ」その予測になったか説明が容易。 弱み: 複雑な非線形パターンは捉えられない。 K-Nearest Neighbors (KNN) : コンセプト: 「似たもの同士は近くにいる」。新しいデータに最も近いK個のデータで予測。 強み: 直感的で実装が容易。 弱み: 大規模データや高次元データでは計算コストが非常に高い。 12

13. 【ニューラルネットワークモデル】 (NN_TORCH, etc.) コンセプト: 多層のニューラルネットワークで、入力データから複雑なパターンを学習。 特徴: 複雑な非線形関係の学習に優れる。 特徴量エンジニアリングの必要性を減らす。 表・テキスト・画像など 複数データタイプを統合可能（マルチモーダル）。

    注意点: 多くの計算リソース（特にGPU）とデータを必要とする。 過学習しやすい傾向。 AutoGluon は、TabNet のような表形式データに特化した先進的なNN アーキテクチャも活用します。 13

14. 3. AutoGluon Tabular のアンサンブル学習 AutoGluon の高精度の秘密は、賢い「アンサンブル学習」にあります。 アンサンブル学習とは？ 複数の異なるモデルの予測を組み合わせることで、単一モデルの弱点を補い、より高精度で堅牢な 予測を生み出す手法。 AutoGluon

    の戦略: 異なる特性を持つモデル（GBM, RF, NNなど）を自動で学習。 これらを バギング、 スタッキングといった高度な手法で組み合わせ、最終的な予測モデルを構築。 14

15. アンサンブル手法の概要 バギング (Bagging) 手法: データを少しずつ変えながら同じモデルを複数学習させ、予測を平均化。 効果: モデルの安定性を高め、 過学習を抑制する。 スタッキング (Stacking)

    手法: あるモデル群の予測を、さらに別の**「メタモデル」**の入力として利用する。 効果: モデルの「間違い方」を学習し、予測精度をさらに向上させる。 重み付きアンサンブル (Weighted Ensemble) 手法: 性能の良いモデルの予測に大きな「重み」を付けて線形結合。 効果: 各モデルの強みを最大限に引き出す最適な組み合わせを発見。 AutoGluon は、デフォルトでこれらの手法を駆使した加重アンサンブルモデルを最終的な勝者として選択し ます。 15

16. 4. まとめと次のステップ AutoGluon Tabular の利点: 完全自動化: データ前処理からアンサンブルまで、複雑なプロセスを自動実行。 高精度: 多様なSOTAモデルと高度なアンサンブル手法で最高性能を追求。 使いやすさ:

    最小限のコードで誰でも強力なモデルを構築可能。 透明性: leaderboard や feature_importance でモデルの内部を理解できる。 学習のヒント: 公式ドキュメントで詳細なチュートリアルを試す。 fit() の presets 引数で学習時間と精度のトレードオフを体験する。 leaderboard() でモデルの性能を比較し、AutoGluonの動きを理解する。 feature_importance() でデータへの洞察を深める。 AutoGluon は、機械学習の民主化を推進しつつ、専門家がより効率的に作業するための強力なツールです。 16

17. AutoGluon TabularPredictor の評価指標 初学者向け解説 17

18. I. はじめに AutoGluon TabularPredictor とは？ Amazonが開発したAutoMLライブラリ。 最小限のコードで、 表形式データの分類・回帰モデルを自動構築。 データ前処理、モデル選択、チューニング、アンサンブルまでを自動化。 評価指標の重要性

    モデルの性能を 客観的に測定し、比較するための不可欠なツール。 ビジネス目標に合ったモデルを選択し、データに基づいた意思決定を支援。 18

19. II. AutoGluon における評価指標の基本 問題タイプとデフォルト指標 AutoGluonは、データから問題タイプを 自動で推論し、適切なデフォルト評価指標を選択します。 問題タイプ (Problem Type) デフォルト評価指標

    (Default Eval Metric) 二値分類 (Binary) Accuracy (正解率) 多クラス分類 (Multiclass) Accuracy (正解率) 回帰 (Regression) Root Mean Squared Error (RMSE) 分位数 (Quantile) Pinball Loss (ピンボール損失) 19

20. 原則：「値が大きいほど良い」 AutoGluonの評価指標には、一つだけ重要なルールがあります。 すべてのメトリクスは「値が大きいほど良い」形式で報告される。 誤差メトリクス (RMSE, MAE など) の場合: 本来は値が 小さいほど良い。

    AutoGluonでは内部で -1 を乗算して報告。 結果は負の値となり、**0に近い（絶対値が小さい）**ほど良い予測。 例: モデルA: RMSE = -10.5 モデルB: RMSE = -20.0 -10.5 > -20.0 なので、AutoGluonは モデルAを優れた予測と判断する。 この統一ルールにより、ユーザーは常に「数値が高いものを選ぶ」だけで最適なモデルを選択できる。 20

21. III. 分類問題の評価指標 21

22. Accuracy ( 正解率) & Balanced Accuracy Accuracy ( 正解率) 定義:

    全予測のうち、正しく予測できた割合。 強み: 最も直感的で理解しやすい。 弱み: 不均衡データに弱い。 例: 99%が「陰性」のデータでは、常に「陰性」と予測するだけで99%の正解率が出てしまい、 モデルの真の性能を測れない。 Balanced Accuracy ( バランス正解率) 定義: 各クラスの再現率（Recall: TP rate）の平均。 強み: 不均衡データに強い。少数派クラスの性能も公平に評価できる。 22

23. F1 Score & ROC AUC F1 Score (F1 スコア) 定義:

    適合率(Precision) と再現率(Recall)の調和平均。両者のバランスを取る指 標。 強み: 不均衡データに強く、誤検出と見逃しの両方を考慮したい場合に有効。 平均化: 多クラス分類では、 macro （全クラス平等）、 weighted （サンプル数で重み付け）などの平均 化方法がある。 ROC AUC 定義: ROC曲線（閾値を1=>0のときの真陽性率 TP rate vs 偽陽性率 FP rate）の下の面積。 強み: 閾値に依存しないモデルの分離性能を評価できる。モデル間の公平な比較に優れる。 23

24. Precision ( 適合率) & Recall ( 再現率) 適合率と再現率はトレードオフの関係にあります。 Precision (

    適合率) 定義: 「陽性」と予測したうち、本当に陽性だった割合。 重視: 誤検出を避けたい場合。（例：スパムメール判定） Recall ( 再現率) 定義: 実際の「陽性」のうち、正しく陽性と予測できた割合。 重視: 見逃しを避けたい場合。（例：病気の診断） ビジネス要件に応じて、どちらを優先するかが重要です。 24

25. IV. 回帰問題の評価指標 25

26. RMSE vs MAE RMSE (Root Mean Squared Error - 二乗平均平方根誤差)

    定義: 誤差の 二乗の平均の平方根。 特徴: 大きな誤差を強く罰する。外れ値に敏感。 単位: 元のデータと同じ単位で解釈しやすい。 MAE (Mean Absolute Error - 平均絶対誤差) 定義: 誤差の 絶対値の平均。 特徴: 全ての誤差を均等に扱う。 外れ値に強い（頑健）。 大きなミスが致命的ならRMSE 、外れ値の影響を抑えたいならMAE が適しています。 26

27. MAPE & SMAPE ：パーセンテージ誤差 MAPE (Mean Absolute Percentage Error) 定義:

    誤差をパーセンテージで評価。 強み: スケールが異なるデータ間の比較が容易。 弱み: ゼロ値問題: 実際の値が0だと計算不能。 バイアス: 過大予測に大きなペナルティ。 SMAPE (Symmetric Mean Absolute Percentage Error) 定義: MAPEの欠点を改善。 特徴: ゼロ値問題を緩和し、過大/過小予測のペナルティがより対称的。 27

28. R-squared & スケールフリー指標 R-squared ( 決定係数) 定義: モデルがデータの変動を どれだけ説明できているかを示す（0～1）。 解釈:

    1に近いほど、モデルがデータによく適合している。 スケールフリー指標 ( RMSSE , MASE ) 定義: 誤差を ナイーブ予測の誤差で割り算（スケール）する。 解釈: 値 < 1 なら、モデルは単純なベースラインより優れている。 強み: スケールが異なるデータセット間で公平な比較が可能。 28

29. V. 分位数予測の評価指標 29

30. Pinball Loss ( ピンボール損失) コンセプト: 分位数予測の精度を評価するための主要な指標。 定義: 予測が実際の値よりも低いか高いかで、 非対称なペナルティを課す。 これにより、特定の分位数（例：90%の確率で需要がこの値を下回る）を予測するようにモデルを

    誘導する。 用途: 在庫管理における 品切れ/ 過剰在庫リスクの評価。 需要予測における 不確実性の定量化。 AutoGluon が分位数予測とピンボール損失をサポートすることは、ビジネス上のリスク管理まで見据えてい ることを示しています。 30

31. VI. まとめと推奨事項 指標選択のポイント 適切な指標選択は、ビジネス目標とデータ特性の理解から始まります。 1. ビジネス目標を明確に 何を避けたいか？ 誤検出（→Precision）、見逃し（→Recall）、大きな誤差（→RMSE）、在庫切 れ（→Pinball Loss）？

    ビジネス上のコストが最も高いエラーは何かを考える。 2. データ特性を考慮 不均衡データか？ → Accuracy は避け、 Balanced Accuracy , F1 , ROC AUC を検討。 外れ値は多いか？ → RMSE より MAE を検討。 ゼロ値はあるか？ → MAPE は避け、 SMAPE , WAPE を検討。 スケールは異なるか？ → MASE , RMSSE などのスケールフリー指標を検討。 eval_metric を明示的に指定し、AutoGluon をあなたのビジネス目標に沿って最適化させましょう。 31