Track ML Experiments#

ML Experiment Tracking とは、機械学習の実験(試行錯誤)の結果を整理、記録、分析するプロセスである。ここでは、ML実験のトラッキングを可能にするワークフローの作成方法を説明していく。

ベストプラクティスとして、エンドツーエンドのデータ処理ワークフローの一部として、+gluon_train タスクに続いて +track_experiment タスクを使用して、各ML実験を追跡する必要があります。+track_experiment タスクは、SQLクエリを発行して、ML実験の情報とモデル名を automl_experiments というTDテーブルに記録する。

アウトプット#

ML Experiment Tracking を実行すると automl_experiments テーブルに以下のようなアウトプットが得られる。

column_name

value1

value2

task_attempt_id

949499778

949448574

session_time

2023-09-07 6:12:18

2023-09-07 4:42:16

user_id

64645

64645

user_email

training-user+16500083370@treasure-data.com

training-user+16500083370@treasure-data.com

model_name

gluon_model_181997246

gluon_model_181985311

shared_model

6943ffe0-2dc0-4b6c-972e-d0b44a74d864

7c28dee6-9bc7-48df-bba1-0bb697ef340d

notebook_url

https://console.treasuredata.com/app/workflows/automl/notebook/c8c8d5ce2ddc4b458b1e17c30d690c26

https://console.treasuredata.com/app/workflows/automl/notebook/84092de3b0d949a7be2b84b0851c5f20

trained_table

ml_datasets.telco_churn_train

ml_datasets.telco_churn_train

target_column

churn

churn

eval_metric

roc_auc

roc_auc

time

1694067138

1694061736

学習の実行毎にこの Experiment Tracking を実行してレコードを追加していくことで、学習モデルの管理を行うことができる。