Track ML Experiments#
Contents
ML Experiment Tracking とは、機械学習の実験(試行錯誤)の結果を整理、記録、分析するプロセスである。ここでは、ML実験のトラッキングを可能にするワークフローの作成方法を説明していく。
ベストプラクティスとして、エンドツーエンドのデータ処理ワークフローの一部として、+gluon_train
タスクに続いて +track_experiment
タスクを使用して、各ML実験を追跡する必要があります。+track_experiment
タスクは、SQLクエリを発行して、ML実験の情報とモデル名を automl_experiments
というTDテーブルに記録する。
アウトプット#
ML Experiment Tracking を実行すると automl_experiments
テーブルに以下のようなアウトプットが得られる。
column_name |
value1 |
value2 |
---|---|---|
task_attempt_id |
949499778 |
949448574 |
session_time |
2023-09-07 6:12:18 |
2023-09-07 4:42:16 |
user_id |
64645 |
64645 |
user_email |
training-user+16500083370@treasure-data.com |
training-user+16500083370@treasure-data.com |
model_name |
gluon_model_181997246 |
gluon_model_181985311 |
shared_model |
6943ffe0-2dc0-4b6c-972e-d0b44a74d864 |
7c28dee6-9bc7-48df-bba1-0bb697ef340d |
notebook_url |
https://console.treasuredata.com/app/workflows/automl/notebook/c8c8d5ce2ddc4b458b1e17c30d690c26 |
https://console.treasuredata.com/app/workflows/automl/notebook/84092de3b0d949a7be2b84b0851c5f20 |
trained_table |
ml_datasets.telco_churn_train |
ml_datasets.telco_churn_train |
target_column |
churn |
churn |
eval_metric |
roc_auc |
roc_auc |
time |
1694067138 |
1694061736 |
学習の実行毎にこの Experiment Tracking を実行してレコードを追加していくことで、学習モデルの管理を行うことができる。