TD AutoML のリソース

TD AutoML はプランによってさまざまなリソースが決まっている。

	Tier1	Tier2	Tier3
位置付け	Basic	Standard	Advanced
Notebook	以下の Basic Notebook が標準バンドルされる: 「AutoGluon」「ml_datasets」	Tie1 と同じ	Tie1 と同じ
最大タスクメモリ	256GB	384GB	512GB
Unit Hours/month	500	1000	2000
同時実行数	4 tasks	8 tasks	16 tasks
利用ユーザー数	5	10	制限なし

バンドルされる Notebook

Notebook には Basic Notebook と Solution Notebook の2種類が存在する。TD AutoML のプランに含まれるのは Basic Notebook である。

Basic Notebook

• AutoGluon

• ml_datasets

Solution Notebook

Basic Notebook 以外の Notebook

同時実行数

同時に実行できる TD AutoML タスクの数の上限。TD AutoML 以外の WF や Custom Scripts などの同時実行タスクとは独立しており、それらの影響を受けない。

利用ユーザー数

TD AutoML では、実行ユーザーが厳密に定められており、アカウント内の誰もが実行できるわけではない。TD AutoML の契約時にメールアドレスでユーザー登録を行うことになるが、メーリングリストなどの共有メールアドレスは設定不可。

最大タスクメモリ

1つの TD AutoML タスクに割り当てるメモリの最大値。Tier1 であれば1つのタスクに最大 256GB まで指定することができる。（同時に実行するタスクがあっても、それぞれのタスクに最大タスクメモリまで設定することができる）

タスクユニット

TD AutoML では、メモリはタスクユニットと呼ばれる単位で指定できることになる。以下のタスクユニットが用意されている。

Task Unit	メモリ容量	備考
1	64GB
2	128GB	デフォルト設定値
4	256GB	Tier1 の上限
6	384GB	Tier2 の上限
8	512GM	Tier3 の上限

Task Unit の数字は、後述の Unit Hours の計算に関係してくる。

WF 内では、docker: > task_mem オプションにてタスクユニットを設定する。

+gluon_train:
  ml_train>:
    docker:
      task_mem: 128g # 64g/128g/256g/384g/512g
    notebook: gluon_train
    ...

Unit Hours/month

月間の Unit Hours の上限。

Important

ソフトリミットであり、指定された Unit Hours を超過するとすぐに実行不可能の状態となるわけではないが、すぐに対応（追加の Unit Hours を購入、または今月に使用を止め、次月以降二度と超過しないようにする）する必要がある。

Note

Unit Hours は余った分を翌月への繰越はできないことに注意。

Unit Hours について

Note

Unit Hour = （実行時間）*（タスクユニット数）

Unit Hour は実行したタスクごとに計算され、Unit Hours は同月中に実行したタスクの Unit Hour のトータルである。

前述のタスクユニットは、64GBを1ユニットとして、128GBなら2ユニット、512GBなら8ユニットと計算される。例えば月間で以下の利用なら 10+10+40=60 Unit Hours となる。

• Task Unit: 1（64GB） での実行を 10 時間 → 1 task unit * 10 hour = 10 unit hour

• Task Unit: 2（128GB） での実行を 5 時間 → 2 task unit * 5 hour = 10 unit hour

• Task Unit: 4（256GB） での実行を 10 時間 → 4 task unit * 10 hour = 40 unit hour

違う見方をすると、もしタスクメモリを固定で使い続ける場合、例えば Tier1（Unit Hours<500）なら月間に以下の時間分の実行が可能ということになる。

• Task Type: 1（64GB） → 500/1 = 500時間（≒20日）

• Task Type: 2（128GB） → 500/2 = 250時間（≒10日）

• Task Type: 4（256GB） → 500/4 = 125時間（≒5日）

Note

Unit Hours は前月の残りを当月にロールオーバーすることはできない。

現在の Unit Hours の確認方法

TD コンソール内の Workflow Utilization 内で、日別・月別・累積 Unit Hours の状況を把握できる。

Fig. 4 Unit Hours のダッシュボード。日別（左図）と月別（右図）の利用状況を確認できる。

時間別のチャート/テーブル

日別のチャートの特定の日をドリルダウンして、時間別のチャートとテーブルを見ることができる。

Fig. 5 チャートの特定の日のバーをクリックし、”by Finished Hour” を選択。

Fig. 6 時間別のチャート。

Fig. 7 時間別のテーブル。

月間のタスクごとの Unit Hours

月別のチャートをドリルダウンすることで、タスクごとの Unit Hours を見ることができる。

Fig. 8 月別チャートの “Detailed AutoML Unit Hours Usage with selected month” を選択。

Fig. 9 選択した月におけるタスクごとの Unit Hours。