dig ファイルの記述方法#
以下の記述例を元に解説を進めていく。ただ、dig ファイルにおいては Unification WF 実行のためのオプションを設定するだけのものなので、この記述例をテンプレートとして使っても良いかもしれない。
+call_unification:
http_call>: https://api-cdp.treasuredata.com/unifications/workflow_call
headers:
- authorization: ${secret:td.apikey}
method: POST
retry: true
content_format: json
content:
run_canonical_ids: true
run_enrichments: true
run_master_tables: true
full_refresh: true
keep_debug_tables: true
unification:
!include : unification_ex1.yml
http_call>:#
このオペレータによって Unification WF を呼び出して実行する形となる。リージョンごとにエンドポイントが異なるため、自身のアカウントのリージョンを確認しよう。
Region |
URL |
---|---|
US region |
https://api-cdp.treasuredata.com/unifications/workflow_call |
EU01 Region |
https://api-cdp.eu01.treasuredata.com/unifications/workflow_call |
Tokyo Region |
https://api-cdp.treasuredata.co.jp/unifications/workflow_call |
Korea |
https://api-cdp.ap02.treasuredata.com/unifications/workflow_call |
headers:#
Secret に設定された td.apikey
(アカウントの Master API Key)を使って認証するが、ID Unification WF では、自動的に td.apikey
が生成されるのこので Secret Key の設定の必要はない。
Warning
td.apikey の名の Secret をあえて設定する場合(本来は設定する必要はない)には、通常の API Key の値とは異なるフォーマットで設定する必要がある。つまり通常の値を td.apikey に設定してしまうと、認証に失敗すので注意が必要である。
シークレットの値は、API Key の値の前に「TD1 」(TD1 の横に半角スペース) を加えたものになる。 (例:TD1 24/939***
)
content:#
この下に ID Unification WF の実行オプション設定と、include する yml ファイルを指定する。 各種オプション設定については以下の表を参照のこと。
Option Name |
Required? |
default value |
Description |
---|---|---|---|
|
Optional |
false |
中間生成テーブルを保持したくない場合は false に設定する。本ドキュメントでは、中間生成テーブルについても解説しているので true に設定している。 |
|
Optional |
true |
もし false にした場合は、 canonical_id の生成プロセスを実行しない。 |
|
Optional |
true |
もし false にした場合は、canonical_id をソーステーブルにエンリッチするプロセスを実行しない。 |
|
Optional |
true |
もし false にした場合は、 master_table の生成プロセスを実行しない。 |
|
Optional |
true |
true にした場合は毎回の Unification の実行が全データを用いたものになるのに対して、false にすると incremental_update が行われる。ただし、incremental_update においても3日に1回は full_refresh となる。 |
基本的に、run_*
のオプションはマスターセグメントの作成には必須なので true としておく。keep_debug_tables:
はプロダクションフェーズに移行しない限り true にしておくことをお勧めする。full_refresh
は incremental_update に関係する部分であり、別章で解説するが、 incremental_update を行いたい場合のみ false に設定する。