Skip to main content

Ctrl+K

イントロダクション

ID Unification とは何か？

WFの記述方法

Unification WF を構成するファイル群
dig ファイルの記述方法
yml ファイルの記述方法

Unification Output

Output Tables
WF Tasks とアウトプットテーブルの関係

Example1

データセット
WFの例
Unification Algorithm の解説
canonical_id について
アウトプット

Persistent ID（Example1'）

persistent_id について
WFの例

Example2

データセット
WFの例
Unification Algorithm の解説
canonical_id について
アウトプット

複数のcanonical_id (Example3)

データセット
Case1. 複数の canonical_id を独立に生成する
Case2. canonical_id ごとに master_table を作成する
Case3. 複数の canonical_id をマージした canonical_id を生成する
Case4. canonical_id を master_table の attribute として設定する

do_not_merge_key (Example4)

do_not_merge_key とは？
WFの例
従来の Unification ではうまくいかないケース
Unification Algorithm の解説
do_not_merge_key を使うべきケース

incremental_update (Example5)

incremental_update とは
データセット
WFの例
incremental_update を行うための設定
incremental_update が行われたかどうかの確認方法
Unification Algorithm の解説
incremental_update の注意点

よくある誤解 / よくある失敗

よくある誤解
よくある失敗

Tips集

Tips1. graph Table を Graphviz によって可視化する方法
Tips2. Unification Algorithm の収束の判定方法
Tips3. result_key_stats のヒストグラムカラムの展開方法 (100件の例)

FAQ / Limitations

Limitations
FAQ

Workflow Samples

WF の構成
config/params.yml
queries/generate_samples_ex1.sql
queries/generate_samples_ex2.sql
queries/generate_samples_ex4.sql
queries/insert_samples_ex5.sql
test_id_unification_ex1.dig
test_id_unification_ex2.dig
test_id_unification_ex3.dig
test_id_unification_ex4.dig
test_id_unification_ex5.dig
unification_ex1.yml
unification_ex2.yml
unification_ex3.yml
unification_ex4.yml
unification_ex5.yml

FAQ

FAQ #

Contents

FAQ

順次追加していきます。

previous

Limitations

next

WF の構成

By Treasure Academy

© Copyright 2020-2023 Treasure Data.