WF Tasks と アウトプットテーブルの関係

WF Tasks と アウトプットテーブルの関係#

WF の中で代表的なタスクを以下にまとめた。

タスク名

アウトプットテーブル

概要

+extract_and_merge

graph_unify_loop_0

Unification Algorithm のための初期 graph を生成。

+source_key_stats

source_key_stats

ソーステーブルに基づく統計情報を出力。

+loop-N > +iteration

graph_unify_loop_N

ループごとの graph 生成。

+loop-N > +report_diff

なし (Log 出力)

前ループとの graph の変化数を出力。0 ならば収束を意味する。

+canonicalize

lookup

canonical_id を生成し、全ての key に付与したテーブルを出力。

+result_key_stats

result_key_stats

canonical_id 生成に関する統計情報を出力。

+enrich

enriched_*

canonical_id をソーステーブルにエンリッチする。

+master_tables > +build

master_table

master_table を生成。