incremental_update が行われたかどうかの確認方法

3日に1回は full_refresh が入り、それ以外で incremental_update が行われることになる。 スケジュール実行した2日目または3日目に、WFの直近の Session (履歴) を以下の方法で確認し、incremental_update の処理になっている Session を見つけよう。

方法1. +extract_and_merge タスクをチェック。

drop table if exists "unified_cookie_id_graph_unify_loop_0";
create table "unified_cookie_id_graph_unify_loop_0" with (bucketed_on = array['follower_id'], bucket_count = 512) as
-- incremental extraction and merge to the previous graph
select
  coalesce(prev.follower_id, next.follower_id) as follower_id,
  coalesce(prev.follower_ns, next.follower_ns) as follower_ns,

select が始まる行のちょうど上のコメントが、

-- incremental extraction and merge to the previous graph

となっていれば、このの WF のセッションで incremental_update が行われたものになっている。ちなみに、full_refresh の場合は、

-- full extraction

のコメントとなる。

方法2. +source_key_stats タスクが実行されているものは full_refresh である。

Fig. 50 ID Unification の WF Task

WF Session の TIMELINE または TASKS にて、+source_key_stats: タスクが実行されているものは、full_refresh となり、実行されていないものは incremental_update となる。

incremental_update が実行された日に、レコードを追記する SQL にて新しくレコードを追加し、再度 WF を RUN することで、incremental_update の新規追加分のレコードに対する処理を確認することができる。