マスタ管理システム課題管理

まかせてネット - データ基盤連携ファイルを確認したところ、ファイル時点でまかせて純売上とは異なる値が計上されておりました。
上記事象についてはJP様問い合わせ対応中となります。

JP 西脇様回答
・該当の差分は、まかせてネット→データ基盤連携時点で精算データが店舗から上がってきていない店舗で発生。
　→中途半端にデータが入っていたのは点検データを参照しているため。
　→t系データも送付なし

村上さん
上記について、精算データが揃った時点で出力いただくよう調整しようと考えておりますが、以下教えてください。

１．TECデータ系の日次連携について、連携ファイル内に過去営業日付分の売上が含まれていた場合、レポートまで該当データは正常に更新されますでしょうか？
　　→更新されない場合はどのような挙動となるかご教示ください。

２．まかせて-データ基盤データ連携の要件定義時に検討したデータ修正時連携機能について、今一度認識摺合せさせてください。

良い機会ですので、TECデータの連携動作について改めて整理しておきます。

処理の流れは以下の通りです。

1. S3（data-platform-prd-datalake-utf8/pos_tec/）へPOSファイルをアップロード
2. Lambda（data-platform-prd-invoke-glue）が起動し、Glueを呼び出し
3. Glue（glue-job-tec***-new）が起動し、１のファイルを解凍、Parquetへ変換、DWHへ保存、CSVファイルをアーカイブへ移動の各処理を行う
4. ３で生成されたParquetファイルはS3のdata-platform-prd-dwh/tec_***に保存される（上書きではなく追加、毎日0時にリセット）
5. RedshiftのScheduled Query（QS2-tec_***_partition）が４のParquetファイルに含まれているレコードをdwh.tec_***_partitionへ追記
6. RedshiftのScheduled Query（QS2-public.tec_***）が５のテーブル（dwh.tec_***_partition）の中のyear, month, dayのパーティションが今日の日付になっているレコードをpublic.tec***テーブルへ複製

ご質問の懸念点に関わるのは上記５でございます。

以前は５の処理の中で取引日を複製の対象としていたために複数の取引日付が含まれたデータだと指定日以外の取得漏れが生じておりました。しかし現在はデータの作成日で抽出（同じ処理日付なら取引日が違っても同処理される）に変更しておりますので正常に取り込まれることになります（取り込まれた時間帯がBIレポートの日次自動更新後の時間であった場合には次回の更新時にレポートへ反映されることになります）。

注意点としては、以前からそうであったように「既に取り込まれたレコードの修正値を反映させるための再取込」は自動更新（上書きや削除して挿入等）が出来ませんので、事前に既に取り込まれたレコードを削除してから再取込を行う必要（忘れると重複する）がある点だけでございます。

上記、ご確認のほど宜しくお願い致します。

村上

村上さんにいただいたご回答内容を元に、以下仕様にてJP西脇さんへ確認中です。

本事象のリカバリと本機能の今後の仕様につきまして、以下ご相談させてください。

【本事象リカバリについて】
・先日共有させていただいた店舗・営業日のデータについて、連携ファイルのフォーマットで抽出いただきメール等にてお送りいただくことは可能でしょうか？
　※別途宮井より依頼させていただいている1515 CC 市ヶ谷東店　の修正完了後にまとめていただけますと幸いです。

【本機能の仕様について】
１．本連携について、精算データが上がっていない店舗・営業日データについては当日の連携対象からは外すよう制御いただくことは可能でしょうか？
２．精算データが日遅れで上がってきた場合、精算データ取得当日の連携ファイルに含めてお送りいただくことは可能でしょうか？
　　例：A店 1/10の営業日データが1/16に上がった場合、1/17 2:00の連携ファイル内に含めて連携