ToDo #781
【データ基盤】売上速報 KK売上欠損
0%
説明
以下日付のKK業態売上が表示されない
・11/15
・11/16
【一次調査】
・DM.flash_sales_reportsの状況を確認したところ、該当日付のKK業態のレコードが欠損（添付）
【リカバリ作業】
・glue-job-flashsalesreports-nec-recoveryジョブにて該当日付データを再作成
【依頼事項】
・11/15よりＣＣ売上データが計上されているようにお見受けします。
→本事象とＣＣ売上データ取込改修の関連性はございますでしょうか？
・「glue-job-flashsalesreports-nec-recovery」について、実行時にＣＣ売上データも再生成される挙動となっておりますが、想定の動作でしょうか？
ファイル
武田 遼河 さんが7日前に更新
- ファイル FSL_20241115-1118_recovery後.csv FSL_20241115-1118_recovery後.csv を追加
- ファイル FSL_20241115-1118_recovery前.csv FSL_20241115-1118_recovery前.csv を追加
- ステータス を 新規 から 進行中 に変更
2024/11/21 Mtg
武田確認時（2024/11/18）、村上さん側でCC売上リカバリ時データが重複する事象を対応中だった
→事象が混在している可能性がある。
→本自領については再確認
【事象再確認結果】
対象期間：2024/11/15~2024/11/18でglue-job-flashsalesreports-nec-recoveryを実行いたしました。
リカバリ前後のデータ状況を添付いたします。
結論としてはCC売上の重複はおこりませんでしたがKK売上が正常にリカバリされませんでした。
ご確認よろしくお願いいたします。
武田 遼河 さんが7日前に更新
- ファイル glue-job-flashsalesreports-nec-recovery.py glue-job-flashsalesreports-nec-recovery.py を追加
- 担当者 を 武田 遼河 から 村上 達也 に変更
Glueジョブ実行時点でのソースを添付します。
武田 遼河 さんが6日前に更新
- ステータス を 進行中 から 完了 に変更
本事象について、村上さんより対応完了をご連絡をいただいております。
以下に頂いたメールでご指摘の通りCCのレコードがなぜが2行出来てしまう事象を回避するために日付と店舗コードのデータ型を変えた上で、組合せをインデックス化し一意制約違反ルールを設けていたのでした。VEやCCしかテストしていなかったのでKKのGlueJob Scriptの修正（書き込み先のMySQLのデータ型に合わせた書き込み指示）が抜けていたことが原因でした。申し訳ございません。
日次自動処理のコードと、リカバリー時の手動処理のコードの両方を今朝修正しまして、それぞれ動作確認まで完了。問題となっていた11/15-18のデータが正常に登録されていることまで確認致しました。以後、同じ原因によるデータ不具合は生じないと思いますが、何かお気づきの点等ございましたらお知らせ頂ければと思います。