データ基盤プロジェクト

渡部さんのほうで以下データから欠損チェック資料を作成いただいております。

島貫さん、武田さん
先日お話しいただきました、NECPOSの欠損データ確認用の資料を作成しました。
POSデータが存在している期間/店舗コードで確認しているので、
実在しない店舗・現在は閉店済の店舗・最近開店した店舗等、欠損していると判定してしまっていますが、ご了承ください。
ざっと見た感じ、多くがFC店舗の欠損が多いようです。
また、2023/10/04のみ多くの店舗のデータが欠損しているので、この日に何かあったのかな？と思っています。
\\192.168.200.77\情報システム部\個人\渡部\01.案件\05.データ基盤
・NECPOS欠損データ確認用_閲覧用.xlsx
※同フォルダに別名のファイルを置いています。
　こちらは成型のために作ったのですが、計算式ががっつり入っていて開くのに時間がかかります。

残タスク：欠損原因調査

TODO

・FFP側から欠損データを受領する（島貫）
　→欠損店舗・日付を特定　→　渡部さん済

・原因調査
　→バッチ調査（武田）
　→NEC問い合わせ（島貫）
　→欠損FOODIT照合（渡部）

---以下、別チケットで管理----------------------------------------------------------------------------------------------
・欠損時の障害判定ルールを作る
　→バッチ処理に判定を組み込む
　→データ基盤投入後に判定

・データはあるが異常の場合の判定方法検討

10/4分の受領データを以下フォルダに移動させております。
12のバックアップ　C:\AWS\NECPOS\data\20231005

また、バッチのログを解析したところ、10/4分のデータダウンロード中にFTPサーバーへの接続が拒否されたためにDL不全を起こしていたようです。
エラーメッセージ：
2023/10/05 07:04:41 ERROR! : リモート サーバーがエラーを返しました: 227 Entering Passive Mode (59,106,19,155,234,18).

おそらく弊社sakuraサーバーで一時的な接続障害があり、該当時刻の処理が失敗したのだろうと推測しております。
該当時刻にsakuraサーバーで何かあった、等情報をお持ちの方がいらっしゃいましたら共有してほしいです！

ひとまず対策として、データDL時エラーが発生していた場合は後続のデータ削除処理を行わず、翌日にまとめてDLするしように改修しようと思います。

DL処理中にエラーが発生した場合、削除処理、アップロード処理を中断するよう改修いたしました。
以下に改修後の設計書とソースを格納しております。
\\192.168.200.77\情報システム部\11.社内システム関連\データ基盤\売上データ\POSデータ連携bat

2週間程度経過監視しますが、本件としてはクローズします