POS #131
NEC-POSトランザクションデータの欠損
説明
192.168.200.12のサーバー内に取り込んでいるトランザクションCSVファイルが
取得できていない日・店舗がある。
KHK池袋東口グリーン大通り店 10月4日分
000000004132_0000000066079_00_SMRY101_20231004_00_*****.CSV
ファイル
武田 遼河 さんが約1年前に更新
- ファイル NECPOS欠損データ確認用_閲覧用.xlsx NECPOS欠損データ確認用_閲覧用.xlsx を追加
- ステータス を 新規 から 進行中 に変更
- 進捗率 を 0 から 30 に変更
渡部さんのほうで以下データから欠損チェック資料を作成いただいております。
島貫さん、武田さん
先日お話しいただきました、NECPOSの欠損データ確認用の資料を作成しました。
POSデータが存在している期間/店舗コードで確認しているので、
実在しない店舗・現在は閉店済の店舗・最近開店した店舗等、欠損していると判定してしまっていますが、ご了承ください。
ざっと見た感じ、多くがFC店舗の欠損が多いようです。
また、2023/10/04のみ多くの店舗のデータが欠損しているので、この日に何かあったのかな？と思っています。
\\192.168.200.77\情報システム部\個人\渡部\01.案件\05.データ基盤
・NECPOS欠損データ確認用_閲覧用.xlsx
※同フォルダに別名のファイルを置いています。
こちらは成型のために作ったのですが、計算式ががっつり入っていて開くのに時間がかかります。
残タスク：欠損原因調査
武田 遼河 さんが約1年前に更新
- 期日 を 2023/10/30 から 2023/11/09 に変更
- 進捗率 を 30 から 50 に変更
TODO
・FFP側から欠損データを受領する（島貫）
→欠損店舗・日付を特定 → 渡部さん済
・原因調査
→バッチ調査（武田）
→NEC問い合わせ（島貫）
→欠損FOODIT照合（渡部）
---以下、別チケットで管理----------------------------------------------------------------------------------------------
・欠損時の障害判定ルールを作る
→バッチ処理に判定を組み込む
→データ基盤投入後に判定
・データはあるが異常の場合の判定方法検討
武田 遼河 さんが約1年前に更新
- 進捗率 を 50 から 80 に変更
10/4分の受領データを以下フォルダに移動させております。
12のバックアップ C:\AWS\NECPOS\data\20231005
また、バッチのログを解析したところ、10/4分のデータダウンロード中にFTPサーバーへの接続が拒否されたためにDL不全を起こしていたようです。
エラーメッセージ：
2023/10/05 07:04:41 ERROR! : リモート サーバーがエラーを返しました: 227 Entering Passive Mode (59,106,19,155,234,18).
おそらく弊社sakuraサーバーで一時的な接続障害があり、該当時刻の処理が失敗したのだろうと推測しております。
該当時刻にsakuraサーバーで何かあった、等情報をお持ちの方がいらっしゃいましたら共有してほしいです！
ひとまず対策として、データDL時エラーが発生していた場合は後続のデータ削除処理を行わず、翌日にまとめてDLするしように改修しようと思います。