ToDo #576
【データ基盤】NEC 20240608営業日分 S3アップロードエラー
0%
説明
NEC POSトランザクション整形・S3アップロード処理において以下エラーが発生しております。
・2024/6/8営業日分データの整形時、2024/6/7営業日分を重複して整形
→DWH、DMにてNEC2024/6/7営業日分のレコードが重複
【原因】
・2024/6/7営業日分データをFTPザーバーから削除時、FTP通信エラーにより削除処理が中断されたため
【対応】
・DL→削除処理を1ファイル単位に修正し、翌日以降の重複が最小限となるよう改修（TECデータ処理へも水平展開）
・2024/6/8営業日分の重複を除いた整形ファイルを再生成
https://chatnoirveri.sharepoint.com/:f:/s/msteams_2080ed/EkN9bjV6UzFApJ0FM1ivdYEBlynp-8aIeSXDdQky0pSK1A?e=ug3pPV
【TODO】
・村上さんへリカバリ方法を確認し上記recovery実施
FTPサーバーとの通信エラーは今後も発生しうる、かつロジック側で対応が難しいため、現行で構築した定期監視機能を用いた対症療法としたいです。
リカバリ方法と運用体制についてご相談させてください。
武田 遼河 さんが6ヶ月前に更新
- ステータス を 新規 から 進行中 に変更
以下、S3にアップロードしたファイルに異常な値が含まれている状況です。
6/12 のナレッジ移管定例時にリカバリ確認方法をご教授いただく予定です。
・001_202406090413.csv
・102_202406090413.csv
・401_202406090413.csv
・434_202406090413.csv
・436_202406090413.csv
・437_202406090413.csv
・442_202406090413.csv
・444_202406090413.csv
・446_202406090413.csv
・447_202406090413.csv
・448_202406090413.csv
・492_202406090413.csv
・493_202406090413.csv
・Z09_202406090413.csv