ToDo #576
【データ基盤】NEC 20240608営業日分 S3アップロードエラー
開始日:
2024/06/09
期日:
2024/06/17
進捗率:
0%
予定工数:
説明
NEC POSトランザクション整形・S3アップロード処理において以下エラーが発生しております。
・2024/6/8営業日分データの整形時、2024/6/7営業日分を重複して整形
→DWH、DMにてNEC2024/6/7営業日分のレコードが重複
【原因】
・2024/6/7営業日分データをFTPザーバーから削除時、FTP通信エラーにより削除処理が中断されたため
【対応】
・DL→削除処理を1ファイル単位に修正し、翌日以降の重複が最小限となるよう改修（TECデータ処理へも水平展開）
・2024/6/8営業日分の重複を除いた整形ファイルを再生成
https://chatnoirveri.sharepoint.com/:f:/s/msteams_2080ed/EkN9bjV6UzFApJ0FM1ivdYEBlynp-8aIeSXDdQky0pSK1A?e=ug3pPV
【TODO】
・村上さんへリカバリ方法を確認し上記recovery実施
FTPサーバーとの通信エラーは今後も発生しうる、かつロジック側で対応が難しいため、現行で構築した定期監視機能を用いた対症療法としたいです。
リカバリ方法と運用体制についてご相談させてください。