データ基盤プロジェクト

NECPOSでは以下のパターンで売上データの修正が入る可能性があります。
・二回精算
・営業日付修正

現在は以下の手順で修正を行っている認識です。
１．FOODfrontierで更新

現状CU側の生データ受領の流れは以下です。
POS精算→FOODfrontier→FOODIT
POS精算→FOODfrontier→FTP（自社サーバーbat）→s3

二回精算や営業日付変更をした際のファイル送付仕様については島貫さんがNECへ確認中です。

NEC送付仕様によりますが、以下の運用仕様を検討しております。
１．FTPからファイル取得時、過去に同名のファイルを受け取っていた場合はs3へアップロードせず別フォルダに保管しアラート
２．アラート感知後、人力で確認し手動でs3へアップロード

二回精算や営業日付変更をした際のファイル送付仕様の件でNEC問い合わせのステータスで止まっている認識です。
いったん期限を来週末に延長し、その後も回答がない場合は別途対応策を検討させてください

2回精算、営業日変更時の挙動（同じ営業日付のファイルが2つ以上できる場合）の業務フローについて、CU側バッチ処理時or統合DBInsert時に重複感知の仕組みを入れる案を考えております。
理由としては、統合DB側Insert時に既にデータがある場合は手動で前データを削除する必要があり、かつ現状の運用ではタイミングが情シス側で分からないからです。

仕組案を作成し、村上さんに相談の上方針を確定します。

TODO

・欠損時の障害判定ルールを作る
　案１．バッチ処理に判定を組み込む
　案２．データ基盤投入後に判定

・データはあるが異常の場合の判定方法検討
　案１．データ基盤投入後に日常業務としてSQLチェック？

欠損時のほうは村上さんに方針相談。
異常値のほうはデータ基盤の構成をご教授いただいた後検討します。

売上データ データ基盤投入時に欠損または異常データを感知する仕組み構築について臼木さん、村上さんに頭出しをいたしました。
【前提】
・本構築は11月の新BIレポートリリースとは別スコープとする
・仕様についてはCU側で提案し、実装可否を村上さんと相談しつつデータ基盤ナレッジ移管等別工数で対応する

【TODO】
・NEC売上データ仕様ドキュメント化
・データ基盤周りのデータフロー図作成
・過去発生したデータ異常のケースを書き出し、要件化と対応リスト作成

本件についてはNEC整形環境構築タスクの一環として構築いたします。
→チケットを統合し本件としてはクローズいたします。