データ基盤プロジェクト

2023/11/15

12:24 POS #195: NEC 生データ要取込ファイル仕分け

401.csv　レジレポート
Z09.csv　売上トランザクション (オーダーデータ)
109.csv　売上トランザクション(合計)
434.csv　商品別売上データ
493.csv　レジ管理サマリデータ
※将来的に必要... 島貫 圭太

11:20 POS #195 (完了): NEC 生データ要取込ファイル仕分け

NEC生データについて、ファイル数単位で使用していないデータが複数存在する。
ランニングコスト削減のため、全ファイルを取り込む仕様　→　必要なデータが含まれるファイルのみ取り込む仕様
に移行したい。
【TODO】
・ファー... 武田 遼河

11:35 POS #197 (完了): NEC　生データ整形環境検討・構築

現行は日別・店別で各データを取り込んでいるが、取込ファイル数が大量になることでランニングコストが増大している。
コストカットのため、日別単位で各データを整形してs3にアップロードすることを検討する。
【TODO】
・整形環境の検... 武田 遼河

11:32 POS #196 (完了): TEC　生データ整形環境検討・構築

現行は日別・店別で各データを取り込んでいるが、取込ファイル数が大量になることでランニングコストが増大している。
コストカットのため、日別単位で各データを整形してs3にアップロードすることを検討する。
【TODO】
・整形環境... 武田 遼河

10:58 POS #98 (進行中): TEC 2022売上サマリデータ整形

整形したファイルに欠損があったとのご報告をいただいております。
送付ファイルの欠損チェックを実施予定です。
https://chatnoirveri.sharepoint.com/:x:/s/msteams_2080ed/EU... 武田 遼河

2023/11/13

17:51 その他 #156 (進行中): データ基盤　勤怠データ・PL整形環境運用方法の整備

未着手です。
スケジュール的にはデータ基盤運用移管までに実現できれば問題ない認識のため、期限を延長いたします。 武田 遼河

2023/11/10

19:50 POS #131 (完了): NEC-POSトランザクションデータの欠損

DL処理中にエラーが発生した場合、削除処理、アップロード処理を中断するよう改修いたしました。
以下に改修後の設計書とソースを格納しております。
\\192.168.200.77\情報システム部\11.社内システム関連\データ基盤\... 武田 遼河

2023/11/09

20:02 POS #131: NEC-POSトランザクションデータの欠損

10/4分の受領データを以下フォルダに移動させております。
12のバックアップ　C:\AWS\NECPOS\data\20231005
また、バッチのログを解析したところ、10/4分のデータダウンロード中にFTPサーバーへ... 武田 遼河

14:03 POS #131: NEC-POSトランザクションデータの欠損

島貫さんのほうで以下対応済みです。
・FFP側から欠損データを受領する（島貫）
→NEC問い合わせの結果、10/4分をFTP経由で再配信済み
　12のバックアップ　C:\AWS\NECPOS\data\20231108　に保管済... 武田 遼河

13:19 POS #67: NEC POS 2回清算 運用について

売上データ データ基盤投入時に欠損または異常データを感知する仕組み構築について臼木さん、村上さんに頭出しをいたしました。
【前提】
・本構築は11月の新BIレポートリリースとは別スコープとする
・仕様についてはCU側で提案し、実... 武田 遼河

2023/11/06

10:22 POS #159 (完了): NEC2019年度売上サマリデータ整形

整形を完了し以下にアップロード済
https://chatnoirveri.sharepoint.com/:f:/s/msteams_2080ed/Eud_BUNpcKtJpH_vREiCBi8BjoFweobsR9-nlKaQpP... 武田 遼河

2023/11/01

13:38 POS #131: NEC-POSトランザクションデータの欠損

割り出した欠損データとFoodITの照合が完了しました。
10/4日のデータが大半ではありますが、その他24件の欠損データがあるようです。
詳細は以下をご確認ください。
\\192.168.200.77\情報システム部\個人\渡... 渡部 秀紀

12:08 POS #131: NEC-POSトランザクションデータの欠損

以下はデータ基盤プロジェクト #67へ
運用時、売上データ欠損、及び異常値を感知する仕組みをどう構築するかという課題として 引き継ぎます。
---以下、別チケットで管理---------------------------... 武田 遼河

11:42 POS #131: NEC-POSトランザクションデータの欠損

TODO
・FFP側から欠損データを受領する（島貫）
　→欠損店舗・日付を特定　→　渡部さん済
・原因調査
　→バッチ調査（武田）
　→NEC問い合わせ（島貫）
　→欠損FOODIT照合（渡部）
---以下、... 武田 遼河

12:14 POS #67: NEC POS 2回清算 運用について

TODO
・欠損時の障害判定ルールを作る
　案１．バッチ処理に判定を組み込む
　案２．データ基盤投入後に判定
・データはあるが異常の場合の判定方法検討
　案１．データ基盤投入後に日常業務としてSQLチェック？
... 武田 遼河

2023/10/31

11:40 その他 #158 (完了): データ基盤　勘定奉行データ送付

経理原田さんより資料受領しTeamsに格納済み 武田 遼河

2023/10/30

17:17 POS #159 (完了): NEC2019年度売上サマリデータ整形

※仕様は2022と同じ 武田 遼河

17:16 その他 #158 (完了): データ基盤　勘定奉行データ送付

以下データを村上さんへ送付
・2022 1~3月
・2023 4~ 武田 遼河

15:21 その他 #135 (完了): データ基盤　Gulf勤怠データ送付

シェアフル過去データについて異常値を修正して村上さんへ送付済み。
勤怠データに関してはすべてのデータ送付が完了した認識ですのでクローズします。 武田 遼河

13:26 その他 #135: データ基盤　Gulf勤怠データ送付

勤怠データ関連１次送付完了。
今後の受領・取込管理は以下ファイルにて管理
https://chatnoirveri.sharepoint.com/:x:/r/sites/msteams_2080ed/Shared%20Docu... 武田 遼河

13:54 その他 #156 (完了): データ基盤　勤怠データ・PL整形環境運用方法の整備

以下、データ基盤インポート用整形環境の運用残タスクについて整理します。
・勤怠データ整形環境ディレクトリ構成整備
・PLデータ整形環境ディレクトリ整備
・運用手順書作成
・社内データ受領フロー整備 武田 遼河

2023/10/26

18:51 その他 #122 (完了): 勤怠データ　データフロー確定

各データソースと取込仕様については村上さんと合意済み。
過去データのインポート等、後続タスク管理は＃135に統合するためこちらはクローズします。 武田 遼河

18:43 その他 #134 (完了): Uber eats 売上データ社内算出方法ドキュメント化

売上送付業務フローを村上さんへ送付済み。
※マーケ佐藤さん　広告費発生時のデータの出方に不確定要素があるそうなので後日追記予定 武田 遼河

14:58 POS #131 (進行中): NEC-POSトランザクションデータの欠損

渡部さんのほうで以下データから欠損チェック資料を作成いただいております。
島貫さん、武田さん
先日お話しいただきました、NECPOSの欠損データ確認用の資料を作成しました。
POSデータが存在している期間/店舗コードで確認し... 武田 遼河

12:11 POS #99 (完了): NEC　売上サマリデータ整形

CU側整形作業を完了し以下に格納いたしました。
https://chatnoirveri.sharepoint.com/:u:/r/sites/msteams_2080ed/Shared Documents/General/03_%... 武田 遼河

10:50 POS #67: NEC POS 2回清算 運用について

2回精算、営業日変更時の挙動（同じ営業日付のファイルが2つ以上できる場合）の業務フローについて、CU側バッチ処理時or統合DBInsert時に重複感知の仕組みを入れる案を考えております。
理由としては、統合DB側Insert時に既に... 武田 遼河

2023/10/25

15:35 その他 #135 (進行中): データ基盤　Gulf勤怠データ送付

202304~09Gulf勤怠データ送付済み。
タイミー等データについても合わせて送付予定 武田 遼河

14:08 POS #98 (完了): TEC 2022売上サマリデータ整形

NEC過去データと一緒に取り込みを実施しますとの回答でした。
CU側対応範囲としては完了の為クローズします 武田 遼河

2023/10/23

20:37 その他 #135 (完了): データ基盤　Gulf勤怠データ送付

過去のガルフ勤怠データを抽出しVF村上さんへ送付 武田 遼河

20:36 その他 #134 (完了): Uber eats 売上データ社内算出方法ドキュメント化

Uber eats売上月次集計仕様をドキュメント化しＶＦ村上さんへ送付する
https://chatnoirveri.sharepoint.com/:x:/r/sites/msteams_2080ed/_layouts/15/Doc... 武田 遼河

10:16 POS #131 (完了): NEC-POSトランザクションデータの欠損

192.168.200.12のサーバー内に取り込んでいるトランザクションCSVファイルが
取得できていない日・店舗がある。
KHK池袋東口グリーン大通り店　10月4日分
000000004132_0000000066079_... 島貫 圭太