データ基盤プロジェクト

2023/11/28

16:31 POS #227 (完了): PowerBI運用手順書作成

以下情報を手順化し利用者に展開する。
・導入手順（デスクトップ版、ブラウザ版）
・チュートリアル
※取り急ぎ、デスクトップ版の導入手順をPJメンバー向けに展開、を目標とする。 武田 遼河

16:28 POS #226 (完了): PowerBIレポート ドラフト版動作確認

以下動作を確認
・PowerBIデスクトップ版をインストールしたPC挙動確認
・体裁確認
・データソース同期確認
・ブラウザ版用発行機能確認 武田 遼河

16:25 POS #225 (完了): 要改善店抽出データソース調査

現行のよう改善店抽出帳票について、値引き額カラムのデータソースを確認する。
【想定】
１．基幹DBが取り込んだ売上トランから抽出
２．FOODITから提供 武田 遼河

16:05 POS #220 (完了): 11/21営業日分 NECPOS rawdata取得エラー

11/28取得データに11/21営業日分の全店データが含まれていることを確認いたしました。
再送いただいたデータは「20231122」フォルダに移動させております。
クローズします。 武田 遼河

2023/11/27

19:08 POS #197: NEC　生データ整形環境検討・構築

添付のフォーマットと以下仕様で合意しております。
■ファイル名称
[ファイル名]_[yyyymmddhhMM].csv
※日付はs3アップロード日時
※コンマ区切りcsv
■ファイル内容
「店舗コード」「営業日付」を各... 武田 遼河

09:51 POS #197: NEC　生データ整形環境検討・構築

期日再設定 武田 遼河

09:45 POS #197 (進行中): NEC　生データ整形環境検討・構築

<<<期日の設定消える現象テスト>>> 武田 遼河

19:04 POS #196: TEC　生データ整形環境検討・構築

添付のフォーマットと以下仕様で合意しております。
■ファイル名称
[ファイル名]_[yyyymmddhhMM].csv
※日付はs3アップロード日時
※コンマ区切りcsv
■ファイル内容
「店舗コード」「営業日付」を各... 武田 遼河

09:55 POS #220 (進行中): 11/21営業日分 NECPOS rawdata取得エラー

FTPダウンロード処理中にエラーを感知した際はアップロード、FTPサーバー側ファイル削除処理を実施しないように修正。
また、エラー時はTeamsに通知する処理を実装。
設計書
\\192.168.200.77\情報システム部... 武田 遼河

09:10 POS #195 (完了): NEC 生データ要取込ファイル仕分け

島貫 圭太

2023/11/24

18:37 POS #220 (完了): 11/21営業日分 NECPOS rawdata取得エラー

以下のエラーにより11/21営業日分のNECPOS rawdataの取得が不完全でした。
また、バッチに不備があり、FTPに上がっていた該当日付のデータを削除してしまっております。
【TODO】
・11/21 NECデータ受... 武田 遼河

16:59 POS #196: TEC　生データ整形環境検討・構築

今後の運用では以下のケースが想定されるため、整形後フォーマットに「店舗コード」「営業日」カラムを追加＆データ基盤側で取込可能な仕組みにできないか検討します。
・11/1～11/11までNW障害で売上とれず。
・11/20に上記期間... 武田 遼河

2023/11/22

17:58 POS #196: TEC　生データ整形環境検討・構築

以下、CU側で取込ファイルの精査を実施し村上さんへ通知済みです
掲題の件につきまして、今回のスコープでは以下のファイルを取込む方針でお願いいたします。
【取込希望ファイル】
・ztotal.csv
・titem.csv
... 武田 遼河

13:32 POS #196 (進行中): TEC　生データ整形環境検討・構築

【方針】
・整形環境についてはひとまずオンプレ（ファイル共有サーバー）で構築
【進め方】
１．CU：取込が必要なファイルを選定して村上さん側に通知
２．村上さん：整形後フォーマットを指定してCU通知
３．CU：実装
４... 武田 遼河

13:34 POS #197: NEC　生データ整形環境検討・構築

【方針】
・整形環境についてはひとまずオンプレ（ファイル共有サーバー）で構築
【進め方】
１．CU：取込が必要なファイルを選定して村上さん側に通知　済
２．村上さん：整形後フォーマットを指定してCU通知
３．CU：実装
... 武田 遼河

2023/11/21

17:21 POS #98 (完了): TEC 2022売上サマリデータ整形

調査の結果、ファイルの欠損ではなく店休店舗のブレによるものと判明いたしました。
経戦受領データをもとに営業店舗数をまとめて村上さんにご連絡済みです。
また、2022/1~3月のデータにも欠損があるとのことでしたが、こちらは取込... 武田 遼河

2023/11/15

12:24 POS #195: NEC 生データ要取込ファイル仕分け

401.csv　レジレポート
Z09.csv　売上トランザクション (オーダーデータ)
109.csv　売上トランザクション(合計)
434.csv　商品別売上データ
493.csv　レジ管理サマリデータ
※将来的に必要... 島貫 圭太

11:20 POS #195 (完了): NEC 生データ要取込ファイル仕分け

NEC生データについて、ファイル数単位で使用していないデータが複数存在する。
ランニングコスト削減のため、全ファイルを取り込む仕様　→　必要なデータが含まれるファイルのみ取り込む仕様
に移行したい。
【TODO】
・ファー... 武田 遼河

11:35 POS #197 (完了): NEC　生データ整形環境検討・構築

現行は日別・店別で各データを取り込んでいるが、取込ファイル数が大量になることでランニングコストが増大している。
コストカットのため、日別単位で各データを整形してs3にアップロードすることを検討する。
【TODO】
・整形環境の検... 武田 遼河

11:32 POS #196 (完了): TEC　生データ整形環境検討・構築

現行は日別・店別で各データを取り込んでいるが、取込ファイル数が大量になることでランニングコストが増大している。
コストカットのため、日別単位で各データを整形してs3にアップロードすることを検討する。
【TODO】
・整形環境... 武田 遼河

10:58 POS #98 (進行中): TEC 2022売上サマリデータ整形

整形したファイルに欠損があったとのご報告をいただいております。
送付ファイルの欠損チェックを実施予定です。
https://chatnoirveri.sharepoint.com/:x:/s/msteams_2080ed/EU... 武田 遼河

2023/11/13

17:51 その他 #156 (進行中): データ基盤　勤怠データ・PL整形環境運用方法の整備

未着手です。
スケジュール的にはデータ基盤運用移管までに実現できれば問題ない認識のため、期限を延長いたします。 武田 遼河

2023/11/10

19:50 POS #131 (完了): NEC-POSトランザクションデータの欠損

DL処理中にエラーが発生した場合、削除処理、アップロード処理を中断するよう改修いたしました。
以下に改修後の設計書とソースを格納しております。
\\192.168.200.77\情報システム部\11.社内システム関連\データ基盤\... 武田 遼河

2023/11/09

20:02 POS #131: NEC-POSトランザクションデータの欠損

10/4分の受領データを以下フォルダに移動させております。
12のバックアップ　C:\AWS\NECPOS\data\20231005
また、バッチのログを解析したところ、10/4分のデータダウンロード中にFTPサーバーへ... 武田 遼河

14:03 POS #131: NEC-POSトランザクションデータの欠損

島貫さんのほうで以下対応済みです。
・FFP側から欠損データを受領する（島貫）
→NEC問い合わせの結果、10/4分をFTP経由で再配信済み
　12のバックアップ　C:\AWS\NECPOS\data\20231108　に保管済... 武田 遼河

13:19 POS #67: NEC POS 2回清算 運用について

売上データ データ基盤投入時に欠損または異常データを感知する仕組み構築について臼木さん、村上さんに頭出しをいたしました。
【前提】
・本構築は11月の新BIレポートリリースとは別スコープとする
・仕様についてはCU側で提案し、実... 武田 遼河

2023/11/06

10:22 POS #159 (完了): NEC2019年度売上サマリデータ整形

整形を完了し以下にアップロード済
https://chatnoirveri.sharepoint.com/:f:/s/msteams_2080ed/Eud_BUNpcKtJpH_vREiCBi8BjoFweobsR9-nlKaQpP... 武田 遼河

2023/11/01

13:38 POS #131: NEC-POSトランザクションデータの欠損

割り出した欠損データとFoodITの照合が完了しました。
10/4日のデータが大半ではありますが、その他24件の欠損データがあるようです。
詳細は以下をご確認ください。
\\192.168.200.77\情報システム部\個人\渡... 渡部 秀紀

12:08 POS #131: NEC-POSトランザクションデータの欠損

以下はデータ基盤プロジェクト #67へ
運用時、売上データ欠損、及び異常値を感知する仕組みをどう構築するかという課題として 引き継ぎます。
---以下、別チケットで管理---------------------------... 武田 遼河

11:42 POS #131: NEC-POSトランザクションデータの欠損

TODO
・FFP側から欠損データを受領する（島貫）
　→欠損店舗・日付を特定　→　渡部さん済
・原因調査
　→バッチ調査（武田）
　→NEC問い合わせ（島貫）
　→欠損FOODIT照合（渡部）
---以下、... 武田 遼河

12:14 POS #67: NEC POS 2回清算 運用について

TODO
・欠損時の障害判定ルールを作る
　案１．バッチ処理に判定を組み込む
　案２．データ基盤投入後に判定
・データはあるが異常の場合の判定方法検討
　案１．データ基盤投入後に日常業務としてSQLチェック？
... 武田 遼河

2023/10/31

11:40 その他 #158 (完了): データ基盤　勘定奉行データ送付

経理原田さんより資料受領しTeamsに格納済み 武田 遼河