データ基盤プロジェクト

2023/12/02

16:53 POS #227: PowerBI運用手順書作成

データソース設定手順を追記いたしました。
一部正常に適用できない項目があったので村上さん確認後修正いたします。 武田 遼河

14:33 POS #227 (進行中): PowerBI運用手順書作成

PowerBIデスクトップ版導入手順を作成いたしました。
（Microsoft Storeからインストールすると各人のバージョンを自動で更新してくれるそうなのでこちらを採用しています。）
PowerBIレポート、モバイル版の導... 武田 遼河

16:50 POS #226 (進行中): PowerBIレポート ドラフト版動作確認

無償版にて動作確認を実施いたしました。
以下確認事項をご報告いたします。
【全体】
・発行　→　無償版の為利用不可でした。有償版契約後改めて確認します。
・年月　→　動作OKです。　※複数月が選択できないようです。運用上問... 武田 遼河

16:16 POS #225 (進行中): 要改善店抽出データソース調査

売上トランザクション（ttotalのカラムから算出）から割引額を抽出しているところまで判明しましたが、具体的なカラムの判別にはデータ検証作業が必要となります。
また、KHK業態についてはPL表の割引額から参照しているようです。 武田 遼河

10:58 POS #67: NEC POS 2回清算 運用について

【TODO】
・NEC売上データ仕様ドキュメント化
・データ基盤周りのデータフロー図作成
・過去発生したデータ異常のケースを書き出し、要件化と対応リスト作成
売り上げデータについてはCU環境で整形処理後AWSにアップロード... 武田 遼河

2023/11/28

16:31 POS #227 (完了): PowerBI運用手順書作成

以下情報を手順化し利用者に展開する。
・導入手順（デスクトップ版、ブラウザ版）
・チュートリアル
※取り急ぎ、デスクトップ版の導入手順をPJメンバー向けに展開、を目標とする。 武田 遼河

16:28 POS #226 (完了): PowerBIレポート ドラフト版動作確認

以下動作を確認
・PowerBIデスクトップ版をインストールしたPC挙動確認
・体裁確認
・データソース同期確認
・ブラウザ版用発行機能確認 武田 遼河

16:25 POS #225 (完了): 要改善店抽出データソース調査

現行のよう改善店抽出帳票について、値引き額カラムのデータソースを確認する。
【想定】
１．基幹DBが取り込んだ売上トランから抽出
２．FOODITから提供 武田 遼河

16:05 POS #220 (完了): 11/21営業日分 NECPOS rawdata取得エラー

11/28取得データに11/21営業日分の全店データが含まれていることを確認いたしました。
再送いただいたデータは「20231122」フォルダに移動させております。
クローズします。 武田 遼河

2023/11/27

19:08 POS #197: NEC　生データ整形環境検討・構築

添付のフォーマットと以下仕様で合意しております。
■ファイル名称
[ファイル名]_[yyyymmddhhMM].csv
※日付はs3アップロード日時
※コンマ区切りcsv
■ファイル内容
「店舗コード」「営業日付」を各... 武田 遼河

09:51 POS #197: NEC　生データ整形環境検討・構築

期日再設定 武田 遼河

09:45 POS #197 (進行中): NEC　生データ整形環境検討・構築

<<<期日の設定消える現象テスト>>> 武田 遼河

19:04 POS #196: TEC　生データ整形環境検討・構築

添付のフォーマットと以下仕様で合意しております。
■ファイル名称
[ファイル名]_[yyyymmddhhMM].csv
※日付はs3アップロード日時
※コンマ区切りcsv
■ファイル内容
「店舗コード」「営業日付」を各... 武田 遼河

09:55 POS #220 (進行中): 11/21営業日分 NECPOS rawdata取得エラー

FTPダウンロード処理中にエラーを感知した際はアップロード、FTPサーバー側ファイル削除処理を実施しないように修正。
また、エラー時はTeamsに通知する処理を実装。
設計書
\\192.168.200.77\情報システム部... 武田 遼河

09:10 POS #195 (完了): NEC 生データ要取込ファイル仕分け

島貫 圭太

2023/11/24

18:37 POS #220 (完了): 11/21営業日分 NECPOS rawdata取得エラー

以下のエラーにより11/21営業日分のNECPOS rawdataの取得が不完全でした。
また、バッチに不備があり、FTPに上がっていた該当日付のデータを削除してしまっております。
【TODO】
・11/21 NECデータ受... 武田 遼河

16:59 POS #196: TEC　生データ整形環境検討・構築

今後の運用では以下のケースが想定されるため、整形後フォーマットに「店舗コード」「営業日」カラムを追加＆データ基盤側で取込可能な仕組みにできないか検討します。
・11/1～11/11までNW障害で売上とれず。
・11/20に上記期間... 武田 遼河

2023/11/22

17:58 POS #196: TEC　生データ整形環境検討・構築

以下、CU側で取込ファイルの精査を実施し村上さんへ通知済みです
掲題の件につきまして、今回のスコープでは以下のファイルを取込む方針でお願いいたします。
【取込希望ファイル】
・ztotal.csv
・titem.csv
... 武田 遼河

13:32 POS #196 (進行中): TEC　生データ整形環境検討・構築

【方針】
・整形環境についてはひとまずオンプレ（ファイル共有サーバー）で構築
【進め方】
１．CU：取込が必要なファイルを選定して村上さん側に通知
２．村上さん：整形後フォーマットを指定してCU通知
３．CU：実装
４... 武田 遼河

13:34 POS #197: NEC　生データ整形環境検討・構築

【方針】
・整形環境についてはひとまずオンプレ（ファイル共有サーバー）で構築
【進め方】
１．CU：取込が必要なファイルを選定して村上さん側に通知　済
２．村上さん：整形後フォーマットを指定してCU通知
３．CU：実装
... 武田 遼河

2023/11/21

17:21 POS #98 (完了): TEC 2022売上サマリデータ整形

調査の結果、ファイルの欠損ではなく店休店舗のブレによるものと判明いたしました。
経戦受領データをもとに営業店舗数をまとめて村上さんにご連絡済みです。
また、2022/1~3月のデータにも欠損があるとのことでしたが、こちらは取込... 武田 遼河

2023/11/15

12:24 POS #195: NEC 生データ要取込ファイル仕分け

401.csv　レジレポート
Z09.csv　売上トランザクション (オーダーデータ)
109.csv　売上トランザクション(合計)
434.csv　商品別売上データ
493.csv　レジ管理サマリデータ
※将来的に必要... 島貫 圭太

11:20 POS #195 (完了): NEC 生データ要取込ファイル仕分け

NEC生データについて、ファイル数単位で使用していないデータが複数存在する。
ランニングコスト削減のため、全ファイルを取り込む仕様　→　必要なデータが含まれるファイルのみ取り込む仕様
に移行したい。
【TODO】
・ファー... 武田 遼河

11:35 POS #197 (完了): NEC　生データ整形環境検討・構築

現行は日別・店別で各データを取り込んでいるが、取込ファイル数が大量になることでランニングコストが増大している。
コストカットのため、日別単位で各データを整形してs3にアップロードすることを検討する。
【TODO】
・整形環境の検... 武田 遼河

11:32 POS #196 (完了): TEC　生データ整形環境検討・構築

現行は日別・店別で各データを取り込んでいるが、取込ファイル数が大量になることでランニングコストが増大している。
コストカットのため、日別単位で各データを整形してs3にアップロードすることを検討する。
【TODO】
・整形環境... 武田 遼河

10:58 POS #98 (進行中): TEC 2022売上サマリデータ整形

整形したファイルに欠損があったとのご報告をいただいております。
送付ファイルの欠損チェックを実施予定です。
https://chatnoirveri.sharepoint.com/:x:/s/msteams_2080ed/EU... 武田 遼河

2023/11/13

17:51 その他 #156 (進行中): データ基盤　勤怠データ・PL整形環境運用方法の整備

未着手です。
スケジュール的にはデータ基盤運用移管までに実現できれば問題ない認識のため、期限を延長いたします。 武田 遼河

2023/11/10

19:50 POS #131 (完了): NEC-POSトランザクションデータの欠損

DL処理中にエラーが発生した場合、削除処理、アップロード処理を中断するよう改修いたしました。
以下に改修後の設計書とソースを格納しております。
\\192.168.200.77\情報システム部\11.社内システム関連\データ基盤\... 武田 遼河

2023/11/09

20:02 POS #131: NEC-POSトランザクションデータの欠損

10/4分の受領データを以下フォルダに移動させております。
12のバックアップ　C:\AWS\NECPOS\data\20231005
また、バッチのログを解析したところ、10/4分のデータダウンロード中にFTPサーバーへ... 武田 遼河

14:03 POS #131: NEC-POSトランザクションデータの欠損

島貫さんのほうで以下対応済みです。
・FFP側から欠損データを受領する（島貫）
→NEC問い合わせの結果、10/4分をFTP経由で再配信済み
　12のバックアップ　C:\AWS\NECPOS\data\20231108　に保管済... 武田 遼河

13:19 POS #67: NEC POS 2回清算 運用について

売上データ データ基盤投入時に欠損または異常データを感知する仕組み構築について臼木さん、村上さんに頭出しをいたしました。
【前提】
・本構築は11月の新BIレポートリリースとは別スコープとする
・仕様についてはCU側で提案し、実... 武田 遼河

2023/11/06

10:22 POS #159 (完了): NEC2019年度売上サマリデータ整形

整形を完了し以下にアップロード済
https://chatnoirveri.sharepoint.com/:f:/s/msteams_2080ed/Eud_BUNpcKtJpH_vREiCBi8BjoFweobsR9-nlKaQpP... 武田 遼河