プロジェクト

全般

プロフィール

POS #196

TEC　生データ整形環境検討・構築

武田 遼河 さんが約1年前に追加. 7ヶ月前に更新.

ステータス:
完了
優先度:
通常
担当者:
武田 遼河
開始日:
2023/11/15
期日:
2024/04/30
進捗率:

70%

予定工数:

説明

現行は日別・店別で各データを取り込んでいるが、取込ファイル数が大量になることでランニングコストが増大している。
コストカットのため、日別単位で各データを整形してs3にアップロードすることを検討する。

【TODO】
・整形環境の検討
　→オンプレ？EC２？
・実行環境の検討
　→bat？期間DB経由？アプリ？

ファイル

ztime_yyyymmdd(UTF-8 CSV).xlsx (29.5 KB) ztime_yyyymmdd(UTF-8 CSV).xlsx 武田 遼河, 2023/11/27 19:03
ztotal_yyyymmdd(UTF-8 CSV).xlsx (71.7 KB) ztotal_yyyymmdd(UTF-8 CSV).xlsx 武田 遼河, 2023/11/27 19:03
tcredit_yyyymmdd(UTF-8 CSV).xlsx (13.6 KB) tcredit_yyyymmdd(UTF-8 CSV).xlsx 武田 遼河, 2023/11/27 19:03
titem_yyyymmdd(UTF-8 CSV).xlsx (14.4 KB) titem_yyyymmdd(UTF-8 CSV).xlsx 武田 遼河, 2023/11/27 19:03
ttend_yyyymmdd(UTF-8 CSV).xlsx (12.6 KB) ttend_yyyymmdd(UTF-8 CSV).xlsx 武田 遼河, 2023/11/27 19:03
ttotal_yyyymmdd(UTF-8 CSV).xlsx (26.9 KB) ttotal_yyyymmdd(UTF-8 CSV).xlsx 武田 遼河, 2023/11/27 19:03
zitem_yyyymmdd(UTF-8 CSV).xlsx (26 KB) zitem_yyyymmdd(UTF-8 CSV).xlsx 武田 遼河, 2023/11/27 19:03
zkkum_yyyymmdd(UTF-8 CSV).xlsx (15.7 KB) zkkum_yyyymmdd(UTF-8 CSV).xlsx 武田 遼河, 2023/11/27 19:03
#1

武田 遼河 さんが約1年前に更新

  • ステータス を 新規 から 進行中 に変更

【方針】
・整形環境についてはひとまずオンプレ（ファイル共有サーバー）で構築

【進め方】
１．CU：取込が必要なファイルを選定して村上さん側に通知
２．村上さん：整形後フォーマットを指定してCU通知
３．CU：実装
４．村上さん：自動連携開始

【実装方法】
・以下３つの方法で検討しています。最もメンテがしやすいものを採用しようと思っています。
・C# .exe形式
・batch(Powershell)
・python .exe形式

#2

武田 遼河 さんが約1年前に更新

  • 期日 を 2023/11/24 から 2023/12/15 に変更
#3

武田 遼河 さんが約1年前に更新

  • 進捗率 を 0 から 20 に変更

以下、CU側で取込ファイルの精査を実施し村上さんへ通知済みです

掲題の件につきまして、今回のスコープでは以下のファイルを取込む方針でお願いいたします。
【取込希望ファイル】
・ztotal.csv
・titem.csv
（・ttotal.csv）
・tcredit.csv
・ttend.csv

1. 今回のリリース範囲帳票に使用するデータ
（漏れがないかご確認ください）
・ztotal.csv
・titem.csv
・ttotal.csv（取引合計トランザクションファイルです。今回リリースの帳票で使用がなければ取込対象から除外してかまいません）

2. クレジット別会計データ
→現時点で頻繁に抽出依頼が来ます。今後必ず閲覧のニーズが発生するのでできればこの際に口を作っておきたいです。
・tcredit.csv

3. 商品別会計データ（値引）
→クレジット別会計と同様の理由で取込希望です。
・ttend.csv

#4

武田 遼河 さんが約1年前に更新

今後の運用では以下のケースが想定されるため、整形後フォーマットに「店舗コード」「営業日」カラムを追加＆データ基盤側で取込可能な仕組みにできないか検討します。
・11/1～11/11までNW障害で売上とれず。
・11/20に上記期間の売上をデータ基盤にアップロードする

アップロードの際、複数日も1ファイルにまとめられると運用上ベター

#5

武田 遼河 さんが約1年前に更新

添付のフォーマットと以下仕様で合意しております。
■ファイル名称
[ファイル名]_[yyyymmddhhMM].csv
※日付はs3アップロード日時
※コンマ区切りcsv

■ファイル内容
「店舗コード」「営業日付」を各レコードにカラムとして追加
※１ファイルに複数営業日の混在あり

【TODO】
・管理方法決定（バージョン管理ツール導入？）
・11/9以降データを新整形で送付

#6

武田 遼河 さんが12ヶ月前に更新

  • 期日 を 2023/12/15 から 2024/01/31 に変更
  • 進捗率 を 40 から 60 に変更

TODO単位で進捗を記載します。
※12/15期限としていた整形スクリプトの作成まで完了

【TODO】
整形スクリプト作成　→　済
整形ファイルAWSアップロード処理作成　→　50%
45サーバー機能移管　→　0%
整形仕様ドキュメント作成　→　0%

また、整形仕様について、POS番号カラムの追加が必要か村上さんと検討中となります。
必要な場合に発生するタスクは別チケットで管理します

#7

武田 遼河 さんが11ヶ月前に更新

  • 進捗率 を 60 から 70 に変更

【TODO】
整形スクリプト作成　→　済
整形ファイルAWSアップロード処理作成　→　済
45サーバー機能移管　→　60%
整形仕様ドキュメント作成　→　0%

・POS番号カラム実装済みです。
・AWSアップロード機能と自動化を実装いたしました。
一部backup処理が12サーバーに残留しているため、完全移行まで作業予定です。

#8

武田 遼河 さんが10ヶ月前に更新

  • 期日 を 2024/01/31 から 2024/02/29 に変更

CC売上データ収集の仕組み構築を優先いたしますので期限を延長いたします。

#9

武田 遼河 さんが8ヶ月前に更新

  • 期日 を 2024/02/29 から 2024/04/30 に変更

タスク整理の上期限を延長します。

#10

武田 遼河 さんが7ヶ月前に更新

  • ステータス を 進行中 から 完了 に変更

データ基盤整形環境についてはまかせてネットへ機能移管の方向で調整中とのことですので、本チケットの残タスクはいったん取り止めとしクローズします。

他の形式にエクスポート: Atom PDF