プロジェクト

全般

プロフィール

POS #197

NEC　生データ整形環境検討・構築

武田 遼河 さんが約1年前に追加. 7ヶ月前に更新.

ステータス:
完了
優先度:
通常
担当者:
武田 遼河
開始日:
2023/11/15
期日:
2024/04/30
進捗率:

80%

予定工数:
15.00時間

説明

現行は日別・店別で各データを取り込んでいるが、取込ファイル数が大量になることでランニングコストが増大している。
コストカットのため、日別単位で各データを整形してs3にアップロードすることを検討する。
【TODO】
・整形環境の検討
　→オンプレ？EC２？
・実行環境の検討
　→bat？期間DB経由？アプリ？
・整形仕様検討
　→営業日が複数存在してはならない等の制約はある？

ファイル

446_yyyymmdd（UTF-8 CSV）.xlsx (10.4 KB) 446_yyyymmdd（UTF-8 CSV）.xlsx 武田 遼河, 2023/11/27 19:06
447_yyyymmdd（UTF-8 CSV）.xlsx (10.6 KB) 447_yyyymmdd（UTF-8 CSV）.xlsx 武田 遼河, 2023/11/27 19:06
448_yyyymmdd（UTF-8 CSV）.xlsx (10.6 KB) 448_yyyymmdd（UTF-8 CSV）.xlsx 武田 遼河, 2023/11/27 19:06
492_yyyymmdd（UTF-8 CSV）.xlsx (10.4 KB) 492_yyyymmdd（UTF-8 CSV）.xlsx 武田 遼河, 2023/11/27 19:06
493_yyyymmdd（UTF-8 CSV）.xlsx (11.4 KB) 493_yyyymmdd（UTF-8 CSV）.xlsx 武田 遼河, 2023/11/27 19:06
Z09_yyyymmdd（UTF-8 CSV）.xlsx (10.9 KB) Z09_yyyymmdd（UTF-8 CSV）.xlsx 武田 遼河, 2023/11/27 19:06
102_yyyymmdd（UTF-8 CSV）.xlsx (11.7 KB) 102_yyyymmdd（UTF-8 CSV）.xlsx 武田 遼河, 2023/11/27 19:06
001_yyyymmdd（UTF-8 CSV）.xlsx (10.5 KB) 001_yyyymmdd（UTF-8 CSV）.xlsx 武田 遼河, 2023/11/27 19:06
401_yyyymmdd（UTF-8 CSV）.xlsx (12 KB) 401_yyyymmdd（UTF-8 CSV）.xlsx 武田 遼河, 2023/11/27 19:06
434_yyyymmdd（UTF-8 CSV）.xlsx (10.5 KB) 434_yyyymmdd（UTF-8 CSV）.xlsx 武田 遼河, 2023/11/27 19:06
#1

武田 遼河 さんが約1年前に更新

  • 期日 を 2023/11/24 から 2023/12/15 に変更

【方針】
・整形環境についてはひとまずオンプレ（ファイル共有サーバー）で構築

【進め方】
１．CU：取込が必要なファイルを選定して村上さん側に通知　済
２．村上さん：整形後フォーマットを指定してCU通知
３．CU：実装
４．村上さん：自動連携開始

【実装方法】
・以下３つの方法で検討しています。最もメンテがしやすいものを採用しようと思っています。
・C# .exe形式
・batch(Powershell)
・python .exe形式

#2

武田 遼河 さんが約1年前に更新

  • ステータス を 新規 から 進行中 に変更

<<<期日の設定消える現象テスト>>>

#3

武田 遼河 さんが約1年前に更新

  • 期日 を 2023/12/15 にセット
  • 進捗率 を 100 から 20 に変更

期日再設定

#4

武田 遼河 さんが約1年前に更新

添付のフォーマットと以下仕様で合意しております。
■ファイル名称
[ファイル名]_[yyyymmddhhMM].csv
※日付はs3アップロード日時
※コンマ区切りcsv

■ファイル内容
「店舗コード」「営業日付」を各レコードにカラムとして追加
※１ファイルに複数営業日の混在あり

【TODO】
・管理方法決定（バージョン管理ツール導入？）
・11/9以降データを新整形で送付
・過去欠損調査（444）
・マスタファイル連携検討

#5

武田 遼河 さんが12ヶ月前に更新

  • 期日 を 2023/12/15 から 2024/01/31 に変更
  • 進捗率 を 40 から 70 に変更

TODO単位で進捗を記載します。
※12/15期限としていた整形スクリプトの作成まで完了

【TODO】
整形スクリプト作成　→　済
整形ファイルAWSアップロード処理作成　→　50%
45サーバー機能移管　→　0%
整形仕様ドキュメント作成　→　0%

#6

武田 遼河 さんが11ヶ月前に更新

  • 進捗率 を 70 から 80 に変更

【TODO】
整形スクリプト作成　→　済
整形ファイルAWSアップロード処理作成　→　済
45サーバー機能移管　→　80%
整形仕様ドキュメント作成　→　0%

AWSアップロード機能と自動化を実装いたしました。
一部backup処理が12サーバーに残留しているため、完全移行まで作業予定です。

#7

武田 遼河 さんが10ヶ月前に更新

  • 期日 を 2024/01/31 から 2024/02/29 に変更

CC売上データ収集の仕組み構築を優先いたしますので期限を延長いたします。

#8

武田 遼河 さんが8ヶ月前に更新

  • 期日 を 2024/02/29 から 2024/04/30 に変更

タスク整理の上期限を延長します。

#9

武田 遼河 さんが7ヶ月前に更新

  • ステータス を 進行中 から 完了 に変更

データ基盤整形環境についてはまかせてネットへ機能移管の方向で調整中とのことですので、本チケットの残タスクはいったん取り止めとしクローズします。

他の形式にエクスポート: Atom PDF