クラウドストレージ連携におけるデータ更新の仕様をご案内します。
データ更新の仕様
クラウドストレージ連携で提供するデータは、種類によって更新頻度が異なります。
データの変更(ファイルの追加・ファイル内の更新・削除)が発生した場合は、過去バージョンのファイルを残さずに置き換えます。
※ CSVファイルについても、変更が発生した差分レコードのみを抜き出した形ではなく、全レコードを含んだ状態のファイルとして配信されます。
また、データの変更が発生した際は、各データフォルダ配下の「update_history」に履歴を記録しており、変更があったファイルを確認できる仕様となっております。
update_historyについて
各データフォルダの配下に「update_history」というフォルダを用意しております。
データの変更(ファイルの追加・ファイル内の更新・削除)が発生した日に、「update_history」フォルダ内へ「yyyymmdd.txt」(例:20260126.txt)というテキストファイルが配置されます。テキストファイルの中には、その日に追加・更新・削除があったファイルの相対パスが1行ずつ記載されております。
【例】
以下のようなフォルダ構成の場合、
sample_data/
├── sample_data_2021.csv
├── sample_data_2022.csv
├── sample_data_2023.csv
├── sample_data_2024.csv
├── sample_data_2025.csv
└── update_history/
└── 20260126.txt「20260126.txt」の中身は以下のようになります。
sample_data/sample_data_2024.csv
sample_data/sample_data_2025.csvこの場合、2026年1月26日の更新に「sample_data_2024.csv」 と「 sample_data_2025.csv」の2ファイルに変更があったことを意味します。
「update_history」に記載されるのはファイル単位のパスのみです。CSV内のどのレコードが変更されたかといった情報は記載されませんので、レコード単位の差分を把握されたい場合は、前回取得分のデータとの突合などの方法をご検討ください。
削除ファイルの確認方法について
配信取り下げなど、弊社判断でCSVやPDFファイルを弊社ストレージより削除した場合は、ファイル更新時と同様、「update_history」内のテキストファイル(yyyymmdd.txt)に該当ファイルのパスが記載されます。なお、テキストファイル上で更新と削除の書き分けは行っておりません。
そのため、テキストファイルに記載されたパスのファイルを実際に取得された際に、該当ファイルが存在する場合は「更新」もしくは「追加」、存在しない場合は「削除」とご判断いただく運用となります。
コメント
0件のコメント
記事コメントは受け付けていません。