S3 Inventoryビューアー・CSV/Excel変換
Amazon S3 Inventoryのmanifest.jsonとCSV.GZまたはParquetを読み込み、オブジェクト一覧を表示・結合してCSV/Excelへ変換します。
データ変換前後の確認ポイント
1変換前に確認
- 元ファイルを残し、文字コードやデータ形式を確認してから変換します。
- 先頭行が見出しか、列名やキーが期待どおりかを確認します。
- 個人情報や機密データを含む場合は、処理場所と共有先を確認します。
2変換後に確認
- プレビューで日本語、列名、行数が正しく読めているか確認します。
- Excelや利用先のシステムで開き、日付や長い数値の表示も確認します。
- 変換後のファイルは別名で保存し、元データと比較できるようにします。
次に続けやすい作業
S3 Inventoryビューアーとは？
manifest.jsonのfileSchemaを列名として使い、ヘッダーを持たないCSV.GZを正しく読み取ります。分割された複数データファイルも1つに結合できます。
manifestとデータファイルを一緒に選択
S3 Inventoryはmanifest.jsonと、1個以上のCSV.GZ・ORC・Parquetデータで構成されます。このツールではmanifestとCSV.GZまたはParquetをローカルへ取得して一緒に選択します。
CSVはmanifestのfileSchema順に列を割り当てます。Parquetはファイル内の列情報を読み取り、複数ファイルを共通列へ統合します。
確認できるInventory項目
- Bucket・Key・VersionId
- Size・LastModifiedDate・ETag
- StorageClass・IsLatest・DeleteMarker
- 暗号化・レプリケーション・Object Lockの任意列
- データ元ファイル名
対応形式
CSV.GZ
manifestのfileSchemaを使ってヘッダーなしCSVを読み取ります。
Parquet
Parquet内のスキーマを読み取り、列と値を直接展開します。
ORC
現在は未対応です。S3 Inventory設定でCSVまたはParquetを選んでください。
使い方
- 1manifest.jsonとデータファイルを同じ場所へ取得します
- 2manifestとCSV.GZまたはParquetをまとめて選択します
- 3読み込みボタンを押して一覧を確認します
- 4CSVまたはExcelを保存します
よくある質問
manifest.jsonだけで一覧を表示できますか？
いいえ。manifestにはデータファイルの場所とスキーマがあり、実際のオブジェクト一覧はCSV.GZまたはParquetに入っています。
分割されたファイルを結合できますか？
はい。選択したデータファイルを同じ列構成へ揃えて結合します。
S3へ直接接続しますか？
いいえ。認証情報は使わず、端末へ取得済みのファイルだけをブラウザ内で処理します。
あわせて使いやすい関連ツール
使い方に迷ったときはガイドも確認
画像形式の違い、圧縮のコツ、PDFのまとめ方などをガイドページで整理しています。