DynamoDBをJSON出力 + CSV変換

2019-09-02

JSONからCSVファイルに変換するツールを紹介

DynamoDBのレコードをCSVで出力したい

  • 最近JSONを扱う機会が増えてきました。AWSでは、IAMやリソースのpolicyを定義する際にJSONを使用します。
  • 今回はDynamo DB を使っていて、どうしてもJSON を扱う必要がありましたので背景をご説明します。Dynamo DBは、コンソールを使って「CSVへエクスポート」を行うことが可能です(以下メニューを参照)。しかし、最大で100件しかエクスポートすることができません。レコードが数千、数万ある場合は、とてもコンソールを使ったエクスポートでは役不足なのです。

CLIによるDynamoDBのレコードをエクスポート

  • AWS CLIを使用することで、DynamoDBのレコードを全件エクスポートすることが可能です。以下、コマンド実行例です。
  • AWS CLIによるエクスポートは、JSONファイルとなります。

$ aws dynamodb scan --table-name table01 > table01.out

SQLIFYを使ってJSONを変換する

  • JSONからCSVファイルに変換する方法はいくつか見つかり、pythonを使った変換プログラムやExcel による変換方法が紹介されています。
  • 僕はExcelによる変換を試すものの苦戦し、pythonのプログラムを試す余裕もない…。そんな時に見つけたのがSQLFYを使った変換です。数クリックで簡単に変換することができました。
  • ただし、サイズの大きいJSONは注意が必要で、Free planの場合に上限があります。
  • 上記URLにアクセスします。JSONファイルをアップロードします。
  • 変換後のフォーマットにCSVを選択します。アップロードが開始します。
  • Autodetect fieldsを選びます。不要な項目を削除します。
  • Save schema and continueを選びます。変換後のファイルをダウンロードします。
 

(補足) jqツールの利用

  • 今回は変換ツールの利用をご紹介しましたが、下記記事ではjqツールを使って加工する方法を紹介しています。合わせてご覧ください。

AWS, DynamoDB

Posted by takaaki