BigQuery
複数テーブルから GCS へエクスポート
概要
このブロックは、BigQueryの複数のテーブルをGoogle Cloud Storage(GCS)上のファイル群へ並列に出力(エクスポート)します。
エクスポートするファイルのデータ形式は、以下いずれかのフォーマットが選択できます。
フォーマット | 説明 |
---|---|
CSV | CSV形式のデータです。 |
NEWLINE_DELIMITED_JSON | 改行区切りのJSON形式データです。JSON Linesと同形式です。 |
注意
ファイルのエクスポートは、1つのファイルにつき1GBまでです。
ヒント
1GBを超えるテーブルデータをエクスポートしたい場合は、ワイルドカード(*
)を使って複数のファイルにエクスポートしてください。詳しくは、以下の「出力先ファイルの拡張子」プロパティの説明を参照願います。
プロパティ
プロパティ名 | 説明 |
---|---|
ブロック名 |
編集パネルに配置した当該ブロックの表示名が変更できます。 ブロックリストパネル中のブロック名は変更されません。 |
GCPサービスアカウント | このブロックで使用するGCPサービスアカウントを選択します。 |
出力ファイル群のGCS URL |
ファイルの出力先となるGCS上のURL("gs://バケット名/フォルダー名"のようなURL)を指定します。 ファイルは、出力対象のテーブルID+出力先ファイルの拡張子というファイル名で出力されます。 例えば、出力対象のテーブルIDがsample1およびsample2で、出力先ファイルの拡張子がcsvだった場合は、sample1.csvおよびsample2.csvというファイル名で出力されます。 |
出力先ファイルの拡張子 |
出力先ファイルの拡張子を指定します。省略した場合は、「ファイル形式」プロパティによって拡張子が自動設定されます。 1GBを超えるテーブルデータをエクスポートしたい場合は、ワイルドカード( -*.csv この場合、作成されるファイルは以下のようになります。 gs://my-bucket/my-folder/table-id-000000000000.csv gs://my-bucket/my-folder/table-id-000000000001.csv gs://my-bucket/my-folder/table-id-000000000002.csv ... このように、ワイルドカード( |
出力元のデータセット |
出力元のデータセットIDを指定します。 |
出力元のテーブル |
出力対象テーブル群を特定するためのテーブルIDのプリフィックスを指定します。データセット内のすべてのテーブルを出力対象とする場合は、空欄にします。 例えば、データセット内にsample1、sample2およびfooというテーブルが存在し、sampleと指定した場合は、sample1とsample2のテーブルが出力対象です。 |
ブロックメモ | このブロックに関するメモが記載できます。このブロックの処理に影響しません。 |
ファイル形式 |
出力するファイルのフォーマットを選択します。選択できるフォーマットは次のいずれかです。
|
CSVの区切り文字 |
「ファイル形式」がCSVの場合の区切り文字を選択もしくは指定します。選択できる区切り文字は以下のいずれかです。
「その他」を選択した場合は、「その他」の横の入力フィールドに、区切り文字を指定してください。 |
ヘッダー行を出力する | 「ファイル形式」がCSVの場合、ヘッダ行を出力するかしないかを指定します。 |
ファイル圧縮 |
出力するファイルを圧縮するかどうかを選択します。
このプロパティを使って圧縮したファイルは、そのまま「GCSから単一テーブルへロード」や「GCSから複数テーブルへロード」を使ってBigQueryのテーブルにロードできます。 |
出力ファイルにBOMを追加 |
チェックボックスにチェックを付けると出力ファイルにBOMを追加します。 |