ブロックリファレンス

BLOCKS Reference

BigQuery

複数テーブルから GCS へエクスポート

概要

このブロックは、BigQueryopen_in_newの複数のテーブルをGoogle Cloud Storage(GCS)open_in_new上のファイル群へ並列に出力(エクスポート)します。

エクスポートするファイルのデータ形式は、以下いずれかのフォーマットが選択できます。

フォーマット 説明
CSV CSVopen_in_new形式のデータです。
NEWLINE_DELIMITED_JSON 改行区切りのJSON形式データです。JSON Linesopen_in_newと同形式です。

report 注意

ファイルのエクスポートは、1つのファイルにつき1GBまでです。

lightbulb ヒント

1GBを超えるテーブルデータをエクスポートしたい場合は、ワイルドカード(*)を使って複数のファイルにエクスポートしてください。詳しくは、以下の「出力先ファイルの拡張子」プロパティの説明を参照願います。

プロパティ

プロパティ名 説明
ブロック名

編集パネルに配置した当該ブロックの表示名が変更できます。

ブロックリストパネル中のブロック名は変更されません。

GCPサービスアカウント このブロックで使用するGCPサービスアカウントを選択します。
出力ファイル群のGCS URL

ファイルの出力先となるGCS上のURL("gs://バケット名/フォルダー名"のようなURL)を指定します。

ファイルは、出力対象のテーブルID+出力先ファイルの拡張子というファイル名で出力されます。

例えば、出力対象のテーブルIDがsample1およびsample2で、出力先ファイルの拡張子がcsvだった場合は、sample1.csvおよびsample2.csvというファイル名で出力されます。

変数展開の指定が可能][%形式の文字列書式の指定が可能]
出力先ファイルの拡張子

出力先ファイルの拡張子を指定します。省略した場合は、「ファイル形式」プロパティによって拡張子が自動設定されます。

1GBを超えるテーブルデータをエクスポートしたい場合は、ワイルドカード(*)を指定して複数のファイルに分割してください。ワイルドカードは、以下のように指定します。

-*.csv

この場合、作成されるファイルは以下のようになります。

gs://my-bucket/my-folder/table-id-000000000000.csv
gs://my-bucket/my-folder/table-id-000000000001.csv
gs://my-bucket/my-folder/table-id-000000000002.csv
...

このように、ワイルドカード(*)の部分が、12桁の0から始まる数値に置き換えられます。

変数展開の指定が可能][%形式の文字列書式の指定が可能]
出力元のデータセット

出力元のデータセットIDを指定します。

変数展開の指定が可能][%形式の文字列書式の指定が可能]
出力元のテーブル

出力対象テーブル群を特定するためのテーブルIDのプリフィックスを指定します。データセット内のすべてのテーブルを出力対象とする場合は、空欄にします。

例えば、データセット内にsample1sample2およびfooというテーブルが存在し、sampleと指定した場合は、sample1sample2のテーブルが出力対象です。

変数展開の指定が可能][%形式の文字列書式の指定が可能]
ブロックメモ このブロックに関するメモが記載できます。このブロックの処理に影響しません。
ファイル形式

出力するファイルのフォーマットを選択します。選択できるフォーマットは次のいずれかです。

  • CSV
  • NEWLINE_DELIMITED_JSON
CSVの区切り文字

「ファイル形式」がCSVの場合の区切り文字を選択もしくは指定します。選択できる区切り文字は以下のいずれかです。

  • カンマ
  • タブ
  • パイプ
  • その他

「その他」を選択した場合は、「その他」の横の入力フィールドに、区切り文字を指定してください。

ヘッダー行を出力する 「ファイル形式」がCSVの場合、ヘッダ行を出力するかしないかを指定します。
ファイル圧縮

出力するファイルを圧縮するかどうかを選択します。

  • 圧縮しない
  • GZIP

このプロパティを使って圧縮したファイルは、そのまま「GCSから単一テーブルへロード」や「GCSから複数テーブルへロード」を使ってBigQueryのテーブルにロードできます。

出力ファイルにBOMを追加

チェックボックスにチェックを付けると出力ファイルにBOMopen_in_newを追加します。

この情報は役に立ちましたか?