ブロックリファレンス

BLOCKS Reference

Google Cloud

GCSファイル存在チェック

概要

このブロックは、GCS上の複数ファイルの存在確認を行い、全て存在する場合は次のブロックへ進みます。存在しないものが1つでもあるとエラーとなり、カスタムエラーメッセージを表示します。

このブロックのユースケースには以下のようなものが考えられます。

  • 入力データ不足:データパイプラインの前処理で、必要な全ての入力ファイルがGCSに存在しない場合、エラーメッセージを表示し処理を停止。
  • バックアップファイル欠落:定期的なバックアップが適切に行われているかチェックし、期待されるバックアップファイルが存在しない場合、エラーメッセージを表示し処理を停止。
  • データ同期不一致:複数のGCSバケット間でデータが正しく同期されているか確認し、同期されていないファイルが検出された場合、エラーメッセージを表示し処理を停止。

プロパティ

プロパティ名 説明
ブロック名

編集パネルに配置した当該ブロックの表示名が変更できます。

ブロックリストパネル中のブロック名は変更されません。

GCPサービスアカウント このブロックで使用するGCPサービスアカウントを選択します。
存在確認するGCS URLのリスト

存在確認するgs://my-bucket/foo/bar.csvのようなGCS URLを指定します。先頭のgs://が指定されていなければ、gs://を自動補完して処理します。

複数指定可能です。複数指定する場合は、「+」ボタンをクリックして追加します。

変数展開の指定が可能][%形式の文字列書式の指定が可能]
エラーメッセージ

存在確認するGCS URLのリスト中で、少なくとも1つの存在しないものがある場合、指定したエラーメッセージがログに出力されます。

エラーが発生した場合(少なくとも1つの存在しないものがある場合)、メッセージ文に指定したファイル群を表現に利用できるようになっています。エラーメッセージの変数展開時には、以下の特殊な変数が使用できます。

  • _gcs_all_files:確認対象の全GCS URLを配列形式で列挙
  • _gcs_not_found_files:見つからなかったGCS URLを配列形式で列挙

これらの変数は、そのまま展開するとJSONエンコードされ、例えば["gs://my-bucket/foo/bar","gs://my-bucket/foo/baz"]のように表示されます。

  • 指定例:
    エラーが発生しました。全てのファイルを確認対象としていたGCS URLは次の通りです: ${_gcs_all_files}。ただし、以下のファイルが見つかりませんでした: ${_gcs_not_found_files}。指定されたファイルの存在を確認してください。
    
  • 出力例:
    エラーが発生しました。全てのファイルを確認対象としていたGCS URLは次の通りです: ["gs://my-bucket/foo/bar.csv","gs://my-bucket/foo/baz.csv"]。ただし、以下のファイルが見つかりませんでした: ["gs://my-bucket/foo/bar.csv"]。指定されたファイルの存在を確認してください。
    
変数展開の指定が可能][%形式の文字列書式の指定が可能]
ブロックメモ このブロックに関するメモが記載できます。このブロックの処理に影響しません。

この情報は役に立ちましたか?