Google Cloud
GCSファイル存在チェック
概要
このブロックは、GCS上の複数ファイルの存在確認を行い、全て存在する場合は次のブロックへ進みます。存在しないものが1つでもあるとエラーとなり、カスタムエラーメッセージを表示します。
このブロックのユースケースには以下のようなものが考えられます。
- 入力データ不足:データパイプラインの前処理で、必要な全ての入力ファイルがGCSに存在しない場合、エラーメッセージを表示し処理を停止。
- バックアップファイル欠落:定期的なバックアップが適切に行われているかチェックし、期待されるバックアップファイルが存在しない場合、エラーメッセージを表示し処理を停止。
- データ同期不一致:複数のGCSバケット間でデータが正しく同期されているか確認し、同期されていないファイルが検出された場合、エラーメッセージを表示し処理を停止。
プロパティ
プロパティ名 | 説明 |
---|---|
ブロック名 |
編集パネルに配置した当該ブロックの表示名が変更できます。 ブロックリストパネル中のブロック名は変更されません。 |
GCPサービスアカウント | このブロックで使用するGCPサービスアカウントを選択します。 |
存在確認するGCS URLのリスト |
存在確認する 複数指定可能です。複数指定する場合は、「+」ボタンをクリックして追加します。 |
エラーメッセージ |
存在確認するGCS URLのリスト中で、少なくとも1つの存在しないものがある場合、指定したエラーメッセージがログに出力されます。 エラーが発生した場合(少なくとも1つの存在しないものがある場合)、メッセージ文に指定したファイル群を表現に利用できるようになっています。エラーメッセージの変数展開時には、以下の特殊な変数が使用できます。
これらの変数は、そのまま展開するとJSONエンコードされ、例えば["gs://my-bucket/foo/bar","gs://my-bucket/foo/baz"]のように表示されます。
|
ブロックメモ | このブロックに関するメモが記載できます。このブロックの処理に影響しません。 |