Google Cloud Storage

Google Cloud Storage は、Google Cloud のインフラストラクチャでデータを保存およびアクセスするための Google の統合オブジェクトストレージサービスです。高い可用性とグローバルな冗長性を提供し、Google Cloud エコシステム全体とシームレスに統合されています。

Qlik Talend Cloud は、ターゲットとなるバケットへの読み取り権限を持つ Google Cloud サービスアカウントを使用して、Google Cloud Storage (GCS) に接続します。コネクタは、指定されたバケットからファイルを取得し、ファイルの内容をサンプリングしてスキーマを自動的に検出し、ファイルの変更タイムスタンプに基づいて増分データレプリケーションを実行します。

便利なリンクやサポートされている機能など、このコネクタの概要について説明します。

機能/性能	サポートの詳細
サポートされている Qlik Talend Data Integration プロジェクト	レプリケーションプロジェクトのみ。データパイプラインプロジェクトはサポートされていません。
ターゲットの更新方法	レプリケーションタスク: 変更を適用変更の保存データレイクタスクにデータをランディング: 変更データキャプチャ (CDC)
メタデータの管理	手動でのメタデータ生成は必要ありません。
スキーマの進化	[列のデータ型を変更] 操作のみサポートされています。
LOB 列 (NCLOB、CLOB、BLOB) のレプリケーション	サポートされていません。
スケジュールされた CDC	必須。これにより、ソースの変更に応じてターゲットが最新の状態に保たれます。レプリケーションタスクについては、「タスクのスケジューリング」を参照してください。レイクランディングタスクについては、「レイクランディングタスクの CDC のスケジュール設定」を参照してください。
通知	部分的にサポート動作変更時の通知の設定
監視	このコネクタではフルロードは関係ないため、CDC のみ。個々のデータタスクの監視
JSON 列ペイロードの自動ネスト解除	サポートされていません。ソースデータセット内の JSON 列ペイロードは、ターゲット上で自動的にネスト解除されません。

認証の準備

データにアクセスするには、アカウント資格情報を使用して接続を認証する必要があります。

使用するアカウントに、フェッチするテーブルへのアクセス権があることを確認してください。

Google Cloud Storage アカウントを設定するには、次が必要です。

Cloud Storage API が有効化された Google Cloud Platform (GCP) プロジェクト。
レプリケートするファイルを含む Google Cloud Storage (GCS) バケット。
バケットへの読み取りアクセス権を持つサービスアカウント。
推奨されるロールは、必要な storage.objects.get および storage.objects.list 権限を付与する Storage Object Viewer (roles/storage.objectViewer) です。詳細については、「Google Cloud Storage IAM ロールのドキュメンテーション」を参照してください。
サービスアカウント用にダウンロードされたサービスアカウントの JSON キーファイル。

サービスアカウントを作成し資格情報を取得するには、次の手順に従ってください。

Google Cloud アカウントにログインします。
[IAMと管理] > [サービスアカウント] に移動します。
[サービスアカウントを作成] をクリックします。
サービスアカウントの名前と説明を入力し、 [作成して続行] をクリックします。
サービスアカウントに、Storage Object Viewer ロール、または storage.objects.get および storage.objects.list の権限を持つカスタムロールを付与します。
[続行] および [完了] をクリックします。
新しく作成したサービスアカウントで、 [アクション] メニューをクリックします。
[キーを管理] > [キーを追加] > [新しいキーを作成] に移動します。
[JSON] を選択し、 [作成] をクリックします。
JSON キーファイルが使用中のマシンに直接ダウンロードされます。このファイルには、接続を確立するために必要な project_id、client_email、private_key の各項目が含まれています。
キーファイルは一度だけダウンロードできます。このファイルは Google Cloud リソースへのアクセスを提供するものであるため、安全に保管してバックアップしてください。

対応ファイル形式

区切り記号付きテキスト: CSV, TSV, PSV, TXT (設定可能な区切り記号)
JSON Lines (.jsonl)
Parquet (.parquet)
Avro (.avro)
上記のいずれかの形式を含む Gzip 圧縮ファイル (.gz)
CSV、JSON Lines、TXT、TSV、PSV、または Gzip ファイルを含む ZIP アーカイブ

接続の作成

詳細については、「SaaSアプリケーションへの接続」を参照してください。

必要な接続プロパティを入力します。
接続名に接続の名前を入力します。
接続メタデータを開くを選択して、作成時の接続のメタデータを定義します。
[作成] をクリックします。

接続の設定
設定	説明
データゲートウェイ	ユースケースに応じて Data Movement gateway を選択します。情報メモ Qlik Talend Cloud スターターサブスクリプションでは Data Movement gateway をサポートしていないため、この項目は使用できません。別のサブスクリプションティアを利用しており、Data Movement gateway を使用しない場合は、 [None] (なし) を選択します。 Data Movement gateway の利点とそれを必要とするユースケースの詳細については、「Qlik データゲートウェイ - データ移動」を参照してください。
開始日	ソースからターゲットにデータをレプリケートする必要がある日付を `MM/DD/YYYY` 形式で入力します。
クライアントのメール	サービスアカウントの JSON キーファイルからのクライアントのメール。
プロジェクト ID	サービスアカウントの JSON キーファイルからのプロジェクト ID。
バケット	ファイルが保存されている Google Cloud Storage (GCS) バケットの名前。例: `my-gcs-bucket`。 `gs://` プレフィックスを含めないでください。
テーブル	テーブルを構成して、読み取るファイルとその内容の解釈方法を制御します。各テーブル定義には、ファイル検索パターン、テーブル名、高度な動作のオプション設定が含まれます。
プライベートキー	サービスアカウントの JSON キーファイルからのプライベートキー。

テーブルの構成

テーブル構成の各エントリは、ターゲットバケット内のファイルから作成された論理テーブルを指定します。各テーブルに対して、次のプロパティを設定できます。

プロパティ	必須またはオプション	説明
テーブル名	必須	論理テーブルの名前を指定します。例: `my_orders_csv`。この名前は、Qlik Talend Cloud でストリーム名として表示されます。
検索パターン	必須	ファイル名に一致する正規表現を入力します。例: すべての CSV ファイルを選択する場合は `.csv$`。
検索プレフィックス	オプション	バケット内のパスプレフィックスを指定してファイル検索を絞り込みます。例: `exports/orders/`。プレフィックスを使用すると、スキャンするファイル数が制限され、パフォーマンスが向上します。
キープロパティ	オプション	プライマリキーを定義するために、カンマ区切りで 1 つ以上の列名を指定します例: `id` または `id,date`。
日付の上書き	オプション	日時項目として扱う列名を、カンマ区切りで指定します。スキーマ検出中にこれらの項目が自動的に検出されない場合は、このオプションを使用します。
区切り記号	オプション	ファイル内の値を区切る記号を指定します。既定は `,` (カンマ) です。タブ区切り (TSV) ファイルには `\t` を、パイプ区切り (PSV) ファイルには `\|` を使用します。空白のままにすると、システムはファイルの拡張子に基づいて区切り記号を自動的に検出します。

レプリケートされたテーブル

テーブルは、テーブル構成に基づいて作成されます (上記参照)。各テーブルは、指定された検索パターンとオプションのプレフィックスの両方に一致する、Google Cloud Storage (GCS) バケット内の一連のファイルに対応します。コネクタは、テーブルごとに最大 5 つのファイルをサンプリングし、5 行ごとに読み取り、ファイルごとに最大 1,000 レコードを分析することでスキーマを自動的に検出します。

レプリケーションは増分であり、ファイルの更新タイムスタンプを使用して変更を追跡します。各抽出において、コネクタは前回の同期成功時以降に更新されたファイルのみを処理します。これは同期ブックマークに記録された情報を基に判断されます。

以下のシステム列がデフォルトで各テーブルに追加されます。

列	説明
`_sdc_source_bucket`	レコードが読み取られた Google Cloud Storage (GCS) バケットの名前。
`_sdc_source_file`	レコードを含むファイルのフルパス。
`_sdc_source_lineno`	ファイル内のレコードの行番号。
`_sdc_extra`	解析中に検出された、スキーマと一致しない追加の列。JSONL ファイルにのみ適用されます。

制限と考慮事項

サービスアカウントの資格情報 (project_id、client_email、private_key) は、JSON キーファイルから抽出された個別の値として提供する必要があります。ファイルのアップロードはサポートされていません。
Gzip 圧縮ファイル (.gz) がサポートされています。コネクタは、内部ファイル形式を決定するために、gzipヘッダーから元のファイル名を読み取ります。--no-name で作成された Gzip ファイル (ヘッダーにファイル名が保存されない) はスキップされます。
ネストされた圧縮 (例: ..gz の中の .gz や .zip の中の .zip）はサポートされていません。これらのファイルはスキップされます。
.csv、.txt、.tsv、.psv、または .jsonl 拡張子のファイルは、gzip マジックバイトが確認され、gzip 圧縮されている場合は .gz 拡張子がなくても解凍されます。
search_pattern 項目では、glob パターンではなく正規表現構文を使用します。たとえば、\.csv$ の代わりに *.csv を使用します。
コネクタには、Google Cloud Storage (GCS) APIレート制限 (429) および一時的なサーバーエラー (500、502、503、504) に対して、指数バックオフによる組み込みの再試行ロジックがあります。失敗するまでに最大 5 回試行されます。
認識された拡張子のないファイルはスキップされ、警告が発行されます。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。

こちらにフィードバックをお寄せください