AWS S3 データ ストリーム
AWS S3 データ ストリームに接続し、Qlik Open Lakehouse プロジェクトのデータ ソースとして利用できます。AWS S3 データ ストリーム接続は、ストリーミング ランディング タスクとストリーミング変換タスクでのみ使用できます。
S3 からの従来のバッチ ETL とは異なり、この実装では S3 をストリーミング ソースとして扱い、継続的な監視とほぼリアルタイムでのデータ取り込みを実現します。S3 バケットに新しいファイルが到着すると、自動的にデータを取り込むようにストリームを構成できます。AWS S3 データ ストリームを使用すると、ファイル パターン マッチング、スキーマ構成、初期バックフィル オプションなど、S3 からのストリーミング データ パイプラインを構成できます。ストリームは S3 を継続的に監視し、ほぼリアルタイム (数分以内) で新しいデータを取り込むため、ログ、イベント、外部システムからのエクスポート、またはパートナー データ フィードなどの組織データに最適です。
前提条件
AWS S3 データ ストリームへの接続を作成するには、次の要件を満たす必要があります。
-
バケットへのアクセスにロール ベース認証を使用する場合、次が必要です。
-
接続に使用するネットワーク統合へのアクセス許可。
-
ARN ロール。または、セットアッププロセス中に作成できます。ネットワーク統合クラスターは、ARN S3 アカウントにアクセスできる必要があります。
-
-
バケットへの接続にアクセス キー認証を使用する場合、次が必要です。
-
AWS アクセス キー ID。
-
AWS の秘密アクセス キー。
-
S3 データストリーム接続プロパティの設定
S3 接続を構成するには、次の手順を実行します。
-
[接続] で、[接続を作成] をクリックします。
-
接続を作成する [スペース] を選択するか、 [新しいデータ スペースを作成] を選択します。
-
[コネクタ名] リストから [S3] を選択するか、検索ボックスを使用します。タイプがソースで、カテゴリがストリーミングであることを確認します。
-
[S3 URI] に、S3 バケットの URI をs3://<bucket-name>/<directory-name> の形式で入力します。
詳細については、「構文の例」を参照してください。
-
認証タイプで、接続方法を選択し、設定を構成します。
ロールベース
ロールベース認証を使用するには、次の手順を完了します。
ARN ロールの作成
-
ネットワーク統合: リストからネットワーク統合を選択します。
-
ARN ロール: AWS で作成した ARN ロールを入力します。これは、arn:aws:iam::{account number}:role/{role name} 形式である必要があります。
AWS ロールの作成
次のステップに従って AWS ロールを作成します。
-
ロールの作成
-
AWS コンソールで、[IAM] に移動します。
-
[ロール] で [ロールの作成] をクリックし、ロールを設定します。
-
[信頼されるエンティティ タイプ]: [カスタム信頼ポリシー] を選択します。
-
ステートメント: Qlik CloudのAWS ロールの作成で作成された信頼されたエンティティポリシーを、AWS のコードペインにコピーします。
-
ロールを作成します。
-
-
インライン ポリシーの作成
-
AWS コンソールで、ロールで、ステップ 1 で作成したロールをクリックします。
-
[権限ポリシー] で、 [権限を追加] > [インライン ポリシーを作成] をクリックします。
-
Qlik Cloud のコードをコピーし、AWS のポリシーに貼り付けます。
-
-
ARN ロールをコピー
-
AWS コンソールのロール ページから、概要 セクションで ARN 値を見つけます。
-
ARNをコピーして、Qlik CloudのARNロールに貼り付けます。
-
アクセス キー
アクセス キーを使用して接続を認証するには、次の手順を完了します。
-
アクセス キー: 認証に使用する一意の AWS アクセス キー ID を入力します。
-
秘密キー: アクセス キーで使用する AWS 秘密アクセス キーを入力します。
- ポリシーの作成
-
AWS コンソールで、[IAM] に移動します。
-
[ポリシー] > [ポリシーを作成] に移動します。
-
Qlik Cloud の [AWS ロールの作成] ダイアログで、ポリシーをコピーします。
-
AWSで、ポリシー エディターにポリシーを貼り付けます。
-
-
新しいポリシーをユーザーにアタッチ
-
アクセスを許可するユーザーに新しいポリシーをアタッチします。
-
接続の作成
セキュリティメソッドを構成したら、接続を作成するために、次の手順を完了します。
-
[名前] に、接続の表示名を入力します。例: My AWS S3 Streaming Source connection
-
[接続をテスト] をクリックして、資格情報を検証します。
-
[作成] をクリックします。
構文の例
| 構文 | 説明 | 例 |
|---|---|---|
| Text | AWS の Amazon S3 オブジェクトの命名ガイドラインに基づく、一般的なテキスト/文字列入力。 | s3://MyS3Bucket/MyDir/MyFile.csv |
| ワイルドカード | パス/ファイル名で「ワイルドカード」として機能する * 文字。パス内でワイルドカードを使用すると、そのパスに含まれるすべてのフォルダーとサブフォルダーが対象となります。 | myS3Bucket/myDir/* myS3Bucket/myDir/*.csv myS3Bucket/myDir/*_customers.csv myS3Bucket/regions/*/*_customers.csv |
| パターン | 日付パターン構文は、ファイル名における日付パターンの位置を示します。 | myS3Bucket/myDir/<yyyy>_<MM>_<dd>_<HH>_<mm>_orders.csv myS3Bucket/myDir/<yyyy>/<MM>/<dd>/<HH>_<mm>_orders.csv |
ターゲット データセットの命名規則
ターゲット データセット名は、次の条件を満たす必要があります。
-
一意であり、ターゲット カタログ内の他のデータセットによってすでに使用されていないこと。
-
ターゲット カタログの次の命名規則に準拠していること。
-
英字 (A〜Z、a〜z) またはアンダースコア (_) で始まること。
-
文字、アンダースコア、数字 (0～9)、またはドル記号 ($) のみで構成されていること。
-
スペースを含め、255 文字を超えないこと。
-