AWS Kinesis データ ストリーム
Amazon Kinesis サービスに接続して、Qlik Open Lakehouse プロジェクトでデータ ソースとして使用します。Kinesis 接続は、ストリーミング ランディング タスクとストリーミング変換タスクでのみ使用できます。
AWS Kinesis データストリームは、リアルタイムのデータ ストリームを継続的にキャプチャして処理するためのフル マネージド型サービスです。Qlik Open Lakehouse プロジェクトでは、Kinesis ストリームをストリーミング データ ソースとして使用して、高頻度のイベントやレコードを Apache Iceberg テーブルに取り込むことができます。ストリームから読み取られたデータは、ストリーミング ランディングおよびストリーミング変換タスクを通じて処理されます。これにより、後続の分析やデータ活用に適した、オープンかつクエリ可能なテーブル形式で、ストリーミング データのほぼリアルタイムでの取り込み、変換、保存が可能となります。ストリームは、変換タスクを使用することで複数のデータセットに分割できます。
前提条件
Amazon Kinesis サービスへの接続を作成するには、次が必要です。
-
バケットへのアクセスにロール ベース認証を使用する場合、次が必要です。
-
接続に使用するネットワーク統合へのアクセス許可。
-
ARN ロール (セットアップ プロセス中に作成することも可能)。
-
-
バケットへのアクセスにアクセス キー認証を使用する場合、次が必要です。
-
AWS アクセス キー ID。
-
AWS の秘密アクセス キー。
-
Kinesis 接続プロパティの設定
Kinesis 接続を構成するには、次を実行します。
-
[接続] で、[接続を作成] をクリックします。
-
接続を作成する [スペース] を選択するか、 [新しいデータ スペースを作成] を選択します。
-
[コネクタ名] リストから [Kinesis] を選択するか、検索ボックスを使用します。[タイプ] が [ソース] で、 [カテゴリ] が [ストリーミング] であることを確認します。
-
Kinesis サービスがホストされている [リージョン] を選択します。
-
[認証タイプ] で、接続方法を選択し、設定を構成します。
ロールベース
ロールベース認証を使用するには、次のステップを完了します。
ARN ロールの作成
-
接続の [ネットワーク統合] を選択します。
-
すでに持っている場合は、 [ARN ロール] を入力します。
AWS ロールの作成
次のステップに従って AWS ロールを作成します。
-
ロールの作成
-
AWS コンソールで、[IAM] に移動します。
-
[ロール] で [ロールの作成] をクリックし、ロールを設定します。
-
[信頼されるエンティティ タイプ]: [カスタム信頼ポリシー] を選択します。
-
ステートメント: Qlik Cloudの [AWS ロールの作成] で作成された [信頼できるエンティティ] ポリシーを、AWS のコード ペインにコピーします。
-
ロールを作成します。
-
-
インライン ポリシーの作成
-
[AWS コンソール] の [ロール] で、ステップ 1 で作成したロールをクリックします。
-
[権限ポリシー] で、 [権限を追加] > [インライン ポリシーを作成] をクリックします。
-
Qlik Cloud のコードをコピーし、AWS のポリシーに貼り付けます。
情報メモこのコードは、選択したリージョン内のすべての AWS アカウントに存在する、すべての Kinesis ストリームへの Kinesis 接続アクセスを許可します。
-
-
ARN ロールのコピー
-
[AWS コンソール] の [ロール] ページから、 [概要] セクションにある ARN 値を見つけます。
-
ARN をコピーして、Qlik Cloud の [ARN ロール] に貼り付けます。
-
アクセス キー
アクセス キーを使用して接続を認証するには、次のステップを完了します。
-
アクセス キー: 認証に使用する一意の AWS アクセス キー ID を入力します。
-
秘密キー: アクセス キーで使用する AWS 秘密アクセス キーを入力します。
- ポリシーの作成
-
AWS コンソールで、[IAM] に移動します。
-
[ポリシー] > [ポリシーを作成] に移動します。
-
Qlik Cloud の [AWS ロールの作成] ダイアログで、ポリシーをコピーします。
-
AWSで、ポリシー エディターにポリシーを貼り付けます。
情報メモこのコードは、選択したリージョン内のすべての AWS アカウントに存在する、すべての Kinesis ストリームへの Kinesis 接続アクセスを許可します。
-
-
新しいポリシーをユーザーにアタッチする
-
アクセスを許可するユーザーに、新しいポリシーをアタッチします。
-
接続の作成
セキュリティ方法の設定が完了したら、次のステップに従って接続を作成します。
-
[名前] に、接続の表示名を入力します。例: My Kinesis Streaming Source connection
-
[接続をテスト] をクリックして、資格情報を検証します。
-
[作成] をクリックします。