Kinesis ストリーム
Amazon Kinesis ストリームを作成して、Qlik がレイクハウス クラスターからインスタンスの状態情報をキャプチャして伝搬できるようにします。
Kinesis ストリームは、生成されたデータの収集、処理、分析を可能にするリアルタイム データ ストリーミング サービスです。大量のストリーミング データを低レイテンシーで処理できるように設計されており、リアルタイムのモニタリング、分析、分散コンポーネント間のメッセージングに適しています。
Qlik Open Lakehouse 展開では、Kinesis ストリームを使用して、レイクハウス クラスター内の各インスタンスの CPU 使用率、メモリ消費量、ヘルスチェックなどのステータスとパフォーマンス メトリクスを収集および共有します。
クラスター内のインスタンスは互いに直接通信しません。その代わりに、Kinesis ストリームをポーリングしてピアに関する情報を取得します。このメカニズムにより、インスタンスは分散タスクを調整し、互いの状態を認識し、クラスター全体でスケーラブルでフォールト トレラントな実行を可能にします。
前提条件
Qlik Open Lakehouse をホスティングするための VPC、サブネット、可用性ゾーンが作成されていることを確認してください。
Kinesis ストリームの作成
Kinesis ストリームを作成するには、以下を実行します。
-
AWSコンソールで、Amazon Kinesis に移動します。
-
[データ ストリーム] で [データ ストリームの作成] をクリックし、設定を行います。
-
データ ストリーム名: ストリームの名前を入力します。
-
容量モード: [プロビジョニング済み] オプションを選択します。
-
プロビジョニングされたシャード: この値が 1 に設定されていることを確認します。
-
[データ ストリームの作成] をクリックし、ストリーム名をメモします。