Amazon S3

Amazon S3 は次のように使用できます。

• データ パイプライン ターゲットとして Databricks (オプション) または Amazon Redshift (必須) を使用するときのクラウド ステージング エリア。クラウド ステージング エリアは、データと変更が適用および保存される前にステージングされる場所です。

• レプリケーション タスクのターゲット。

  • Standard、Premium、Enterprise サブスクリプションを使用して Amazon S3 にデータをレプリケートする方法については、「Standard、Premium、または Enterprise サブスクリプションを使用して、データ レイクにデータをランディングします」を参照してください。
  • Starter サブスクリプションを使用して Amazon S3 にデータをレプリケートする方法については、「Qlik Talend Cloud スターター サブスクリプションを利用したデータのレプリケート」を参照してください。

ランディング データに必要な権限

• Data Movement gateway マシンからアクセス可能な Amazon S3 バケットが必要です。

  Amazon S3 の登録方法については、http://aws.amazon.com/s3/ を参照してください。

• バケット アクセス資格情報: バケット名、 アクセス キー、およびシークレット アクセス キーをメモしておきます。Amazon S3 コネクタ を設定する際に提供する必要があります。

• バケット アクセス権限: 次のバケット アクセス権限が必要です:

  {
  	"Version": "2012-10-17",
  	"Statement": [
  	    {
  	     "Sid": "Stmt1497347821000",
  	     "Effect": "Allow",
  	     "Action": [
                  "s3:GetBucketLocation",
                  "s3:ListBucket"
              ],
              "Resource": [
                  "arn:aws:s3:::YOUR_BUCKET_NAME"
              ]
          },
          {
              "Sid": "Stmt1497344984000",
              "Effect": "Allow",
              "Action": [
                  "s3:PutObject",
                  "s3:GetObject",
                  "s3:DeleteObject"
              ],
              "Resource": [
                  "arn:aws:s3:::YOUR_BUCKET_NAME/target_path",
                  "arn:aws:s3:::YOUR_BUCKET_NAME/target_path/*"
              ]
          }
      ]
  }
  

YOUR_BUCKET_NAME がバケットの名前で、target_path がバケットのターゲット ファイルの意図する場所です。

Qlik Data Gateway - データ移動 前提条件

Data Movement gateway は SSL を使用して AWS に接続します。これには、適切な CA 証明書が Data Movement gateway マシンに存在する必要があります。 そうしないと、接続が失敗します。CA 証明書の目的は、AWS サーバー証明書の所有権を認証することです。

必要な CA 証明書が Linux マシンの次の場所に存在することを確認します。

/etc/pki/tls/certs/ca-bundle.crt

存在しない場合、最も簡単な解決策は、別の Linux マシンから証明書バンドルをコピーすることです。

Amazon S3 接続プロパティの設定

コネクタを構成するには、次の手順を実行します。

1. [接続] で、[接続を作成] をクリックします。

2. Amazon S3 ターゲット コネクタを選択し、次の設定を行います。

データ ターゲット

データ ゲートウェイ：ターゲット データベースへのアクセスに使用する Data Movement gateway を選択します。

ユースケースに応じて、これはデータ ソースからデータを取得するために展開された、同じまたは別の Data Movement gateway になります。Data Movement gateway 展開の可能性については、「 一般的なユース ケース」を参照してください。

接続プロパティ

• アクセス キー: Amazon S3 バケットのアクセス キー。
• 秘密キー: Amazon S3 バケットの秘密キー。

• バケット名: Amazon S3 のバケットの名前。

  情報メモ

  既定のバケット リージョン設定は自動検出であるため、特定のリージョンを設定する必要はありません。ただし、セキュリティ上の配慮から、一部のリージョン (AWS GovCloud など) では、リージョンを明示的に設定する必要がある場合があります。このような場合は、regionCode 内部プロパティを使用してリージョン コードを設定できます。

  リージョン コードのリストについては、https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Concepts.RegionsAndAvailabilityZones.html の「Region availability」(使用可能なリージョン) セクションを参照してください。

  内部プロパティの設定手順については、以下を参照してください。

• AWS PrivateLink の使用: これを選択して Amazon VPC に接続し、VPC エンドポイント URL (例: https://bucket.vpce-1a2b3c4d-5e6f.s3.us-east-1.vpce.amazonaws.com) を指定します。

  情報メモAmazon S3 バケットを Databricks ターゲットのステージング エリアとして使用する場合、[AWS PrivateLink を使用する] オプションはサポートされません。Databricks ターゲットへの接続の設定については、「Databricks」を参照してください。

内部プロパティ

内部プロパティは、特殊なユース ケース向けであるため、ダイアログで公開されません。Qlik サポートによって指示があった場合にのみ使用する必要があります。

項目右側にある と ボタンを使用して、必要に応じてプロパティを追加したり削除したりします。

名前

接続の表示名です。

データ型のマッピング

次の表は、Qlik Cloudデータ型から Amazon S3 データ型への既定のマッピングを示しています。

Qlik Cloud データ型から Amazon S3 へのマッピング

Qlik Cloud データ型から Parquet へのマッピング

Parquet がファイル形式として設定されている場合、Parquet でサポートされるデータ型の数が限られているため、データ型のマッピングは次のようになります。