Ana içeriğe geç Tamamlayıcı içeriğe geç

Amazon S3

Amazon S3 aşağıdaki amaçlarla kullanılabilir:

  • Databricks (isteğe bağlı) ve Amazon Redshift (gerekli) veri işlem hattı platformlarıyla çalışırken bir bulut hazırlama alanı. Bulut hazırlama alanı, verilerin ve değişikliklerin uygulanıp depolanmadan önce hazırlandığı yerdir.
  • Bir "Veri gölüne veri yerleştir" çoğaltma görevinde bir hedef.

Yerleştirme verileri için gereken izinler

  • Veri Hareketi ağ geçidi makinesinden erişilebilen bir Amazon S3 demetiniz olmalıdır.

    Amazon S3'e kaydolma ile ilgili bilgiler için bk. http://aws.amazon.com/s3/.

  • Demet erişimi kimlik bilgileri: Demet adı, erişim anahtarı ve gizli erişim anahtarını not alın; Amazon S3 connector ayarlarında bunları sağlamanız gerekecektir.
  • Demet erişim izinleri: Aşağıdaki demet erişim izinleri gereklidir:

     
    {
    	"Version": "2012-10-17",
    	"Statement": [
    	    {
    	     "Sid": "Stmt1497347821000",
    	     "Effect": "Allow",
    	     "Action": [
                    "s3:GetBucketLocation",
                    "s3:ListBucket"
                ],
                "Resource": [
                    "arn:aws:s3:::YOUR_BUCKET_NAME"
                ]
            },
            {
                "Sid": "Stmt1497344984000",
                "Effect": "Allow",
                "Action": [
                    "s3:PutObject",
                    "s3:GetObject",
                    "s3:DeleteObject"
                ],
                "Resource": [
                    "arn:aws:s3:::YOUR_BUCKET_NAME/target_path",
                    "arn:aws:s3:::YOUR_BUCKET_NAME/target_path/*"
                ]
            }
        ]
    }
    

YOUR_BUCKET_NAME, demetinizin adı, target_path ise demetinizdeki hedef dosyaların istenen konumudur.

Bilgi notu

Hedef yol, demet köküyse boş bir dize ile “/target_path” belirtmeniz yeterlidir.

Qlik Data Gateway - Veri Hareketi önkoşulları

Veri Hareketi ağ geçidi, AWS'ye SSL kullanarak bağlanır. Bu, Veri Hareketi ağ geçidi makinesinde uygun bir CA sertifikası durmasını gerektirir; aksi takdirde bağlantı başarısız olur. CA sertifikasının amacı, AWS sunucu sertifikasının sahipliğini doğrulamaktır.

Gerekli CA sertifikasının Linux makinesinde şu konumda mevcut olduğundan emin olun:

/etc/pki/tls/certs/ca-bundle.crt

Mevcut değilse, en basit çözüm sertifika kümesini başka bir Linux makinesinden kopyalamaktır.

Amazon S3 bağlantı özelliklerini ayarlama

Veri hedefi

Veri ağ geçidi: Hedef veritabanına erişmek için kullanmak istediğiniz Veri Hareketi ağ geçidi öğesini seçin.

Kullanım durumunuza bağlı olarak, bu ya veri kaynağından veri indirmek için dağıtılanVeri Hareketi ağ geçidi ile aynı ya da farklı bir veri kaynağı olacaktır. Muhtemel Veri Hareketi ağ geçidi dağıtım olasılıkları hakkında bilgi için bk. Yaygın kullanım durumları.

Bilgi notuVeri Hareketi ağ geçidi 2023.5.10 veya daha yeni bir sürüm gerektirir.

Bağlantı özellikleri

  • Erişim anahtarı: Amazon S3 demetiniz için erişim anahtarı.
  • Parola anahtarı: Amazon S3 demetinizin gizli anahtarı.
  • Demet adı: Amazon S3 demetinizin adı.

    Bilgi notu

    Varsayılan demet bölgesi ayarı otomatik algılamadır, bu da belirli bir bölge ayarlama ihtiyacını ortadan kaldırır. Ancak güvenlikle ilgili hususlar nedeniyle bazı bölgeler için (örneğin AWS GovCloud) bölgeyi açıkça ayarlamanız gerekebilir. Böyle bir durumda, regionCode dahili özelliğini kullanarak bölge kodunu ayarlayabilirsiniz.

    Bölge kodlarının bir listesi için şu adresteki Bölge kullanılabilirliği bölümüne bakın: https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Concepts.RegionsAndAvailabilityZones.html

    Dahili özelliklerin ayarlanmasıyla ilgili talimatlar için aşağıya bakın.

  • AWS PrivateLink kullanın: Bir Amazon VPC'ye bağlanmak için bunu seçin ve ardından VPC Bitiş Noktası URL'sini belirtin (örneğin, https://bucket.vpce-1a2b3c4d-5e6f.s3.us-east-1.vpce.amazonaws.com).

    Bilgi notuAWS PrivateLink Kullan seçeneği, bir Databricks hedefi için hazırlama alanı olarak bir Amazon S3 demeti kullanılırken desteklenmez. Bir Databricks hedefine bağlantı kurma hakkında bilgi için bk. Databricks.

Dahili özellikler

Dahili özellikler özel kullanım durumları içindir ve bu nedenle diyalog penceresinde gösterilmez. Bunları yalnızca Qlik Desteği tarafından talimat verildiği takdirde kullanmalısınız.

Gerektiği takdirde özellik eklemek veya kaldırmak için alanların sağındaki Yeni oluştur ve İptal düğmelerini kullanın.

Ad

Bağlantının görünen adı.

Veri türü eşlemesi

Aşağıdaki tabloda Qlik Cloud veri türlerinden Amazon S3 veri türlerine varsayılan eşleme gösterilmektedir.

Bilgi notuVeri türü eşlemeleri yalnızca "Verileri veri gölüne yerleştir" görev ayarlarındaki Hedef klasörde meta veri dosyaları oluştur seçeneği etkinleştirildiğinde geçerlidir.

Qlik Cloud veri türlerinden Amazon S3 hedefine eşleme

Qlik Cloud ve Amazon S3 veri türleri
Qlik Cloud veri türleriAmazon S3 Hedef veri türleri

DATE

DATE

TIME

TIME

DATETIME

DATETIME

BYTES

BYTES (uzunluk)

BLOB

BLOB

REAL4

REAL4 (7)

REAL8

REAL8 (14)

INT1

INT1 (3)

INT2

INT2 (5)

INT4

INT4 (10)

INT8

INT8 (19)

UINT1

UINT1 (3)

UINT2

UINT2 (5)

UINT4

UINT4 (10)

UINT8

UINT8 (20)

NUMERIC

NUMERIC (p,s)

STRING

STRING (Uzunluk)

WSTRING

STRING (Uzunluk)

CLOB

CLOB

NCLOB

NCLOB

BOOLEAN

BOOLEAN (1)

Qlik Cloud veri türlerinden Parquet'e eşleme

Dosya formatı olarak Parquet ayarlandığında, Parquet tarafından desteklenen sınırlı sayıda veri türü nedeniyle, veri türü eşlemeleri aşağıdaki gibi olacaktır:

Parke veri türü eşlemeleri
Qlik Cloud Veri TürüParquet Temel TürMantıksal Tür

BOOLEAN

BOOLEAN

 

INT1

INT32

INT(8, true)

INT2

INT32

INT(16, true)

INT4

INT32

 

INT8

INT64

 

UINT1

INT32

INT(8, false)

UINT2

INT32

INT(16, false)

UINT4

INT64

 

UINT8

INT64

INT(64, false)

REAL4

FLOAT

 

REAL8

DOUBLE

 

NUMERIC

FIXED_LEN_BYTE_ARRAY (16)

DECIMAL (kesinlik, ölçek)

STRING

BYTE_ARRAY

STRING

WSTRING

BYTE_ARRAY

STRING

BYTES

BYTE_ARRAY

 

BLOB

BYTE_ARRAY

 

CLOB

BYTE_ARRAY

STRING

NCLOB

BYTE_ARRAY

STRING

DATE

INT32

DATE

TIME

INT32

TIME (UTC=true, unit=MILLIS)

DATETIME

INT64

TIMESTAMP (UTC=true, unit=MICROS)

Bu sayfa size yardımcı oldu mu?

Bu sayfa veya içeriği ile ilgili bir sorun; bir yazım hatası, eksik bir adım veya teknik bir hata bulursanız, bize bildirin, düzeltelim!