Amazon S3

Amazon S3 aşağıdaki amaçlarla kullanılabilir:

Veri işlem hattı hedefi olarak Databricks (isteğe bağlı) veya Amazon Redshift (zorunlu) kullanırken bir bulut hazırlama alanı. Bulut hazırlama alanı, verilerin ve değişikliklerin uygulanıp depolanmadan önce hazırlandığı yerdir.
Bir çoğaltma görevindeki bir hedef.
- Standard, Premium ve Enterprise abonelikleriyle Amazon S3'te nasıl veri çoğaltılacağına dair bir açıklama için bkz. Standard, Premium veya Enterprise abonelikle veri gölüne veri yerleştirme.
- Starter aboneliğiyle Amazon S3'te nasıl veri çoğaltılacağına dair bir açıklama için bkz. Qlik Talend Cloud Başlangıç Kılavuzu aboneliği ile veri çoğaltma.

Yerleştirme verileri için gereken izinler

Veri Hareketi ağ geçidi makinesinden erişilebilen bir Amazon S3 demetiniz olmalıdır.
Amazon S3'e kaydolma ile ilgili bilgiler için bk. http://aws.amazon.com/s3/.
Demet erişimi kimlik bilgileri: Demet adı, erişim anahtarı ve gizli erişim anahtarını not alın; Amazon S3 connector ayarlarında bunları sağlamanız gerekecektir.

Demet erişim izinleri: Aşağıdaki demet erişim izinleri gereklidir:

{
	"Version": "2012-10-17",
	"Statement": [
	    {
	     "Sid": "Stmt1497347821000",
	     "Effect": "Allow",
	     "Action": [
                "s3:GetBucketLocation",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::YOUR_BUCKET_NAME"
            ]
        },
        {
            "Sid": "Stmt1497344984000",
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:GetObject",
                "s3:DeleteObject"
            ],
            "Resource": [
                "arn:aws:s3:::YOUR_BUCKET_NAME/target_path",
                "arn:aws:s3:::YOUR_BUCKET_NAME/target_path/*"
            ]
        }
    ]
}

YOUR_BUCKET_NAME, demetinizin adı, target_path ise demetinizdeki hedef dosyaların istenen konumudur.

Hedef yol, demet köküyse boş bir dize ile “/target_path” belirtmeniz yeterlidir.

Qlik Data Gateway - Veri Hareketi önkoşulları

Veri Hareketi ağ geçidi, AWS'ye SSL kullanarak bağlanır. Bu, Veri Hareketi ağ geçidi makinesinde uygun bir CA sertifikası durmasını gerektirir; aksi takdirde bağlantı başarısız olur. CA sertifikasının amacı, AWS sunucu sertifikasının sahipliğini doğrulamaktır.

Gerekli CA sertifikasının Linux makinesinde şu konumda mevcut olduğundan emin olun:

/etc/pki/tls/certs/ca-bundle.crt

Mevcut değilse, en basit çözüm sertifika kümesini başka bir Linux makinesinden kopyalamaktır.

Amazon S3 bağlantı özelliklerini ayarlama

Bağlayıcıyı yapılandırmak için aşağıdakileri yapın:

Bağlantılar'da Bağlantı oluştur'a tıklayın.
Amazon S3 hedef bağlayıcısını seçin ve ardından aşağıdaki ayarları sağlayın:

Veri hedefi

Veri ağ geçidi: Hedef veritabanına erişmek için kullanmak istediğiniz Veri Hareketi ağ geçidi öğesini seçin.

Kullanım durumunuza bağlı olarak, bu ya veri kaynağından veri indirmek için dağıtılanVeri Hareketi ağ geçidi ile aynı ya da farklı bir veri kaynağı olacaktır. Muhtemel Veri Hareketi ağ geçidi dağıtım olasılıkları hakkında bilgi için bk. Yaygın kullanım durumları.

Veri Hareketi ağ geçidi 2023.5.10 veya üstünü gerektirir.

Bağlantı özellikleri

Erişim seçenekleri: Aşağıdakilerden birini seçin
- Anahtar çifti (varsayılan)
  Amazon S3 demetinize erişmek için anahtar çifti. Bu seçenek seçildiğinde, aşağıdakileri belirtin:
  - Erişim anahtarı: Amazon S3 demetiniz için erişim anahtarı.
  - Parola anahtarı: Amazon S3 demetinizin gizli anahtarı.
- IAM Roles Anywhere (Databricks için bir hazırlık alanı olarak Amazon S3 kullanılırken desteklenmez):
  IAM Roles Anywhere, IAM Roles Anywhere konsolunda, AWS CLI aracılığıyla veya AWS SDK kullanılarak kurulabilir. IAM Roles Anywhere, AWS dışından IAM rollerine erişmek için geçici kimlik bilgileri oluşturmak üzere özel anahtar altyapınızı (PKI) kullanmanıza olanak tanır. Bu, uzun süreli kimlik bilgilerini yönetmek zorunda kalmadan Qlik Talend Data Integration kaynağından AWS kaynaklarına güvenli bir şekilde erişebileceğiniz anlamına gelir.
  Bu seçenek seçildiğinde, aşağıdakileri belirtin:
  - Sertifika dosyası: PEM biçiminde Veri Hareketi ağ geçidi makinesindeki herkese açık Qlik Talend Data Integration sertifikasının yolu. Bu dosyanın, IAM Roles Anywhere konsolunda yapılandırılan CA sertifikasıyla imzalanması gerekir.
  - Özel anahtar dosyası: PEM biçiminde Veri Hareketi ağ geçidi makinesindeki özel Qlik Talend Data Integration anahtar dosyasının yolu.
  - Özel anahtar parolası: Özel anahtar parolası. Yalnızca özel anahtar dosyası şifrelenmişse gereklidir.
  - Güvenilir kök ARN: IAM Roles Anywhere konsolunda oluşturduğunuz güvenilir kökle ilişkili ARN. Bir güvenilir kök oluşturarak IAM Roles Anywhere ile sertifika yetkiliniz (CA) arasında güven tesis edersiniz. Güvenli kök, AWS Private CA'ya veya harici bir CA sertifikasına yapılan bir referanstır. AWS dışındaki iş yükleriniz, geçici AWS kimlik bilgileri karşılığında güvenilen CA tarafından verilen sertifikalar kullanarak güvenilir kökle kimlik doğrulaması yapar.
  - Profil ARN'si: IAM Roles Anywhere konsolunda oluşturduğunuz profille ilişkili ARN. IAM Roles Anywhere'in hangi rolleri üstleneceğini ve iş yüklerinizin geçici kimlik bilgileriyle neler yapabileceğini belirtmek için bir profil oluşturursunuz. Bir profilde, oluşturulan bir oturum için izinleri sınırlamak amacıyla IAM tarafından yönetilen politikalarla izinleri tanımlayabilirsiniz.
  - Rol ARN'si: IAM Roles Anywhere konsolunda oluşturduğunuz rolle ilişkili ARN. Bir rol, hesabınızda belirli izinlerle oluşturduğunuz bir IAM kimliğidir. IAM Roles Anywhere'in bir rolü üstlenebilmesi ve geçici AWS kimlik bilgileri sağlayabilmesi için rolün IAM Roles Anywhere hizmet sorumlusuna güvenmesi gerekir.
    Biçim aşağıdaki şekilde olmalıdır:
    arn:aws:iam::<account-id>:role/<role-name-with-path>
  IAM Roles Anywhere hakkında daha fazla bilgi için bkz:
  AWS IAM rollerini IAM Roles Anywhere ile AWS dışındaki iş yüklerine genişletin
- EC2 için IAM Rolleri
  Veri Hareketi ağ geçidi yüklü olan makine bir IAM rolü kullanarak kimlik doğrulaması yapmak üzere yapılandırılmışsa bu yöntemi seçin.
  IAM rolleri hakkında bilgi için IAM rolleri bölümüne bakın.
Demet adı: Amazon S3 demetinizin adı.
Bilgi notu
Varsayılan demet bölgesi ayarı otomatik algılamadır, bu da belirli bir bölge ayarlama ihtiyacını ortadan kaldırır. Ancak güvenlikle ilgili hususlar nedeniyle bazı bölgeler için (örneğin AWS GovCloud) bölgeyi açıkça ayarlamanız gerekebilir. Böyle bir durumda, regionCode dahili özelliğini kullanarak bölge kodunu ayarlayabilirsiniz.
Bölge kodlarının bir listesi için şu adresteki Bölge kullanılabilirliği bölümüne bakın: https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Concepts.RegionsAndAvailabilityZones.html
Dahili özelliklerin ayarlanmasıyla ilgili talimatlar için aşağıya bakın.
AWS PrivateLink kullanın: Bir Amazon VPC'ye bağlanmak için bunu seçin ve ardından VPC Bitiş Noktası URL'sini belirtin (örneğin, https://bucket.vpce-1a2b3c4d-5e6f.s3.us-east-1.vpce.amazonaws.com).
Bilgi notuAWS PrivateLink Kullan seçeneği, bir Databricks hedefi için hazırlama alanı olarak bir Amazon S3 demeti kullanılırken desteklenmez. Bir Databricks hedefine bağlantı kurma hakkında bilgi için bk. Databricks.

Veri şifreleme

Aşağıdaki Şifreleme seçeneklerinden birini seçin:

Amazon S3 Tarafından Yönetilen Anahtarlarla Sunucu Tarafı Şifreleme (SSE-S3).
Bu varsayılandır.
AWS KMS Tarafından Yönetilen Anahtarlarla Sunucu Tarafı Şifreleme (SSE-KMS)
Bu seçenek ayrıca KMS anahtar kimliğinizi belirtmenizi gerektirir.
Mevcut sunucu tarafı şifreleme yöntemleri hakkında daha fazla bilgi için bkz:
Sunucu tarafı şifrelemeyle verileri koruma
Yok

Dahili özellikler

Dahili özellikler özel kullanım durumları içindir ve bu nedenle diyalog penceresinde gösterilmez. Bunları yalnızca Qlik Desteği tarafından talimat verildiği takdirde kullanmalısınız.

Gerektiği takdirde özellik eklemek veya kaldırmak için alanların sağındaki Yeni oluştur ve İptal düğmelerini kullanın.

Bağlantının görünen adı.

Veri türü eşlemesi

Aşağıdaki tabloda Qlik Cloud veri türlerinden Amazon S3 veri türlerine varsayılan eşleme gösterilmektedir.

Veri türü eşlemeleri yalnızca "Verileri veri gölüne yerleştir" görev ayarlarındaki Hedef klasörde meta veri dosyaları oluştur seçeneği etkinleştirildiğinde geçerlidir.

Qlik Cloud veri türlerinden Amazon S3 hedefine eşleme

Qlik Cloud ve Amazon S3 veri türleri
Qlik Cloud veri türleri	Amazon S3 Hedef veri türleri
DATE	DATE
TIME	TIME
DATETIME	DATETIME
BYTES	BYTES (uzunluk)
BLOB	BLOB
REAL4	REAL4 (7)
REAL8	REAL8 (14)
INT1	INT1 (3)
INT2	INT2 (5)
INT4	INT4 (10)
INT8	INT8 (19)
UINT1	UINT1 (3)
UINT2	UINT2 (5)
UINT4	UINT4 (10)
UINT8	UINT8 (20)
NUMERIC	NUMERIC (p,s)
STRING	STRING (Uzunluk)
WSTRING	STRING (Uzunluk)
CLOB	CLOB
NCLOB	NCLOB
BOOLEAN	BOOLEAN (1)

Qlik Cloud veri türlerinden Parquet'e eşleme

Dosya formatı olarak Parquet ayarlandığında, Parquet tarafından desteklenen sınırlı sayıda veri türü nedeniyle, veri türü eşlemeleri aşağıdaki gibi olacaktır:

Parke veri türü eşlemeleri
Qlik Cloud Veri Türü	Parquet Temel Tür	Mantıksal Tür
BOOLEAN	BOOLEAN
INT1	INT32	INT(8, doğru)
INT2	INT32	INT(16, doğru)
INT4	INT32
INT8	INT64
UINT1	INT32	INT(8, yanlış)
UINT2	INT32	INT(16, yanlış)
UINT4	INT64
UINT8	INT64	TAMSAYI(64, yanlış)
REAL4	FLOAT
REAL8	DOUBLE
NUMERIC	SABİT_UZUNLUKLU_BAYT_DİZİSİ (16)	DECIMAL (kesinlik, ölçek)
STRING	BAYT_DİZİSİ	STRING
WSTRING	BAYT_DİZİSİ	STRING
BYTES	BAYT_DİZİSİ
BLOB	BAYT_DİZİSİ
CLOB	BAYT_DİZİSİ	STRING
NCLOB	BAYT_DİZİSİ	STRING
DATE	INT32	DATE
TIME	INT32	ZAMAN (UTC=doğru, birim=MİLİSANİYE)
DATETIME	INT64	ZAMAN DAMGASI (UTC=doğru, birim=MİKROSANİYE)

Daha fazla bilgi

Bu sayfa size yardımcı oldu mu?

Bu sayfa veya içeriği ile ilgili bir sorun; bir yazım hatası, eksik bir adım veya teknik bir hata bulursanız lütfen bize bildirin!

Geri bildiriminizi buradan iletin