Amazon S3
Amazon Simple Storage Service (Amazon S3), sektör lideri ölçeklenebilirlik, veri kullanılabilirliği, güvenlik ve performans sunan bir nesne depolama hizmetidir.
Kimlik doğrulaması için hazırlanma
Verilerinize erişmek için hesap oturum bilgilerinizle bağlantının kimliğini doğrulamanız gerekir.
Amazon S3 bağlantısı kurmak için AWS Kimlik Erişim Yönetimi'nde (IAM) politikalar oluşturmanıza, roller oluşturmanıza ve rollere politikalar eklemenize olanak tanıyan izinlere ihtiyacınız vardır. Bu, S3 demetinize yetki vermek için gereklidir:
Bir IAM politikası oluşturma
IAM politikası, demet kaynaklarına yönelik izinleri yönetmek için kullanılan JSON tabanlı bir erişim ilkesi dilidir.
İzin adı | İşlem | Açıklama |
s3:GetObject | GET Nesnesi |
Amazon S3'ten nesnelerin alınmasına izin verir. |
s3:GetObject | HEAD Nesnesi | Nesnenin kendisini döndürmeden bir nesneden meta verilerin alınmasına izin verir. |
s3:ListBucket | GET Demeti (Liste Nesneleri) |
Bir demetteki nesnelerin bir kısmının veya tamamının (1.000 adede kadar) döndürülmesini sağlar. |
s3:ListBucket | HEAD Demeti |
Bir demetin var olup olmadığını ve erişime izin verilip verilmediğini belirlemek için kullanılır. |
IAM politikası oluşturmak için:
- AWS'de, IAM hizmetine gitmek için Hizmetler menüsüne tıklayın ve IAM yazın.
- Sonuçlarda görüntülendiğinde IAM'ye tıklayın.
- Sayfanın sol tarafındaki menüden Politikalar'a tıklayın.
- Politika Oluştur'a tıklayın.
- Politika Oluştur sayfasında, JSON sekmesine tıklayın.
- Metin alanında o anda bulunan her şeyi seçin ve silin.
- Metin alanına aşağıdaki JSON'u yapıştırın ve MyBucketName yerine demetinizin adını yazın:
{ "Version": "2012-10-17", "Statement": [ { "Sid": "", "Effect": "Allow", "Action": [ "s3:GetObject", "s3:ListBucket" ], "Resource": [ "arn:aws:s3:::MyBucketName", "arn:aws:s3:::MyBucketName/*" ] } ] }
- Politikayı gözden geçir'e tıklayın.
- Politikayı Gözden Geçir sayfasında, politikaya bir ad verin. Örneğin:
qlik_amazon_s3
. - Politika oluştur'a tıklayın.
Bir IAM rolü oluşturma
Bu adımı tamamlamak için şu AWS IAM izinlerine ihtiyacınız vardır: CreateRole
ve AttachRolePolicy
. Daha fazla bilgi için Amazon'un belgelerine bakın.
Birden fazla Amazon S3 entegrasyonu oluşturuyorsanız bu adımı, bağladığınız her entegrasyon için tamamlamanız gerekir.
- AWS'de IAM Rolleri sayfasına gidin.
- Rol Oluştur'a tıklayın.
- Rol Oluştur sayfasında:
- Güvenilen varlık türü seçin bölümünde Başka bir AWS hesabı seçeneğine tıklayın.
- Hesap Kimliği alanına
338144066592
öğesini yapıştırın. - Seçenekler bölümünde, Harici kimlik gerektir onay kutusunu seçin.
- Görüntülenen Harici Kimlik alanına
qlik_connection_<tenant-id>
öğesini yapıştırın ve <tenant-id> yerine kiracı kimliğinizi yazın.Kiracı kimliğinizi bulmak için Kiracı bilgilerini bulma bölümüne bakın.
- İleri: İzinler'e tıklayın.
- İzin ekle sayfasında:
- IAM politikası oluşturma bölümünde oluşturduğunuz politikayı arayın.
- Bulduğunuzda, tabloda yanındaki kutuyu işaretleyin.
- İleri: Etiketler'e tıklayın.
- Herhangi bir etiket girmek istiyorsanız bunu Etiket ekle sayfasında yapın. Aksi takdirde İleri: İnceleme'ye tıklayın.
- İnceleme sayfasında:
- Rol adı alanına
qlik_s3_<tenant-id>
öğesini yapıştırın ve <tenant-id> yerine kiracı kimliğinizi yazın.Kiracı kimliğinizi bulmak için Kiracı bilgilerini bulma bölümüne bakın.
- Rol açıklaması alanına bir açıklama girin. Örneğin:
Qlik role for Amazon S3 integration.
- Rol oluştur'a tıklayın.
- Rol adı alanına
Arama deseni tanımlama
Arama Deseni alanı, Qlik öğesinin dosyaları seçmek ve çoğaltmak için kullanması gereken arama kriterlerini tanımlar. Bu alan, tek bir dosyayı veya birden fazla dosyayı dahil etmek için kullanılabilen düzenli ifadeleri kabul eder.
Bir arama deseni oluştururken aşağıdakileri aklınızda bulundurun:
- Tek bir tablo için birden fazla dosya eklerken, her dosya aynı başlık satırı değerlerine sahip olmalıdır.
- Nokta (
.
) gibi özel karakterlerin düzenli ifadelerde özel anlamları vardır. Tam olarak eşleşmeleri için kaçış karakteri gerekecektir. Örneğin:.\
- Qlik, söz dizimi diğer çeşitlerden farklı olabilen düzenli ifadeler için Python kullanır. Entegrasyonu kaydetmeden önce ifadelerinizi test etmek için PyRegex kullanmayı deneyin.
- Arama desenleri, dosyalardaki verilerin nasıl güncellendiğini hesaba katmalıdır. Bu örnekleri inceleyin:
Senaryo | Tek dosya, periyodik olarak güncellenir | Günlük olarak oluşturulan birden fazla dosya |
Güncellemeler nasıl yapılır? | Tek bir JSONL dosyası, yeni ve güncellenmiş müşteri verileriyle periyodik olarak güncellenir. | Her gün yeni ve güncellenmiş müşteri verilerini içeren yeni bir CSV dosyası oluşturulur. Eski dosyalar oluşturulduktan sonra asla güncellenmez. |
Dosya adı | customers.jsonl
|
customers-[STRING].csv , burada [STRING] benzersiz, rastgele bir dizedir |
Arama deseni |
Yalnızca bir dosya olacağından, S3 demetinizdeki dosyanın tam adını girebilirsiniz:
|
Yeni ve güncellenmiş dosyaların tanımlandığından emin olmak için, dosya adındaki dizeden bağımsız olarak
|
Eşleşir | customer.jsonl , tam olarak |
|
Dosya gereklilikleri
İlk satır başlığı (yalnızca CSV dosyaları) |
|
Dosya türleri |
|
Sıkıştırma türleri |
Bu dosyalar doğru şekilde sıkıştırılmış olmalıdır, aksi takdirde çıkarma sırasında hatalar ortaya çıkacaktır.
|
Sınırlayıcılar (yalnızca CSV dosyaları) |
|
Karakter kodlaması |
UTF-8 |
Bağlantı oluşturma
Daha fazla bilgi için bk. SaaS uygulamalarına bağlanma.
- Zorunlu bağlantı özelliklerini doldurun.
-
Bağlantı adı kısmında bağlantı için bir ad sağlayın.
-
Oluşturulduğu zaman bağlantı için meta verileri tanımlamak üzere Bağlantı meta verilerini aç'ı seçin.
-
Oluştur'a tıklayın.
Ayar | Açıklama |
---|---|
Veri ağ geçidi |
Kullanım durumunuz gerektiriyorsa bir Data Movement gateway seçin. Bilgi notu
Qlik Talend Cloud Başlangıç Kılavuzu aboneliği Data Movement gateway desteklenmediğinden bu alan, söz konusu abonelikle kullanılamaz. Başka bir abonelik kademeniz varsa ve Data Movement gateway kullanmak istemiyorsanız Hiçbiri'ni seçin. Data Movement gateway avantajları ve bunu gerektiren kullanım durumları hakkında bilgi için bkz. Qlik Data Gateway - Data Movement. |
Başlangıç Tarihi |
Verilerin kaynağınızdan hedefinize çoğaltılması gereken tarihi |
S3 Demeti | S3 demetinin adı. |
AWS Hesap Kimliği |
AWS'deki harici kimlik. Bkz. Kimlik Doğrulaması İçin Hazırlanma. Desen: |
Arama deseni | Tablonuza dahil edilecek dosyaları girin. Tek bir dosya adı veya düzenli bir ifade girebilirsiniz. Örnek: |
Dizin | Aramayı bu dizin yolunda sınırlandırın. Tanımlandığında, yalnızca bu konumdaki dosyalar aranacak ve arama deseniyle eşleşenler seçilecektir. Normal ifade kullanamazsınız. Örnek: csv-exports-folder veya employee_jsonl_exports. |
Tablo yapılandırması
Dahil etmek istediğiniz dosyaları belirterek bir tablo yapılandırın. Birden fazla tablo yapılandırabilirsiniz. |
|
Tablo adı | Tablo adı. Her hedefin, tabloların nasıl adlandırılabileceğine ilişkin kendi kuralları vardır. Örneğin, Amazon Redshift tablo adları 127 karakteri geçemez. |
Birincil anahtar | Benzersiz satırları veya kayıtları tanımlamak için birincil anahtarı girin. Birden fazla anahtar girdiğinizde değerleri ayırmak için virgül kullanın.
Örnek: id, name. |
Tarih saat alanlarını belirtme | Tablonuzda dize yerine datetime olarak görünmesi gereken değerleri girin. Örnek: created_at, modified_at. |
Sınırlayıcı | Açılan listeden bir sınırlayıcıyı seçin. |