Amazon S3
Amazon S3 może służyć jako:
- Obszar tymczasowy podczas pracy z platformami Databricks (opcjonalnie) i Amazon Redshift (wymagane) jako miejscami docelowymi potoku danych. Obszar przechowywania w chmurze to miejsce, w którym dane i zmiany są przechowywane przed zastosowaniem i zapisaniem.
-
Miejsce docelowe w zadaniu replikacji.
- Wyjaśnienie sposobu replikowania danych do Amazon S3 w ramach subskrypcji Standard, Premium i Enterprise, zawiera temat Umieszczanie danych w jeziorze danych w ramach subskrypcji Standard, Premium lub Enterprise.
- Wyjaśnienie sposobu replikowania danych do Amazon S3 w ramach subskrypcji Starter zawiera temat Replikacja danych w ramach subskrypcji Qlik Talend Cloud Starter.
Uprawnienia wymagane do umieszczania danych
Musisz mieć zasobnik Amazon S3 dostępny na komputerze Data Movement gateway.
Informacje na temat rejestracji w usłudze Amazon S3 znajdują się na stronie http://aws.amazon.com/s3/.
- Dane dostępu do zasobnika: zapisz nazwę, klucz dostępu i tajny klucz dostępu do zasobnika — należy je podać w ustawieniach Amazon S3 łącznik.
Uprawnienia dostępu do zasobnika: wymagane są następujące uprawnienia dostępu do zasobnika:
{ "Version": "2012-10-17", "Statement": [ { "Sid": "Stmt1497347821000", "Effect": "Allow", "Action": [ "s3:GetBucketLocation", "s3:ListBucket" ], "Resource": [ "arn:aws:s3:::YOUR_BUCKET_NAME" ] }, { "Sid": "Stmt1497344984000", "Effect": "Allow", "Action": [ "s3:PutObject", "s3:GetObject", "s3:DeleteObject" ], "Resource": [ "arn:aws:s3:::YOUR_BUCKET_NAME/target_path", "arn:aws:s3:::YOUR_BUCKET_NAME/target_path/*" ] } ] }
Gdzie YOUR_BUCKET_NAME jest nazwą Twojego zasobnika, a target_path to planowana lokalizacja plików docelowych w zasobniku.
Jeśli ścieżka docelowa prowadzi do katalogu głównego zasobnika, w miejsce członu “/target_path” podaj pusty ciąg.
Wymagania wstępne Brama danych Qlik — ruch danych
Data Movement gateway łączy się z usługą AWS przy użyciu protokołu SSL. To wymaga, aby odpowiedni certyfikat urzędu certyfikacji znajdował się na maszynie Data Movement gateway, w przeciwnym razie połączenie się nie powiedzie. Celem certyfikatu urzędu certyfikacji jest uwierzytelnienie własności certyfikatu serwera AWS.
Upewnij się, że wymagany certyfikat urzędu certyfikacji znajduje się w następującej lokalizacji na komputerze z systemem Linux:
/etc/pki/tls/certs/ca-bundle.crt
Jeśli nie ma certyfikatu, najłatwiejszym rozwiązaniem jest skopiowanie pakietu certyfikatów z innego komputera z systemem Linux.
Ustawianie właściwości połączenia z Amazon S3
Aby skonfigurować łącznik, wykonaj następujące czynności:
W obszarze Połączenia kliknij Utwórz połączenie.
Wybierz łącznik miejsca docelowego Amazon S3 , a następnie podaj następujące ustawienia:
Miejsce docelowe danych
Brama danych: Wybierz bramę Brama danych ruchu danych, której chcesz użyć, aby uzyskać dostęp do docelowej bazy danych.
W zależności od zastosowania będzie to ta sama Brama danych ruchu danych, która została wdrożona do umieszczania danych ze źródła, lub inna. Aby uzyskać informacje na temat możliwości wdrożenia Brama danych ruchu danych, zobacz temat Typowe zastosowania.
Właściwości połączenia
Opcje dostępu: Wybierz jedną z następujących opcji
Para kluczy (domyślne)
Para kluczy do uzyskiwania dostępu do zasobnika Amazon S3. Po wybraniu tej opcji określ następujące:
- Klucz dostępu: klucz dostępu do zasobnika Amazon S3.
Klucz tajny: Klucz tajny do Twojego zasobnika Amazon S3.
IAM Roles Anywhere (nieobsługiwane w przypadku używania Amazon S3 jako obszaru przejściowego dla Databricks):
IAM Roles Anywhere można skonfigurować w konsoli IAM Roles Anywhere, za pośrednictwem interfejsu AWS CLI lub za pomocą zestawu AWS SDK. IAM Roles Anywhere umożliwia korzystanie z infrastruktury klucza prywatnego (PKI) w celu generowania tymczasowych poświadczeń do uzyskiwania dostępu do ról IAM spoza AWS. Oznacza to, że możesz bezpiecznie uzyskiwać dostęp do zasobów AWS z Qlik Talend Data Integration bez konieczności zarządzania długoterminowymi poświadczeniami.
Po wybraniu tej opcji określ następujące elementy:
- Plik certyfikatu: Ścieżka do Qlik Talend Data Integration certyfikatu publicznego na maszynie Data Movement gateway w formacie PEM. Ten plik musi być podpisany certyfikatem CA skonfigurowanym w konsoli IAM Roles Anywhere.
- Plik klucza prywatnego: Ścieżka do Qlik Talend Data Integration pliku klucza prywatnego na maszynie Data Movement gateway w formacie PEM.
- Hasło do klucza prywatnego: Hasło do klucza prywatnego. Wymagane tylko, jeśli plik klucza prywatnego jest zaszyfrowany.
- ARN kotwicy zaufania: ARN powiązany z kotwicą zaufania utworzoną w konsoli IAM Roles Anywhere. Ustanawiasz zaufanie między IAM Roles Anywhere a urzędem certyfikacji (CA) poprzez utworzenie kotwicy zaufania. Kotwica zaufania to odwołanie do AWS Private CA lub zewnętrznego certyfikatu CA. Twoje obciążenia poza AWS uwierzytelniają się za pomocą kotwicy zaufania, używając certyfikatów wydanych przez zaufany urząd certyfikacji w zamian za tymczasowe poświadczenia AWS.
- ARN profilu: ARN powiązany z profilem utworzonym w konsoli IAM Roles Anywhere. Aby określić, jakie role przyjmuje IAM Roles Anywhere i co Twoje obciążenia mogą zrobić z tymczasowymi poświadczeniami, tworzysz profil. W profilu możesz zdefiniować uprawnienia za pomocą zarządzanych zasad IAM, aby ograniczyć uprawnienia dla utworzonej sesji.
ARN roli: ARN powiązany z rolą utworzoną w konsoli IAM Roles Anywhere. Rola to tożsamość IAM, którą tworzysz na swoim koncie z określonymi uprawnieniami. Aby usługa IAM Roles Anywhere mogła przyjąć rolę i dostarczyć tymczasowe poświadczenia AWS, rola musi ufać podmiotowi usługi IAM Roles Anywhere.
Format powinien być następujący:
arn:aws:iam::<account-id>:role/<role-name-with-path>
Więcej informacji na temat IAM Roles Anywhere można znaleźć w:
Rozszerz role AWS IAM na obciążenia poza AWS za pomocą IAM Roles Anywhere
Role IAM dla EC2
Wybierz tę metodę, jeśli maszyna, na której Data Movement gateway jest zainstalowany, jest skonfigurowana do uwierzytelniania się przy użyciu roli IAM.
Aby uzyskać informacje na temat ról IAM, zobacz Role IAM.
Nazwa zasobnika: nazwa Twojego zasobnika Amazon S3.
Domyślnym ustawieniem regionu zasobnika jest wykrywanie automatyczne, co eliminuje potrzebę ustawiania określonego regionu. Ze względów bezpieczeństwa w przypadku niektórych regionów (na przykład AWS GovCloud) może być jednak wymagane jawne ustawienie regionu. W takim przypadku możesz ustawić kod regionu za pomocą właściwości wewnętrznej regionCode.
Listę kodów regionów można znaleźć w sekcji Dostępność regionów na stronie: https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Concepts.RegionsAndAvailabilityZones.html
Instrukcje dotyczące ustawiania właściwości wewnętrznych znajdują się poniżej.
Użyj AWS PrivateLink: Wybierz tę opcję, aby połączyć się z Amazon VPC, a następnie określ adres URL punktu końcowego VPC (na przykład https://bucket.vpce-1a2b3c4d-5e6f.s3.us-east-1.vpce.amazonaws.com).
Szyfrowanie danych
Wybierz jedną z następujących opcji szyfrowania:
Szyfrowanie po stronie serwera z kluczami zarządzanymi przez Amazon S3 (SSE-S3).
Jest to domyślne.
Szyfrowanie po stronie serwera przy użyciu kluczy zarządzanych przez AWS KMS (SSE-KMS)
Ta opcja wymaga również określenia identyfikatora klucza KMS.
Więcej informacji na temat dostępnych metod szyfrowania po stronie serwera znajdziesz w:
- Brak
Właściwości wewnętrzne
Właściwości wewnętrzne są przeznaczone dla specjalnych przypadków, w związku z czym nie są ukazywane w oknie dialogowym. Należy ich używać tylko na polecenie Qlik Pomocy technicznej.
Użyj przycisków 
i 
znajdujących się po prawej stronie pól, aby dodać lub usunąć właściwości zgodnie z potrzebą.
Nazwa
Nazwa wyświetlana dla połączenia.
Mapowanie typów danych
Następująca tabela pokazuje domyślne mapowanie z typów danych Qlik Cloud do docelowych typów danych Amazon S3.
Mapowanie z typów danych Qlik Cloud na Amazon S3
| Typy danych Qlik Cloud | Typy danych docelowych Amazon S3 |
|---|---|
DATE | DATE |
TIME | TIME |
DATETIME | DATETIME |
BYTES | BYTES (długość) |
BLOB | BLOB |
REAL4 | REAL4 (7) |
REAL8 | REAL8 (14) |
INT1 | INT1 (3) |
INT2 | INT2 (5) |
INT4 | INT4 (10) |
INT8 | INT8 (19) |
UINT1 | UINT1 (3) |
UINT2 | UINT2 (5) |
UINT4 | UINT4 (10) |
UINT8 | UINT8 (20) |
NUMERIC | NUMERIC (p,s) |
STRING | STRING (długość) |
WSTRING | STRING (długość) |
CLOB | CLOB |
NCLOB | NCLOB |
BOOLEAN | BOOLEAN (1) |
Mapowanie z typów danych Qlik Cloud na Parquet
Po ustawieniu formatu plików Parquet mapowania typów danych będą takie, jak pokazano poniżej, ze względu na ograniczoną liczbę typów danych obsługiwanych przez Parquet.
| Typ danych Qlik Cloud | Typ pierwotny Parquet | Typ logiczny |
|---|---|---|
BOOLEAN | BOOLEAN | |
INT1 | INT32 | INT(8, prawda) |
INT2 | INT32 | INT(16, prawda) |
INT4 | INT32 | |
INT8 | INT64 | |
UINT1 | INT32 | INT(8, fałsz) |
UINT2 | INT32 | INT(16, fałsz) |
UINT4 | INT64 | |
UINT8 | INT64 | INT(64, fałsz) |
REAL4 | FLOAT | |
REAL8 | DOUBLE | |
NUMERIC | TABLICA_BAJTÓW_O_STAŁEJ_DŁUGOŚCI (16) | DECIMAL (precyzja, skala) |
STRING | TABLICA_BAJTÓW | STRING |
WSTRING | TABLICA_BAJTÓW | STRING |
BYTES | TABLICA_BAJTÓW | |
BLOB | TABLICA_BAJTÓW | |
CLOB | TABLICA_BAJTÓW | STRING |
NCLOB | TABLICA_BAJTÓW | STRING |
DATE | INT32 | DATE |
TIME | INT32 | CZAS (UTC=prawda, jednostka=MILISEKUNDY) |
DATETIME | INT64 | SYGNATURA_CZASU (UTC=prawda, jednostka=MIKROSEKUNDY) |