Amazon S3
Amazon S3 może służyć jako:
- Obszar tymczasowy podczas pracy z platformami Databricks (opcjonalnie) i Amazon Redshift (wymagane) jako miejscami docelowymi potoku danych. Obszar przechowywania w chmurze to miejsce, w którym dane i zmiany są przechowywane przed zastosowaniem i zapisaniem.
-
Chmurowy obszar przejściowy podczas używania projektów Qlik Open Lakehouse ze źródłami CDC. Wymaga to, aby Brama danych ruchu danych i klastry mogły odczytywać i zapisywać do zasobnika umieszczania. Więcej informacji zawiera temat Krok 1: Tworzenie integracji sieciowej.
-
Chmurowy obszar przejściowy podczas używania projektów Qlik Open Lakehouse ze źródłami strumieniowymi. Wymaga to, aby klastry mogły odczytywać i zapisywać do zasobnika umieszczania. Więcej informacji zawiera temat Krok 1: Tworzenie integracji sieciowej.
-
Miejsce docelowe w zadaniu replikacji.
- Wyjaśnienie sposobu replikowania danych do Amazon S3 w ramach subskrypcji Standard, Premium i Enterprise, zawiera temat Umieszczanie danych w jeziorze danych w ramach subskrypcji Standard, Premium lub Enterprise.
- Wyjaśnienie sposobu replikowania danych do Amazon S3 w ramach subskrypcji Starter zawiera temat Replikacja danych w ramach subskrypcji Qlik Talend Cloud Starter.
Uprawnienia wymagane do umieszczania danych
Musisz mieć zasobnik Amazon S3 dostępny na komputerze Data Movement gateway.
Informacje na temat rejestracji w usłudze Amazon S3 znajdują się na stronie http://aws.amazon.com/s3/.
- Dane dostępu do zasobnika: zapisz nazwę, klucz dostępu i tajny klucz dostępu do zasobnika — należy je podać w ustawieniach Amazon S3 łącznik.
Uprawnienia dostępu do zasobnika: wymagane są następujące uprawnienia dostępu do zasobnika:
{ "Version": "2012-10-17", "Statement": [ { "Sid": "Stmt1497347821000", "Effect": "Allow", "Action": [ "s3:GetBucketLocation", "s3:ListBucket" ], "Resource": [ "arn:aws:s3:::YOUR_BUCKET_NAME" ] }, { "Sid": "Stmt1497344984000", "Effect": "Allow", "Action": [ "s3:PutObject", "s3:GetObject", "s3:DeleteObject" ], "Resource": [ "arn:aws:s3:::YOUR_BUCKET_NAME/target_path", "arn:aws:s3:::YOUR_BUCKET_NAME/target_path/*" ] } ] }
Gdzie YOUR_BUCKET_NAME jest nazwą Twojego zasobnika, a target_path to planowana lokalizacja plików docelowych w zasobniku.
Jeśli ścieżka docelowa prowadzi do katalogu głównego zasobnika, w miejsce członu “/target_path” podaj pusty ciąg.
Brama danych Qlik — ruch danych warunki wstępne
Data Movement gateway łączy się z usługą AWS przy użyciu protokołu SSL. To wymaga, aby odpowiedni certyfikat urzędu certyfikacji znajdował się na maszynie Data Movement gateway, w przeciwnym razie połączenie się nie powiedzie. Celem certyfikatu urzędu certyfikacji jest uwierzytelnienie własności certyfikatu serwera AWS.
Upewnij się, że wymagany certyfikat urzędu certyfikacji znajduje się w następującej lokalizacji na komputerze z systemem Linux:
/etc/pki/tls/certs/ca-bundle.crt
Jeśli nie ma certyfikatu, najłatwiejszym rozwiązaniem jest skopiowanie pakietu certyfikatów z innego komputera z systemem Linux.
Ustawianie właściwości połączenia z Amazon S3
Aby skonfigurować łącznik, wykonaj następujące czynności:
W Połączenia, kliknij Utwórz połączenie.
Wybierz łącznik miejsca docelowegoAmazon S3, a następnie podaj następujące ustawienia:
Miejsce docelowe danych
Użycie
Wybierz jedną z następujących opcji, zgodnie ze sposobem użytkowania:
Przenoszenie danych: Wybierz, gdy używasz Brama danych ruchu danych, aby uzyskać dostęp do miejsca docelowego Amazon S3.
Integracja sieciowa: Wybierz, gdy używasz Amazon S3 do przechowywania Qlik plików metadanych potrzebnych do Qlik Open Lakehouse integracji sieciowej.
Oba: Wybierz, gdy oba powyższe warunki są spełnione.
Brama danych
Gdy Przenoszenie danych lub Oba są wybrane, wybierz Brama danych ruchu danych, którego chcesz użyć, aby uzyskać dostęp do celu.
W zależności od zastosowania będzie to ta sama Brama danych ruchu danych, która została wdrożona do umieszczania danych ze źródła, lub inna. Aby uzyskać informacje na temat możliwości wdrożenia Brama danych ruchu danych, zobacz temat Typowe przypadki użycia.
Integracja sieciowa
Gdy Integracja sieciowa lub Obie są wybrane, wybierz Qlik Open Lakehouse integrację sieciową utworzoną wcześniej.
Właściwości połączenia
Opcje dostępu: Wybierz jedną z następujących opcji
Para kluczy (domyślne)
Para kluczy do uzyskiwania dostępu do zasobnika Amazon S3. Po wybraniu tej opcji określ następujące elementy:
- Klucz dostępu: klucz dostępu do zasobnika Amazon S3.
Klucz tajny: Klucz tajny do Twojego zasobnika Amazon S3.
IAM Roles Anywhere (nieobsługiwane w przypadku używania Amazon S3 jako obszaru pomostowego dla Databricks lub Qlik Open Lakehouse):
Usługę IAM Roles Anywhere można skonfigurować w konsoli IAM Roles Anywhere, za pośrednictwem interfejsu AWS CLI lub przy użyciu zestawu AWS SDK. Usługa IAM Roles Anywhere umożliwia korzystanie z infrastruktury klucza publicznego (PKI) do generowania tymczasowych poświadczeń w celu uzyskiwania dostępu do ról IAM spoza platformy AWS. Oznacza to, że możesz bezpiecznie uzyskiwać dostęp do zasobów AWS z poziomu Qlik Talend Data Integration bez konieczności zarządzania długoterminowymi poświadczeniami.
Po wybraniu tej opcji określ następujące elementy:
- Plik certyfikatu: Ścieżka do certyfikatu publicznego Qlik Talend Data Integration na maszynie Data Movement gateway w formacie PEM. Ten plik musi być podpisany certyfikatem urzędu certyfikacji (CA) skonfigurowanym w konsoli IAM Roles Anywhere.
- Plik klucza prywatnego: Ścieżka do pliku klucza prywatnego Qlik Talend Data Integration na maszynie Data Movement gateway w formacie PEM.
- Hasło klucza prywatnego: Hasło klucza prywatnego. Wymagane tylko wtedy, gdy plik klucza prywatnego jest zaszyfrowany.
- ARN kotwicy zaufania: Numer ARN powiązany z kotwicą zaufania utworzoną w konsoli IAM Roles Anywhere. Zaufanie między usługą IAM Roles Anywhere a urzędem certyfikacji (CA) ustanawia się poprzez utworzenie kotwicy zaufania. Kotwica zaufania to odwołanie do prywatnego urzędu certyfikacji AWS lub zewnętrznego certyfikatu urzędu certyfikacji. Twoje obciążenia poza platformą AWS uwierzytelniają się za pomocą kotwicy zaufania przy użyciu certyfikatów wydanych przez zaufany urząd certyfikacji w zamian za tymczasowe poświadczenia AWS.
- ARN profilu: Numer ARN powiązany z profilem utworzonym w konsoli IAM Roles Anywhere. Aby określić, jakie role przyjmuje usługa IAM Roles Anywhere i co Twoje obciążenia mogą zrobić z tymczasowymi poświadczeniami, tworzysz profil. W profilu możesz zdefiniować uprawnienia za pomocą zasad zarządzanych przez IAM, aby ograniczyć uprawnienia dla utworzonej sesji.
ARN roli: Numer ARN powiązany z rolą utworzoną w konsoli IAM Roles Anywhere. Rola to tożsamość IAM, którą tworzysz na swoim koncie z określonymi uprawnieniami. Aby usługa IAM Roles Anywhere mogła przyjąć rolę i dostarczyć tymczasowe poświadczenia AWS, rola musi ufać podmiotowi zabezpieczeń usługi IAM Roles Anywhere.
Format powinien być następujący:
arn:aws:iam::<account-id>:role/<role-name-with-path>
Więcej informacji o usłudze IAM Roles Anywhere można znaleźć w:
Rozszerzanie ról AWS IAM na obciążenia poza platformą AWS za pomocą usługi IAM Roles Anywhere
Role IAM dla EC2
Wybierz tę metodę, jeśli maszyna, na której Data Movement gateway jest zainstalowany, jest skonfigurowana do uwierzytelniania się przy użyciu roli IAM.
Aby uzyskać informacje na temat ról IAM, zobacz Role IAM.
Przyjmij rolę: Wybierz tę opcję, aby przyjąć rolę IAM. Po wybraniu tej opcji określ następujące elementy:
- Dodatkowy ARN roli: ARN skojarzony z rolą docelową.
- Dodatkowy zewnętrzny identyfikator roli: Wartość warunku zewnętrznego identyfikatora w polityce zaufania roli docelowej (opcjonalne, ale niedostępne dla Qlik Open Lakehouse integracji sieciowej).
InformacjaGdy Użycie jest ustawione na Integracja sieciowa i Opcja dostępu jest ustawiona na Role IAM dla EC2, musisz włączyć opcję Przyjmij rolę i określić Dodatkową rolę ARN. Opcja Zewnętrzny identyfikator roli dodatkowej nie jest istotna, gdy Użycie jest ustawione na Integracja sieciowa.
Nazwa zasobnika: nazwa Twojego zasobnika Amazon S3.
Domyślnym ustawieniem regionu zasobnika jest wykrywanie automatyczne, co eliminuje potrzebę ustawiania określonego regionu. Ze względów bezpieczeństwa w przypadku niektórych regionów (na przykład AWS GovCloud) może być jednak wymagane jawne ustawienie regionu. W takim przypadku możesz ustawić kod regionu za pomocą właściwości wewnętrznej regionCode.
Listę kodów regionów można znaleźć w sekcji Dostępność regionów na stronie: https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Concepts.RegionsAndAvailabilityZones.html
Instrukcje dotyczące ustawiania właściwości wewnętrznych znajdują się poniżej.
Użyj AWS PrivateLink (nieobsługiwane jako cel umieszczania dla Qlik Open Lakehouse ): Wybierz tę opcję, aby połączyć się z Amazon VPC, a następnie określ adres URL punktu końcowego VPC (na przykład https://bucket.vpce-1a2b3c4d-5e6f.s3.us-east-1.vpce.amazonaws.com).
Szyfrowanie danych
Wybierz jedną z następujących opcji szyfrowania:
Szyfrowanie po stronie serwera z kluczami zarządzanymi przez Amazon S3 (SSE-S3).
Jest to domyślne.
Szyfrowanie po stronie serwera przy użyciu kluczy zarządzanych przez AWS KMS (SSE-KMS)
Ta opcja wymaga również określenia identyfikatora klucza KMS.
Więcej informacji na temat dostępnych metod szyfrowania po stronie serwera znajdziesz w:
- BRAK
Właściwości wewnętrzne
Właściwości wewnętrzne są przeznaczone dla specjalnych przypadków, w związku z czym nie są ukazywane w oknie dialogowym. Należy ich używać tylko na polecenie Qlik Pomocy technicznej.
Użyj przycisków 
i 
znajdujących się po prawej stronie pól, aby dodać lub usunąć właściwości zgodnie z potrzebą.
Nazwa
Nazwa wyświetlana dla połączenia.
Mapowanie typów danych
Następująca tabela pokazuje domyślne mapowanie z typów danych Qlik Cloud do docelowych typów danych Amazon S3.
Mapowanie z typów danych Qlik Cloud na Amazon S3
| Qlik Cloudtypy danych | Typy danych docelowych Amazon S3 |
|---|---|
DATE | DATE |
TIME | TIME |
DATETIME | DATETIME |
BYTES | BYTES (długość) |
BLOB | BLOB |
REAL4 | REAL4 (7) |
REAL8 | REAL8 (14) |
INT1 | INT1 (3) |
INT2 | INT2 (5) |
INT4 | INT4 (10) |
INT8 | INT8 (19) |
UINT1 | UINT1 (3) |
UINT2 | UINT2 (5) |
UINT4 | UINT4 (10) |
UINT8 | UINT8 (20) |
NUMERIC | NUMERIC (p,s) |
STRING | STRING (długość) |
WSTRING | STRING (długość) |
CLOB | CLOB |
NCLOB | NCLOB |
BOOLEAN | BOOLEAN (1) |
Mapowanie z typów danych Qlik Cloud na Parquet
Po ustawieniu formatu plików Parquet mapowania typów danych będą takie, jak pokazano poniżej, ze względu na ograniczoną liczbę typów danych obsługiwanych przez Parquet.
| Qlik Cloud Typ danych | Typ pierwotny Parquet | Typ logiczny |
|---|---|---|
BOOLEAN | BOOLEAN | |
INT1 | INT32 | INT(8, prawda) |
INT2 | INT32 | INT(16, prawda) |
INT4 | INT32 | |
INT8 | INT64 | |
UINT1 | INT32 | INT(8, false) |
UINT2 | INT32 | INT(16, fałsz) |
UINT4 | INT64 | |
UINT8 | INT64 | INT(64, fałsz) |
REAL4 | FLOAT | |
REAL8 | DOUBLE | |
NUMERIC | TABLICA_BAJTÓW_O_STAŁEJ_DŁUGOŚCI (16) | DECIMAL (precyzja, skala) |
STRING | TABLICA_BAJTÓW | STRING |
WSTRING | TABLICA_BAJTÓW | STRING |
BYTES | TABLICA_BAJTÓW | |
BLOB | TABLICA_BAJTÓW | |
CLOB | TABLICA_BAJTÓW | STRING |
NCLOB | TABLICA_BAJTÓW | STRING |
DATE | INT32 | DATE |
TIME | INT32 | TIME (UTC=true, unit=MILLIS) |
DATETIME | INT64 | SYGNATURA_CZASU (UTC=prawda, jednostka=MIKROSEKUNDY) |