# Amazon S3

Amazon S3 może służyć jako:

* Obszar tymczasowy podczas pracy z platformami Databricks (opcjonalnie) i Amazon Redshift (wymagane) jako miejscami docelowymi potoku danych. Obszar przechowywania w chmurze to miejsce, w którym dane i zmiany są przechowywane przed zastosowaniem i zapisaniem.

* Chmurowy obszar przejściowy podczas używania projektów Otwarty lakehouse Qlik ze źródłami CDC. Wymaga to, aby Brama danych ruchu danych i klastry mogły odczytywać i zapisywać do zasobnika umieszczania. Więcej informacji zawiera temat [Krok 1: Tworzenie integracji sieciowej](https://help.qlik.com/pl-PL/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/network-integration.htm).

* Chmurowy obszar przejściowy podczas używania projektów Otwarty lakehouse Qlik ze źródłami strumieniowymi. Wymaga to, aby klastry mogły odczytywać i zapisywać do zasobnika umieszczania. Więcej informacji zawiera temat [Krok 1: Tworzenie integracji sieciowej](https://help.qlik.com/pl-PL/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/network-integration.htm).

* Miejsce docelowe w zadaniu replikacji.

  * Wyjaśnienie sposobu replikowania danych do Amazon S3 w ramach subskrypcji Standard, Premium i Enterprise, zawiera temat [Umieszczanie danych w jeziorze danych w ramach subskrypcji Standard, Premium lub Enterprise](https://help.qlik.com/pl-PL/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Replicating/landing-datalakes.htm).
  * Wyjaśnienie sposobu replikowania danych do Amazon S3 w ramach subskrypcji Starter zawiera temat [Replikacja danych w ramach subskrypcji Qlik Talend Cloud Starter](https://help.qlik.com/pl-PL/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Replicating/replicating-starter-subscription.htm).

## Uprawnienia wymagane do umieszczania danych

* Musisz mieć zasobnik Amazon S3, który jest dostępny z poziomu usługi lub maszyny używanej do uzyskiwania do niego dostępu.

  Informacje na temat rejestracji w usłudze Amazon S3 znajdują się na stronie http://aws.amazon.com/s3/.

* Dane dostępu do zasobnika: zapisz nazwę, klucz dostępu i tajny klucz dostępu do zasobnika — należy je podać w ustawieniach Amazon S3 łącznik.

* Uprawnienia dostępu do zasobnika: wymagane są następujące uprawnienia dostępu do zasobnika:

  ```
   
  ```

  ```
  {
  	"Version": "2012-10-17",
  	"Statement": [
  	    {
  	     "Sid": "Stmt1497347821000",
  	     "Effect": "Allow",
  	     "Action": [
                  "s3:GetBucketLocation",
                  "s3:ListBucket"
              ],
              "Resource": [
                  "arn:aws:s3:::YOUR_BUCKET_NAME"
              ]
          },
          {
              "Sid": "Stmt1497344984000",
              "Effect": "Allow",
              "Action": [
                  "s3:PutObject",
                  "s3:GetObject",
                  "s3:DeleteObject"
              ],
              "Resource": [
                  "arn:aws:s3:::YOUR_BUCKET_NAME/target_path",
                  "arn:aws:s3:::YOUR_BUCKET_NAME/target_path/*"
              ]
          }
      ]
  }
  ```

Gdzie `YOUR_BUCKET_NAME` jest nazwą Twojego zasobnika, a `target_path` to planowana lokalizacja plików docelowych w zasobniku.

Informacja

Jeśli ścieżka docelowa prowadzi do katalogu głównego zasobnika, w miejsce członu `“/target_path”` podaj pusty ciąg.

## Wymagania wstępne Brama danych Qlik — ruch danych

Data Movement gateway łączy się z usługą AWS przy użyciu protokołu SSL. To wymaga, aby odpowiedni certyfikat urzędu certyfikacji znajdował się na maszynie Data Movement gateway, w przeciwnym razie połączenie się nie powiedzie. Celem certyfikatu urzędu certyfikacji jest uwierzytelnienie własności certyfikatu serwera AWS.

Upewnij się, że wymagany certyfikat urzędu certyfikacji znajduje się w następującej lokalizacji na komputerze z systemem Linux:

/etc/pki/tls/certs/ca-bundle.crt

Jeśli nie ma certyfikatu, najłatwiejszym rozwiązaniem jest skopiowanie pakietu certyfikatów z innego komputera z systemem Linux.

## Ustawianie właściwości połączenia z Amazon S3

Aby skonfigurować łącznik, wykonaj następujące czynności:

1. W obszarze Połączenia kliknij Utwórz połączenie.

2. Wybierz łącznik miejsca docelowego Amazon S3, a następnie podaj następujące ustawienia:

### Miejsce docelowe danych

Użycie

wybierz jedną z następujących opcji w zależności od sposobu użycia:

* Przenoszenie danych: Zaznacz, jeśli używasz Brama danych ruchu danych, aby uzyskać dostęp do miejsca docelowego Amazon S3.

* Integracja sieciowa: Wybierz w przypadku korzystania z usługi Amazon S3 do przechowywania plików metadanych Qlik wymaganych do [integracji sieciowej Otwarty lakehouse Qlik](https://help.qlik.com/pl-PL/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/manual-integration.htm).

* Oba: Wybierz, gdy oba powyższe warunki są spełnione.

Brama danych

Gdy wybrano opcję Przenoszenie danych lub Oba, wybierz Brama danych ruchu danych, którego chcesz użyć, aby uzyskać dostęp do obiektu docelowego.

W zależności od zastosowania będzie to ta sama Brama danych ruchu danych, która została wdrożona do umieszczania danych ze źródła, lub inna. Aby uzyskać informacje na temat możliwości wdrożenia Brama danych ruchu danych, zobacz temat [Typowe zastosowania](https://help.qlik.com/pl-PL/cloud-services/Subsystems/Hub/Content/Sense_Hub/Gateways/replication-gateway.htm#Common).

InformacjaWymaga bramy Brama danych ruchu danych w wersji 2023.5.10 lub nowszej.

Integracja sieciowa

Gdy wybrana jest opcja Integracja sieciowa lub Oba, wybierz Otwarty lakehouse Qlik [utworzoną wcześniej integrację sieciową](https://help.qlik.com/pl-PL/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/network-integration.htm).

### Właściwości połączenia

* Opcje dostępu: Wybierz jedną z poniższych opcji:

  * Para kluczy (domyślne)

    Użyj pary kluczy, aby uzyskać dostęp do swojego zasobnika Amazon S3. Po wybraniu tej opcji określ następujące elementy:

    * Klucz dostępu: klucz dostępu do zasobnika Amazon S3.

    * Klucz tajny: Klucz tajny do Twojego zasobnika Amazon S3.

  * IAM Roles Anywhere (nieobsługiwane w przypadku używania Amazon S3 jako obszaru pomostowego dla Databricks lub Otwarty lakehouse Qlik):

    Usługę IAM Roles Anywhere można skonfigurować w [konsoli IAM Roles Anywhere](https://console.aws.amazon.com/rolesanywhere/home/), za pośrednictwem interfejsu AWS CLI lub przy użyciu zestawu AWS SDK. Usługa IAM Roles Anywhere umożliwia korzystanie z infrastruktury klucza publicznego (PKI) do generowania tymczasowych poświadczeń w celu uzyskiwania dostępu do ról IAM spoza platformy AWS. Oznacza to, że możesz bezpiecznie uzyskiwać dostęp do zasobów AWS z poziomu Qlik Talend Data Integration bez konieczności zarządzania długoterminowymi poświadczeniami.

    Po wybraniu tej opcji określ następujące elementy:

    * Plik certyfikatu: Ścieżka do certyfikatu publicznego Qlik Talend Data Integration na maszynie Data Movement gateway w formacie PEM. Ten plik musi być podpisany certyfikatem urzędu certyfikacji (CA) skonfigurowanym w konsoli IAM Roles Anywhere.

    * Plik klucza prywatnego: Ścieżka do pliku klucza prywatnego Qlik Talend Data Integration na maszynie Data Movement gateway w formacie PEM.

    * Hasło klucza prywatnego: Hasło klucza prywatnego. Wymagane tylko wtedy, gdy plik klucza prywatnego jest zaszyfrowany.

    * ARN kotwicy zaufania: Numer ARN powiązany z kotwicą zaufania utworzoną w konsoli IAM Roles Anywhere. Zaufanie między usługą IAM Roles Anywhere a urzędem certyfikacji (CA) ustanawia się poprzez utworzenie kotwicy zaufania. Kotwica zaufania to odwołanie do prywatnego urzędu certyfikacji AWS lub zewnętrznego certyfikatu urzędu certyfikacji. Twoje obciążenia poza platformą AWS uwierzytelniają się za pomocą kotwicy zaufania przy użyciu certyfikatów wydanych przez zaufany urząd certyfikacji w zamian za tymczasowe poświadczenia AWS.

    * ARN profilu: Numer ARN powiązany z profilem utworzonym w konsoli IAM Roles Anywhere. Aby określić, jakie role przyjmuje usługa IAM Roles Anywhere i co Twoje obciążenia mogą zrobić z tymczasowymi poświadczeniami, tworzysz profil. W profilu możesz zdefiniować uprawnienia za pomocą zasad zarządzanych przez IAM, aby ograniczyć uprawnienia dla utworzonej sesji.

    * ARN roli: Numer ARN powiązany z rolą utworzoną w konsoli IAM Roles Anywhere. Rola to tożsamość IAM, którą tworzysz na swoim koncie z określonymi uprawnieniami. Aby usługa IAM Roles Anywhere mogła przyjąć rolę i dostarczyć tymczasowe poświadczenia AWS, rola musi ufać podmiotowi zabezpieczeń usługi IAM Roles Anywhere.

      Format powinien być następujący:

      arn:aws:iam::<account-id>:role/<role-name-with-path>

    Więcej informacji o usłudze IAM Roles Anywhere można znaleźć w:

    [Rozszerzanie ról AWS IAM na obciążenia poza platformą AWS za pomocą usługi IAM Roles Anywhere](https://docs.aws.amazon.com/rolesanywhere/latest/userguide/introduction.html)

  * Role IAM dla EC2

    Wybierz tę metodę, jeśli maszyna używana do uzyskiwania dostępu do usługi Amazon S3 jest skonfigurowana do uwierzytelniania za pomocą roli IAM.

    Aby uzyskać informacje na temat ról IAM, zobacz [Role IAM](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles.html).

    * Przyjmij rolę: Wybierz tę opcję, aby przyjąć docelową rolę IAM.

      Ta opcja jest opcjonalna dla trybów Data Movement, Network Integration oraz Both.

      Gdy nie jest zaznaczone, połączenie korzysta z roli IAM powiązanej z odpowiednią maszyną EC2.

      Skonfiguruj politykę zaufania roli docelowej, aby ufała odpowiedniej roli Data Access i/lub Data Movement dla wybranego trybu Użycie.

      Określ następujące:

      * ARN dodatkowej roli: ARN powiązany z rolą docelową.
      * Dodatkowy zewnętrzny identyfikator roli: gdy wybrano opcję Przejęcie roli, a parametr Użycie jest ustawiony na Integracja sieciowa lub Oba, kliknij przycisk Wczytaj zewnętrzny identyfikator, aby pobrać zewnętrzny identyfikator. Dodaj pobrany identyfikator zewnętrzny do polityki zaufania dodatkowej roli docelowej.

      Skonfiguruj politykę zaufania tak, aby ufała odpowiedniej roli dla wybranego trybu Użycie:

      * Tryb integracji sieciowej: Zaufaj roli dostępu do danych (roli serwera) używanej przez Twoją integrację sieciową.
      * Tryb przenoszenia danych: Zaufaj roli przenoszenia danych używanej przez Brama danych ruchu danych.
      * Tryb Oba: Ufaj zarówno roli Data Access, jak i roli Data Movement.

* Nazwa zasobnika: nazwa Twojego zasobnika Amazon S3.

  Informacja

  Domyślnym ustawieniem regionu zasobnika jest wykrywanie automatyczne, co eliminuje potrzebę ustawiania określonego regionu. Ze względów bezpieczeństwa w przypadku niektórych regionów (na przykład AWS GovCloud) może być jednak wymagane jawne ustawienie regionu. W takim przypadku możesz ustawić kod regionu za pomocą właściwości wewnętrznej `regionCode`.

  Listę kodów regionów można znaleźć w sekcji Dostępność regionów na stronie: https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Concepts.RegionsAndAvailabilityZones.html

  Instrukcje dotyczące ustawiania właściwości wewnętrznych znajdują się poniżej.

* Użyj AWS PrivateLink (nieobsługiwane jako cel umieszczania dla Otwarty lakehouse Qlik ): Wybierz tę opcję, aby połączyć się z Amazon VPC, a następnie podaj adres URL punktu końcowego VPC (na przykład https://bucket.vpce-1a2b3c4d-5e6f.s3.us-east-1.vpce.amazonaws.com).

  InformacjaOpcja Użyj AWS PrivateLink nie jest obsługiwana w przypadku korzystania z zasobnika Amazon S3 jako obszaru tymczasowego dla miejsca docelowego Databricks. Informacje na temat konfigurowania łączności z obiektem docelowym Databricks zawiera temat [Databricks](https://help.qlik.com/pl-PL/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/TargetConnections/databricks-target.htm).

### Szyfrowanie danych

Wybierz jedną z następujących opcji szyfrowania:

* Szyfrowanie po stronie serwera z kluczami zarządzanymi przez Amazon S3 (SSE-S3).

  Jest to domyślne.

* Szyfrowanie po stronie serwera przy użyciu kluczy zarządzanych przez AWS KMS (SSE-KMS)

  Ta opcja wymaga również określenia identyfikatora klucza KMS.

  Więcej informacji na temat dostępnych metod szyfrowania po stronie serwera znajdziesz w:

  [Ochrona danych za pomocą szyfrowania po stronie serwera](http://docs.aws.amazon.com/AmazonS3/latest/dev/serv-side-encryption.html)

* Brak

### Właściwości wewnętrzne

Właściwości wewnętrzne są przeznaczone dla specjalnych przypadków, w związku z czym nie są ukazywane w oknie dialogowym. Należy ich używać tylko na polecenie Qlik Pomocy technicznej.

Użyj przycisków the Utwórz nowe icon i the Anuluj icon znajdujących się po prawej stronie pól, aby dodać lub usunąć właściwości zgodnie z potrzebą.

### Nazwa

Nazwa wyświetlana dla połączenia.

## Mapowanie typów danych

Następująca tabela pokazuje domyślne mapowanie z typów danych Qlik Cloud do docelowych typów danych Amazon S3.

InformacjaMapowania typu danych mają zastosowanie tylko wtedy, gdy włączona jest opcja [Utwórz pliki metadanych w folderze docelowym](https://help.qlik.com/pl-PL/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Replicating/landing-datalakes-settings.htm#Metadata) w ustawieniach zadania „Umieszczanie danych w jeziorze danych”.

### Mapowanie z typów danych Qlik Cloud na Amazon S3

Typy danych Qlik CloudQlik Cloud i Amazon S3

| Typy danych Qlik Cloud | Typy danych docelowych Amazon S3 |
| --- | --- |
| DATE | DATE |
| TIME | TIME |
| DATETIME | DATETIME |
| BYTES | BYTES (długość) |
| BLOB | BLOB |
| REAL4 | REAL4 (7) |
| REAL8 | REAL8 (14) |
| INT1 | INT1 (3) |
| INT2 | INT2 (5) |
| INT4 | INT4 (10) |
| INT8 | INT8 (19) |
| UINT1 | UINT1 (3) |
| UINT2 | UINT2 (5) |
| UINT4 | UINT4 (10) |
| UINT8 | UINT8 (20) |
| NUMERIC | NUMERIC (p,s) |
| STRING | STRING (długość) |
| WSTRING | STRING (długość) |
| CLOB | CLOB |
| NCLOB | NCLOB |
| BOOLEAN | BOOLEAN (1) |

### Mapowanie z typów danych Qlik Cloud na Parquet

Po ustawieniu formatu plików Parquet mapowania typów danych będą takie, jak pokazano poniżej, ze względu na ograniczoną liczbę typów danych obsługiwanych przez Parquet.

Mapowania typu danych Parquet

| Typ danych Qlik Cloud | Typ pierwotny Parquet | Typ logiczny |
| --- | --- | --- |
| BOOLEAN | BOOLEAN |  |
| INT1 | INT32 | INT(8, true) |
| INT2 | INT32 | INT(16, true) |
| INT4 | INT32 |  |
| INT8 | INT64 |  |
| UINT1 | INT32 | INT(8, false) |
| UINT2 | INT32 | INT(16, false) |
| UINT4 | INT64 |  |
| UINT8 | INT64 | INT(64, false) |
| REAL4 | FLOAT |  |
| REAL8 | DOUBLE |  |
| NUMERIC | FIXED\_LEN\_BYTE\_ARRAY (16) | DECIMAL (precyzja, skala) |
| STRING | BYTE\_ARRAY | STRING |
| WSTRING | BYTE\_ARRAY | STRING |
| BYTES | BYTE\_ARRAY |  |
| BLOB | BYTE\_ARRAY |  |
| CLOB | BYTE\_ARRAY | STRING |
| NCLOB | BYTE\_ARRAY | STRING |
| DATE | INT32 | DATE |
| TIME | INT32 | TIME (UTC=true, unit=MILLIS) |
| DATETIME | INT64 | TIMESTAMP (UTC=true, unit=MICROS) |

## Dowiedz się więcej

* [Umieszczanie danych w jeziorze danych](https://help.qlik.com/pl-PL/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Replicating/landing-datalakes.htm)
* [Cel Amazon Redshift](https://help.qlik.com/pl-PL/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/TargetConnections/redshift-target.htm)
* [Miejsce docelowe Databricks](https://help.qlik.com/pl-PL/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/TargetConnections/databricks-target.htm)