Amazon S3

Amazon S3 może służyć jako:

• Obszar tymczasowy podczas pracy z platformami Databricks (opcjonalnie) i Amazon Redshift (wymagane) jako miejscami docelowymi potoku danych. Obszar tymczasowy w chmurze to miejsce, w którym dane i zmiany są przechowywane przed zastosowaniem i zapisaniem.

• Miejsce docelowe w zadaniu replikacji.

  • Wyjaśnienie sposobu replikowania danych do Amazon S3 w ramach subskrypcji Standard, Premium i Enterprise, zawiera temat Umieszczanie danych w jeziorze danych w ramach subskrypcji Standard, Premium lub Enterprise.
  • Wyjaśnienie sposobu replikowania danych do Amazon S3 w ramach subskrypcji Starter zawiera temat Replikacja danych w ramach subskrypcji Qlik Talend Cloud Starter.

Uprawnienia wymagane do umieszczania danych

• Musisz mieć zasobnik Amazon S3 dostępny na komputerze Data Movement gateway.

  Informacje na temat rejestracji w usłudze Amazon S3 znajdują się na stronie http://aws.amazon.com/s3/.

• Dane dostępu do zasobnika: zapisz nazwę, , klucz dostępu i tajny klucz dostępu do zasobnika — należy je podać w ustawieniach Amazon S3 łącznik.

• Uprawnienia dostępu do zasobnika: wymagane są następujące uprawnienia dostępu do zasobnika:

  {
  	"Version": "2012-10-17",
  	"Statement": [
  	    {
  	     "Sid": "Stmt1497347821000",
  	     "Effect": "Allow",
  	     "Action": [
                  "s3:GetBucketLocation",
                  "s3:ListBucket"
              ],
              "Resource": [
                  "arn:aws:s3:::YOUR_BUCKET_NAME"
              ]
          },
          {
              "Sid": "Stmt1497344984000",
              "Effect": "Allow",
              "Action": [
                  "s3:PutObject",
                  "s3:GetObject",
                  "s3:DeleteObject"
              ],
              "Resource": [
                  "arn:aws:s3:::YOUR_BUCKET_NAME/target_path",
                  "arn:aws:s3:::YOUR_BUCKET_NAME/target_path/*"
              ]
          }
      ]
  }
  

Gdzie YOUR_BUCKET_NAME jest nazwą Twojego zasobnika, a target_path to planowana lokalizacja plików docelowych w zasobniku.

Wymagania wstępne Brama danych Qlik — ruch danych

Data Movement gateway łączy się z usługą AWS przy użyciu protokołu SSL. To wymaga, aby odpowiedni certyfikat urzędu certyfikacji znajdował się na maszynie Data Movement gateway, w przeciwnym razie połączenie się nie powiedzie. Celem certyfikatu urzędu certyfikacji jest uwierzytelnienie własności certyfikatu serwera AWS.

Upewnij się, że wymagany certyfikat urzędu certyfikacji znajduje się w następującej lokalizacji na komputerze z systemem Linux:

/etc/pki/tls/certs/ca-bundle.crt

Jeśli nie ma certyfikatu, najłatwiejszym rozwiązaniem jest skopiowanie pakietu certyfikatów z innego komputera z systemem Linux.

Ustawianie właściwości połączenia z Amazon S3

Aby skonfigurować łącznik, wykonaj następujące czynności:

1. W obszarze Połączenia kliknij Utwórz połączenie.

2. Wybierz łącznik miejsca docelowego Amazon S3 , a następnie podaj następujące ustawienia:

Miejsce docelowe danych

Brama danych: Wybierz bramę Brama danych ruchu danych, której chcesz użyć, aby uzyskać dostęp do docelowej bazy danych.

W zależności od zastosowania będzie to ta sama Brama danych ruchu danych, która została wdrożona do umieszczania danych ze źródła, lub inna. Aby uzyskać informacje na temat możliwości wdrożenia Brama danych ruchu danych, zobacz temat Typowe zastosowania.

Właściwości połączenia

• Klucz dostępu: klucz dostępu do zasobnika Amazon S3.
• Klucz tajny: Klucz tajny do Twojego zasobnika Amazon S3.

• Nazwa zasobnika: nazwa Twojego zasobnika Amazon S3.

  Informacja

  Domyślnym ustawieniem regionu zasobnika jest wykrywanie automatyczne, co eliminuje potrzebę ustawiania określonego regionu. Ze względów bezpieczeństwa w przypadku niektórych regionów (na przykład AWS GovCloud) może być jednak wymagane jawne ustawienie regionu. W takim przypadku możesz ustawić kod regionu za pomocą właściwości wewnętrznej regionCode.

  Listę kodów regionów można znaleźć w sekcji Dostępność regionów na stronie: https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Concepts.RegionsAndAvailabilityZones.html

  Instrukcje dotyczące ustawiania właściwości wewnętrznych znajdują się poniżej.

• Użyj AWS PrivateLink: Wybierz tę opcję, aby połączyć się z Amazon VPC, a następnie określ adres URL punktu końcowego VPC (na przykład https://bucket.vpce-1a2b3c4d-5e6f.s3.us-east-1.vpce.amazonaws.com).

  InformacjaOpcja Użyj AWS PrivateLink nie jest obsługiwana w przypadku korzystania z zasobnika Amazon S3 jako obszaru tymczasowego dla miejsca docelowego Databricks. Informacje na temat konfigurowania łączności z obiektem docelowym Databricks zawiera temat Databricks.

Właściwości wewnętrzne

Właściwości wewnętrzne są przeznaczone dla specjalnych przypadków, w związku z czym nie są ukazywane w oknie dialogowym. Należy ich używać tylko na polecenie Qlik Pomocy technicznej.

Użyj przycisków i znajdujących się po prawej stronie pól, aby dodać lub usunąć właściwości zgodnie z potrzebą.

Nazwa

Nazwa wyświetlana dla połączenia.

Mapowanie typów danych

Następująca tabela pokazuje domyślne mapowanie z typów danych Qlik Cloud do docelowych typów danych Amazon S3.

Mapowanie z typów danych Qlik Cloud na Amazon S3

Mapowanie z typów danych Qlik Cloud na Parquet

Po ustawieniu formatu plików Parquet mapowania typów danych będą takie, jak pokazano poniżej, ze względu na ograniczoną liczbę typów danych obsługiwanych przez Parquet.