Przeskocz do zawartości głównej Przejdź do treści uzupełniającej

Amazon S3

Amazon S3 może służyć jako:

  • Obszar tymczasowy podczas pracy z platformami Databricks (opcjonalnie) i Amazon Redshift (wymagane) jako miejscami docelowymi potoku danych. Obszar tymczasowy w chmurze to miejsce, w którym dane i zmiany są przechowywane przed zastosowaniem i zapisaniem.
  • Miejsca docelowego w zadaniu replikacji „umieść dane w jeziorze danych”.

Uprawnienia wymagane do umieszczania danych

  • Musisz mieć zasobnik Amazon S3 dostępny na komputerze Brama danych ruchu danych.

    Informacje na temat rejestracji w usłudze Amazon S3 znajdują się na stronie http://aws.amazon.com/s3/.

  • Dane dostępu do zasobnika: zapisz nazwę, , klucz dostępu i tajny klucz dostępu do zasobnika — należy je podać w ustawieniach Amazon S3 łącznik.
  • Uprawnienia dostępu do zasobnika: wymagane są następujące uprawnienia dostępu do zasobnika:

     
    {
    	"Version": "2012-10-17",
    	"Statement": [
    	    {
    	     "Sid": "Stmt1497347821000",
    	     "Effect": "Allow",
    	     "Action": [
                    "s3:GetBucketLocation",
                    "s3:ListBucket"
                ],
                "Resource": [
                    "arn:aws:s3:::YOUR_BUCKET_NAME"
                ]
            },
            {
                "Sid": "Stmt1497344984000",
                "Effect": "Allow",
                "Action": [
                    "s3:PutObject",
                    "s3:GetObject",
                    "s3:DeleteObject"
                ],
                "Resource": [
                    "arn:aws:s3:::YOUR_BUCKET_NAME/target_path",
                    "arn:aws:s3:::YOUR_BUCKET_NAME/target_path/*"
                ]
            }
        ]
    }
    

Gdzie YOUR_BUCKET_NAME jest nazwą Twojego zasobnika, a target_path to planowana lokalizacja plików docelowych w zasobniku.

Informacja

Jeśli ścieżka docelowa prowadzi do katalogu głównego zasobnika, w miejsce członu “/target_path” podaj pusty ciąg.

Wymagania wstępne Brama danych Qlik — ruch danych

Brama danych ruchu danych łączy się z usługą AWS przy użyciu protokołu SSL. To wymaga, aby odpowiedni certyfikat urzędu certyfikacji znajdował się na maszynie Brama danych ruchu danych, w przeciwnym razie połączenie się nie powiedzie. Celem certyfikatu urzędu certyfikacji jest uwierzytelnienie własności certyfikatu serwera AWS.

Upewnij się, że wymagany certyfikat urzędu certyfikacji znajduje się w następującej lokalizacji na komputerze z systemem Linux:

/etc/pki/tls/certs/ca-bundle.crt

Jeśli nie ma certyfikatu, najłatwiejszym rozwiązaniem jest skopiowanie pakietu certyfikatów z innego komputera z systemem Linux.

Ustawianie właściwości połączenia z Amazon S3

Aby skonfigurować łącznik, wykonaj następujące czynności:

  1. Kliknij przycisk Dodaj nowe na pasku górnym, a następnie kliknij Połączenie danych.

  2. Wybierz łącznik miejsca docelowego Amazon S3 , a następnie podaj następujące ustawienia:

Miejsce docelowe danych

Brama danych: Wybierz bramę Brama danych ruchu danych, której chcesz użyć, aby uzyskać dostęp do docelowej bazy danych.

W zależności od zastosowania będzie to ta sama Brama danych ruchu danych, która została wdrożona do umieszczania danych ze źródła, lub inna. Aby uzyskać informacje na temat możliwości wdrożenia Brama danych ruchu danych, zobacz temat Typowe zastosowania.

InformacjaWymaga bramy Brama danych ruchu danych w wersji 2023.5.10 lub nowszej.

Właściwości połączenia

  • Klucz dostępu: klucz dostępu do zasobnika Amazon S3.
  • Klucz tajny: Klucz tajny do Twojego zasobnika Amazon S3.
  • Nazwa zasobnika: nazwa Twojego zasobnika Amazon S3.

    Informacja

    Domyślnym ustawieniem regionu zasobnika jest wykrywanie automatyczne, co eliminuje potrzebę ustawiania określonego regionu. Ze względów bezpieczeństwa w przypadku niektórych regionów (na przykład AWS GovCloud) może być jednak wymagane jawne ustawienie regionu. W takim przypadku możesz ustawić kod regionu za pomocą właściwości wewnętrznej regionCode.

    Listę kodów regionów można znaleźć w sekcji Dostępność regionów na stronie: https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Concepts.RegionsAndAvailabilityZones.html

    Instrukcje dotyczące ustawiania właściwości wewnętrznych znajdują się poniżej.

  • Użyj AWS PrivateLink: Wybierz tę opcję, aby połączyć się z Amazon VPC, a następnie określ adres URL punktu końcowego VPC (na przykład https://bucket.vpce-1a2b3c4d-5e6f.s3.us-east-1.vpce.amazonaws.com).

    InformacjaOpcja Użyj AWS PrivateLink nie jest obsługiwana w przypadku korzystania z zasobnika Amazon S3 jako obszaru tymczasowego dla miejsca docelowego Databricks. Informacje na temat konfigurowania łączności z obiektem docelowym Databricks zawiera temat Databricks.

Właściwości wewnętrzne

Właściwości wewnętrzne są przeznaczone dla specjalnych przypadków, w związku z czym nie są ukazywane w oknie dialogowym. Należy ich używać tylko na polecenie Qlik Pomocy technicznej.

Użyj przycisków Utwórz nowy i Anuluj znajdujących się po prawej stronie pól, aby dodać lub usunąć właściwości zgodnie z potrzebą.

Nazwa

Nazwa wyświetlana dla połączenia.

Mapowanie typów danych

Następująca tabela pokazuje domyślne mapowanie z typów danych Qlik Cloud do docelowych typów danych Amazon S3.

InformacjaMapowania typu danych mają zastosowanie tylko wtedy, gdy włączona jest opcja Utwórz pliki metadanych w folderze docelowym w ustawieniach zadania „Umieszczanie danych w jeziorze danych”.

Mapowanie z typów danych Qlik Cloud na Amazon S3

Typy danych Qlik Cloud i Amazon S3
Typy danych Qlik Cloud Typy danych docelowych Amazon S3

DATE

DATE

TIME

TIME

DATETIME

DATETIME

BYTES

BYTES (długość)

BLOB

BLOB

REAL4

REAL4 (7)

REAL8

REAL8 (14)

INT1

INT1 (3)

INT2

INT2 (5)

INT4

INT4 (10)

INT8

INT8 (19)

UINT1

UINT1 (3)

UINT2

UINT2 (5)

UINT4

UINT4 (10)

UINT8

UINT8 (20)

NUMERIC

NUMERIC (p,s)

STRING

STRING (długość)

WSTRING

STRING (długość)

CLOB

CLOB

NCLOB

NCLOB

BOOLEAN

BOOLEAN (1)

Mapowanie z typów danych Qlik Cloud na Parquet

Po ustawieniu formatu plików Parquet mapowania typów danych będą takie, jak pokazano poniżej, ze względu na ograniczoną liczbę typów danych obsługiwanych przez Parquet.

Mapowania typu danych Parquet
Typ danych Qlik CloudTyp pierwotny ParquetTyp logiczny

BOOLEAN

BOOLEAN

 

INT1

INT32

INT(8, true)

INT2

INT32

INT(16, true)

INT4

INT32

 

INT8

INT64

 

UINT1

INT32

INT(8, false)

UINT2

INT32

INT(16, false)

UINT4

INT64

 

UINT8

INT64

INT(64, false)

REAL4

FLOAT

 

REAL8

DOUBLE

 

NUMERIC

FIXED_LEN_BYTE_ARRAY (16)

DECIMAL (precyzja, skala)

STRING

BYTE_ARRAY

STRING

WSTRING

BYTE_ARRAY

STRING

BYTES

BYTE_ARRAY

 

BLOB

BYTE_ARRAY

 

CLOB

BYTE_ARRAY

STRING

NCLOB

BYTE_ARRAY

STRING

DATE

INT32

DATE

TIME

INT32

TIME (UTC=true, unit=MILLIS)

DATETIME

INT64

TIMESTAMP (UTC=true, unit=MICROS)

Czy ta strona była pomocna?

Jeżeli natkniesz się na problemy z tą stroną lub jej zawartością — literówkę, brakujący krok lub błąd techniczny — daj nam znać, co możemy poprawić!