Amazon S3
Amazon Simple Storage Service (Amazon S3) to usługa obiektowej pamięci masowej, która oferuje wiodącą w branży skalowalność, dostępność danych, bezpieczeństwo i wydajność.
Przygotowanie do uwierzytelnienia
Aby uzyskać dostęp do swoich danych, musisz uwierzytelnić połączenie za pomocą danych logowania do swojego konta.
Aby połączyć się z Amazon S3, potrzebne są uprawnienia w AWS Identity Access Management (IAM), które pozwalają na tworzenie zasad i ról oraz wiązanie zasad z rolami. Jest to wymagane do przyznania uprawnień do zasobnika S3:
Tworzenie zasady IAM
Zasada IAM to język zasad dostępu oparty na JSON, służący do zarządzania uprawnieniami do zasobów zasobnika.
Nazwa uprawnienia | Operacja | Opis |
s3:GetObject | Obiekt GET |
Umożliwia pobieranie obiektów z Amazon S3. |
s3:GetObject | Obiekt HEAD | Umożliwia pobieranie metadanych z obiektu bez zwracania samego obiektu. |
s3:ListBucket | GET Zasobnik (lista obiektów) |
Umożliwia zwrot niektórych lub wszystkich (do 1000) obiektów znajdujących się w zasobniku. |
s3:ListBucket | zasobnik HEAD |
Służy do określania, czy zasobnik istnieje i czy dostęp do niego jest dozwolony. |
Aby utworzyć zasadę IAM:
- W AWS przejdź do usługi IAM, klikając Usługi i wpisując IAM.
- Kliknij IAM, gdy pojawi się w wynikach.
- Kliknij opcję Zasady w menu po lewej stronie.
- Kliknij przycisk Utwórz zasadę.
- Na stronie Utwórz zasadę kliknij kartę JSON.
- Zaznacz wszystkie elementy znajdujące się w polu tekstowym i usuń je.
- W polu tekstowym wklej poniższy kod JSON i zastąp MyBucketName nazwą swojego zasobnika:
{ "Version": "2012-10-17", "Statement": [ { "Sid": "", "Effect": "Allow", "Action": [ "s3:GetObject", "s3:ListBucket" ], "Resource": [ "arn:aws:s3:::MyBucketName", "arn:aws:s3:::MyBucketName/*" ] } ] }
- Kliknij opcję Przejrzyj zasadę.
- Na stronie Przejrzyj zasadę nadaj zasadzie nazwę. Na przykład:
qlik_amazon_s3
. - Kliknij przycisk Utwórz zasadę.
Tworzenie roli IAM
Aby wykonać ten krok, należy mieć następujące uprawnienia AWS IAM: CreateRole
i AttachRolePolicy
. Więcej informacji zawiera dokumentacja Amazon.
Jeśli tworzysz wiele integracji Amazon S3, musisz wykonać ten krok dla każdej połączonej integracji.
- W AWS przejdź do strony Role IAM.
- Kliknij Utwórz rolę.
- Na stronie Utwórz rolę:
- W sekcji Wybierz typ zaufanego podmiotu kliknij opcję Inne konto AWS.
- W polu ID konta wklej
338144066592
. - W sekcji Opcje zaznacz pole wyboru Wymagaj zewnętrznego ID.
- W wyświetlonym polu Zewnętrzny ID wklej
qlik_connection_<tenant-id>
i zastąp <tenant-id> swoim identyfikatorem dzierżawy.Aby znaleźć identyfikator dzierżawy, zobacz Znajdowanie informacji o dzierżawie.
- Kliknij przycisk Dalej: Uprawnienia.
- Na stronie Dołącz uprawnienia:
- Wyszukaj zasadę utworzoną w sekcji Tworzenie zasady IAM.
- Kiedy ją znajdziesz, zaznacz pole obok niej w tabeli.
- Kliknij przycisk Dalej: Tagi.
- Jeśli chcesz wprowadzić jakiekolwiek tagi, zrób to na stronie Dodaj tagi. W przeciwnym razie kliknij Dalej: Przegląd.
- Na stronie Przegląd:
- W polu Nazwa roli wklej
qlik_s3_<tenant-id>
i zastąp <tenant-id> swoim identyfikatorem dzierżawy.Aby znaleźć identyfikator dzierżawy, zobacz Znajdowanie informacji o dzierżawie.
- W polu Opis roli wprowadź opis. Na przykład:
Qlik role for Amazon S3 integration.
- Kliknij przycisk Utwórz rolę.
- W polu Nazwa roli wklej
Definiowanie wzorca wyszukiwania
Pole Wzorzec wyszukiwania definiuje kryteria wyszukiwania, których Qlik powinien używać do wybierania i replikacji plików. To pole akceptuje wyrażenia regularne, które mogą być używane do dołączania pojedynczego pliku lub wielu plików.
Podczas tworzenia wzorca wyszukiwania należy mieć na uwadze następujące kwestie:
- W przypadku dołączania wielu plików dla jednej tabeli każdy plik powinien mieć te same wartości wiersza nagłówka.
- Znaki specjalne, takie jak kropki (
.
) mają specjalne znaczenie w wyrażeniach regularnych. Aby je dokładnie dopasować, należy zastosować symbole zastępcze. Na przykład:.\
- Qlik używa Pythona do wyrażeń regularnych, które mogą różnić się składnią od innych odmian. Spróbuj użyć PyRegex do przetestowania wyrażeń przed zapisaniem integracji.
- Wzorce wyszukiwania powinny uwzględniać sposób aktualizacji danych w plikach. Rozważmy następujące przykłady:
Scenariusz | Pojedynczy plik, okresowo aktualizowany | Wiele plików generowanych codziennie |
Jak dokonywane są aktualizacje | Pojedynczy plik JSONL jest okresowo aktualizowany o nowe i zaktualizowane dane klientów. | Codziennie tworzony jest nowy plik CSV zawierający nowe i zaktualizowane dane kontenera. Stare pliki nigdy nie są aktualizowane po utworzeniu. |
Nazwa pliku | customers.jsonl
|
customers-[STRING].csv gdzie [STRING] jest unikalnym, losowym ciągiem znaków |
Wzorzec wyszukiwania |
Ponieważ zawsze będzie tylko jeden plik, można wprowadzić dokładną nazwę pliku w zasobniku S3:
|
Aby zapewnić identyfikację nowych i zaktualizowanych plików, należy wprowadzić wzorzec wyszukiwania, który będzie pasował do wszystkich plików zaczynających się od
|
Pasuje do | customer.jsonl , dokładnie |
|
Wymagania dotyczące plików
Nagłówek pierwszego wiersza (tylko pliki CSV) |
|
Typy plików |
|
Rodzaje kompresji |
Pliki te muszą być poprawnie skompresowane, w przeciwnym razie podczas ich wyodrębniania pojawią się błędy.
|
Znaki rozdzielające (tylko pliki CSV) |
|
Kodowanie znaków |
UTF-8 |
Tworzenie połączenia
Więcej informacji zawiera temat Łączenie się z aplikacjami SaaS.
- Wprowadź wymagane właściwości połączenia.
-
Podaj nazwę połączenia w polu Nazwa połączenia.
-
Wybierz opcję Otwórz metadane połączenia, aby zdefiniować metadane połączenia po jegu utworzeniu.
-
Kliknij polecenie Utwórz.
Ustawienie | Opis |
---|---|
Brama danych |
Wybierz bramę Data Movement gateway, jeżeli jest wymagana do danego zastosowania. Informacja
To pole jest niedostępne w subskrypcji Qlik Talend Cloud Starter, ponieważ brama Data Movement gateway jest w niej nieobsługiwana. Jeśli masz inny poziom subskrypcji i nie chcesz korzystać z bramy Data Movement gateway, wybierz opcję Brak. Informacje o zaletach bramy Data Movement gateway i o okolicznościach, w których jest wymagana, zawiera temat Qlik Data Gateway - Data Movement. |
Data rozpoczęcia |
Wprowadź datę, w formacie |
Zasobnik S3 | Nazwa zasobnika S3. |
Identyfikator konta AWS |
Identyfikator konta AWS, na którym istnieje zasobnik. Identyfikator konta AWS można znaleźć w Konsoli zarządzania AWS w sekcji Szczegóły konta. |
Wzorzec wyszukiwania | Wprowadź pliki do uwzględnienia w tabeli. Można wprowadzić pojedynczą nazwę pliku lub wyrażenie regularne. Przykład: |
Katalog | Ograniczenie wyszukiwania w tej ścieżce katalogu. Po zdefiniowaniu tylko pliki w tej lokalizacji będą przeszukiwane i zostaną wybrane te, które pasują do wzorca wyszukiwania. Nie można użyć wyrażenia regularnego. Przykład: csv-exports-folder lub employee_jsonl_exports. |
Konfiguracja tabeli
Skonfiguruj tabelę, określając pliki, które chcesz dołączyć. Można skonfigurować wiele tabel. |
|
Nazwa tabeli | Nazwa tabeli. Każdy cel ma swoje własne zasady dotyczące nazewnictwa tabel. Przykładowo, nazwy tabel Amazon Redshift nie mogą przekraczać 127 znaków. |
Klucz główny | Wprowadź klucz główny, aby zidentyfikować unikalne wiersze lub rekordy. Jeśli wprowadzasz więcej niż jeden klucz, użyj przecinka, aby oddzielić wartości.
Przykład: id, name. |
Określanie pól daty i godziny | Wprowadź wartości, które muszą pojawić się w tabeli jako data i godzina zamiast łańcuch. Przykład: created_at, modified_at. |
Ogranicznik | Z listy rozwijanej wybierz ogranicznik. |