Amazon S3

Amazon S3 kan worden gebruikt als:

• Een cloudtussengebied voor het gebruik van Databricks (optioneel) of Amazon Redshift (vereist) als een doelgegevenspijplijn. Het cloudtussengebied is het gebied waar gegevens en wijzigingen worden klaargezet voordat ze worden toegepast en opgeslagen.

• Een doel in een replicatietaak.

  • Raadpleeg Gegevens tijdelijk opslaan met een Standard-, Premium- of Enterprise-abonnement voor een uitleg over het repliceren van gegevens naar Amazon S3 met Standard-, Premium- en Enterprise-abonnementen.
  • Raadpleeg Gegevens repliceren met een Qlik Talend Cloud Starter-abonnement voor een uitleg over het repliceren van gegevens naar Amazon S3 met het Starter-abonnement.

Machtigingen vereist voor tussenopslaggegevens

• U moet beschikken over een Amazon S3-bucket die toegankelijk is vanaf de Data Movement gateway-machine.

  Voor informatie over het registreren voor Amazon S3 gaat u naar http://aws.amazon.com/s3/.

• Toegangsgegevens voor bucket:Noteer de bucket-naam, toegangssleutel en geheime toegangssleutel - u moet deze opgegeven in de instellingen van de Amazon S3-connector.

• Toegangsmachtigingen voor bucket: De volgende toegangsmachtingen voor de bucket zijn vereist:

  {
  	"Version": "2012-10-17",
  	"Statement": [
  	    {
  	     "Sid": "Stmt1497347821000",
  	     "Effect": "Allow",
  	     "Action": [
                  "s3:GetBucketLocation",
                  "s3:ListBucket"
              ],
              "Resource": [
                  "arn:aws:s3:::YOUR_BUCKET_NAME"
              ]
          },
          {
              "Sid": "Stmt1497344984000",
              "Effect": "Allow",
              "Action": [
                  "s3:PutObject",
                  "s3:GetObject",
                  "s3:DeleteObject"
              ],
              "Resource": [
                  "arn:aws:s3:::YOUR_BUCKET_NAME/target_path",
                  "arn:aws:s3:::YOUR_BUCKET_NAME/target_path/*"
              ]
          }
      ]
  }
  

Waarbij YOUR_BUCKET_NAME de naam van uw bucket is en target_path de beoogde locatie is van de doelbestanden in uw bucket.

Vereisten van Qlik Gegevensgateway - Gegevensverplaatsing

Data Movement gateway maakt verbinding met AWS via SSL. Hiervoor is een geschikt CA-certificaat op de Data Movement gateway-machine vereist, anders zal de verbinding mislukken. Het doel van het CA-certificaat is om de eigenaar van het certificaat van de AWS-server te verifiëren.

Controleer of het vereiste CA-certificaat zich op de volgende locatie bevindt op de Linux-machine:

/etc/pki/tls/certs/ca-bundle.crt

Als deze niet aanwezig is, kunt u het beste de certificatenbundel van een andere Linux-machine kopiëren.

Verbindingseigenschappen van Amazon S3 instellen

Ga als volgt te werk om de connector te configureren:

1. Klik in Verbindingen op Verbinding maken.

2. Selecteer de Amazon S3 doelconnector en stel de volgende instellingen in:

Gegevensdoel

Gegevensgateway: Selecteer de Gateway voor gegevensverplaatsing die u wilt gebruiken om de doeldatabase te openen.

Afhankelijk van uw gebruikssituatie, gebruikt u dezelfde Gateway voor gegevensverplaatsing die is geïmplementeerd om gegevens van de bron tijdelijk op te slaan of u gebruikt een andere gateway. Voor informatie over de mogelijke implementatiemogelijkheden voor Gateway voor gegevensverplaatsing raadpleegt u Veelvoorkomende usecases.

Verbindingseigenschappen

• Toegangssleutel: De toegangssleutel voor uw Amazon S3-bucket.
• Geheime sleutel: De geheime sleutel voor uw Amazon S3-bucket.

• Bucketnaam: De naam van uw Amazon S3-bucket.

  Informatie

  De standaardinstelling voor bucketregio wordt automatisch gedetecteerd, zodat er geen specifieke regio hoeft te worden ingesteld. Vanwege beveiligingsoverwegingen moet u voor sommige regio's (bijvoorbeeld AWS GovCloud) expliciet de regio instellen. In dat geval kunt u de regiocode instellen met de interne eigenschap regionCode.

  Voor een lijst met regiocodes gaat u naar de sectie Beschikbaarheid in regio van:https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Concepts.RegionsAndAvailabilityZones.html

  Hieronder vindt u instructies voor het instellen van interne eigenschappen.

• AWS PrivateLink gebruiken: Selecteer deze om verbinding te maken met een Amazon VPC en geef vervolgens de URL van het VPC-eindpunt op (bijvoorbeeld: https://bucket.vpce-1a2b3c4d-5e6f.s3.us-east-1.vpce.amazonaws.com).

  InformatieHet gebruik van de optie AWS PrivateLink gebruiken wordt niet ondersteund bij het gebruik van een Amazon S3-bucket als tussengebied voor een Databricks-doel. Ga naar Databricks voor informatie over het instellen van een verbinding naar een Databricks-doel.

Interne eigenschappen

Interne eigenschappen zijn bedoeld voor speciale toepassingen en worden daarom niet in het dialoogvenster weergegeven. U moet ze alleen gebruiken als Qlik Support dit aan u heeft geadviseerd.

Gebruik de knop en aan de rechterkant van de velden om eigenschappen toe te voegen of te verwijderen.

Naam

De weergavenaam voor de verbinding.

Toewijzing van gegevenstypen

De volgende tabel toont de standaardtoewijzingen van Qlik Cloud-gegevenstypen naar Amazon S3-doelgegevenstypen.

Het toewijzen van Qlik Cloud-gegevenstypen aan Amazon S3

Qlik Cloud-gegevenstypen toewijzen aan Parquet

Als Parquet is ingesteld als de bestandsindeling, vanwege het beperkt aantal gegevenstypen dat Parquet ondersteunt, zijn de toewijzingen van gegevenstypen als volgt: