Streaminggegevens tijdelijk opslaan in Qlik Open Lakehouse

De gegevens worden opgeslagen in Amazon S3, klaar voor de Streaming Transform-taak om ze te converteren naar de Iceberg open tabelindeling. U kunt gegevens tijdelijk opslaan vanuit elke streamingbron die door Qlik wordt ondersteund.

Voor tussenopslag van streaminggegevens naar een Qlik Open Lakehouse is een vooraf geconfigureerde Amazon S3-bucket nodig. Qlik Open Lakehouse is specifiek geoptimaliseerd voor gegevensbronnen met hoge volumes en compatibel met alle door Qlik ondersteunde streaminggegevensbronnen. Voor meer informatie over ondersteunde streamingbronnen, zie Verbinding maken met datastreams.

Ruwe gegevens komen in Avro-indeling terecht in S3 en de Streaming Transform-taak converteert de gegevens naar Iceberg-indeling. Met de Iceberg-specificatie kunnen gegevens worden opgevraagd vanaf elke engine die Trino SQL ondersteunt, bijvoorbeeld Amazon Athena, Ahana of Starburst Enterprise. Optioneel kunnen tabellen worden gespiegeld naar uw clouddatawarehouse, waar ze kunnen worden opgevraagd zonder gegevens te dupliceren.

Tussenopslag van gegevens in een Qlik Open Lakehouse is beschikbaar in projecten met een AWS Glue Data Catalog-doelverbinding.

Voorbereidingen

• Een storage lakehouse-cluster is vereist om de opname uit te voeren en moet worden geconfigureerd voordat u uw project maakt.

• Hoewel u de instellingen voor uw bron- en doelverbinding in de installatiewizard kunt configureren, wordt aanbevolen dit te doen voordat u de taak maakt om de installatieprocedure te vereenvoudigen.

• Om gegevens naar uw clouddatawarehouse te spiegelen, moet u eerst een Qlik Open Lakehouse-project maken om uw gegevens op te nemen en op te slaan met behulp van de Iceberg open tabelindeling. U kunt een gegevens spiegelen-taak toevoegen na de Streaming Transformation-taak. Ga voor meer informatie naar Gegevens spiegelen naar een clouddatawarehouse.

Een Streaming tussenopslagtaak maken

Om een Streaming tussenopslagtaak te maken, volgt u de volgende stappen om eerst het project te maken:

1. Maak een project en selecteer Gegevenspijplijn in Gebruiksscenario.

2. Selecteer Qlik Open Lakehouse in Gegevensplatform en breng een verbinding met de gegevenscatalogus tot stand.

3. Stel een opslaggebied in Doelverbinding voor tussenopslag in.

4. Selecteer het Storage lakehouse cluster voor het uitvoeren van de opname en optimalisatie van de gegevens.

5. Klik op Maken om het project aan te maken.

Wanneer u gegevens inlaadt of een tussenopslagtaak maakt in het project, wordt er een Streaming tussenopslagtaak gemaakt in plaats van een Tussenopslagtaak. Streaming tussenopslagtaken werken en gedragen zich vergelijkbaar met een Tussenopslagtaak, behalve dat ze gegevens opslaan in cloudopslag vanuit streamingbronnen. Ga voor meer informatie naar Verbinding maken met datastreams.

Alle bestanden worden opgeslagen in Avro-indeling. Nadat de tussenopslaggegevens zijn bijgewerkt, verbruikt de Streaming transformatietaak de tussenopslaggegevens en werkt de externe tabellen bij.

Instellingen

Voor meer informatie over taakinstellingen gaat u naar Instellingen voor Streaming lake-tussenopslag