Skapar ett Qlik Open Lakehouse-projekt

Skapa ett Qlik Open Lakehouse-dataprojekt för att ta in data från valfri källa. Lagra dina data i Iceberg öppet tabellformat

Förutsättningar

För att skapa ett Qlik Open Lakehouse-projekt behöver du:

• En nätverksintegration som gör det möjligt för Qlik att tillhandahålla och hantera beräkningsresurser för din räkning.

• Ett datasjöhuskluster som konfigurerats för att köra datalagringsuppgiften i ditt Iceberg-projekt.

• En koppling till en datakatalog som ska användas som datamål för ditt projekt, eller nödvändig information så att du kan skapa en ny koppling.

Uppgifter som stöds

Följande uppgifter stöds i ett Qlik Open Lakehouse-projekt.

CDC- och SaaS-applikationskällor

• Datauppgift för mellanlagring i sjö

  Mellanlagring av data i CSV-format i S3, från valfri källa som stöds av Qlik, inklusive dataströmmar med stora volymer.

  Mer information finns i Mellanlagringsdata till Qlik Open Lakehouse.

• Lagringsdatauppgift

  Lagringsdatauppgiften använder data som har mellanlagrats i molnet av uppgiften för mellanlagring i datasjö. Uppgiften skriver data till Iceberg-tabeller för effektiv lagring och sökning.

• Mer information finns i Lagra datauppsättningar.

• Spegla datauppgift

  Spegla Iceberg-tabeller från din lagringsuppgift till ditt molndatalager. Användare kan ställa frågor om data via externa tabeller utan att migrera data till ditt molndatalager.

Strömningskällor

• Uppgift för strömmande mellanlagring av data

  Mellanlagra data i Avro-format i S3, från valfri Qlik-stödd strömningskälla.

  Mer information finns i Mellanlagring av strömmande data till Qlik Open Lakehouse

• Transformeringsuppgift för strömmande data

  Transformeringsuppgiften för strömmande data förbrukar händelserna som mellanlagrats i molnet av mellanlagringsuppgiften för strömmande data. Uppgiften skriver data till Iceberg-tabeller för effektiv lagring och sökning och stöder transformeringar.

  Mer information finns i Lagra strömmande datauppsättningar.

• Spegla datauppgift

  Spegla Iceberg-tabeller från din strömmande lagringsuppgift till ditt molndatalager. Användare kan ställa frågor om data via externa tabeller utan att migrera data till ditt molndatalager.

Exempel på att skapa ett Qlik Open Lakehouse-projekt

Följande exempel skapar ett Qlik Open Lakehouse pipeline-projekt, introducerar data från en CDC-källa och lagrar dem i tabeller i Iceberg-format. I det här exemplet skapas en enkel pipeline som du kan utöka genom att lägga till fler datakällor. Du kan lägga till en speglad datauppgift för att spegla dina tabeller i ditt datalager utan att duplicera data, eller använda det här projektet som källa för ett projekt som kräver transformeringar i ditt molndatalager.

Gör följande för att skapa ett Qlik Open Lakehouse-projekt:

1. På startsidan för Dataintegrering klickar du på Skapa pipeline och konfigurerar den:

• Namn: ange namnet på projektet.

• Utrymme: välj det utrymme som projektet ska tillhöra.

• Beskrivning: ange en beskrivning av projektet om du vill.

2. Välj Datapipeline för Användningsfall.

3. Konfigurera dataplattformen:

• Dataplattform: välj Qlik Open Lakehouse från listan.

• Datakatalogkoppling: välj en befintlig koppling i listan eller klicka på Skapa ny för att lägga till en ny datakatalogkoppling.

• Koppling för mål för mellanlagring: välj den S3-bucket som ska användas för mellanlagring av data eller klicka på Skapa ny för att lägga till en ny plats för bucket.

• Kluster för lagringsberäkning: välj det datasjöhuskluster som ska köra lagringsuppgiften.

4. Skapa projektet.

5. Följ stegen i guiden för introduktion av data.För mer information, se Introduktion av data, som innehåller instruktioner för CDC- och strömmande källor.