Apresentando o Qlik Talend Data Integration
Você pode fornecer dados prontos para consumo para o Qlik Cloud ou para armazéns de dados na nuvem, como Snowflake, Google Cloud BigQuery, e Azure Synapse Analytics com o Qlik Talend Data Integration. As fontes de dados podem ser locais ou na nuvem. Os dados podem ser mantidos atualizados sem intervenção manual usando a CDC (Change Data Capture) ou tecnologias de lote, como carregamentos agendados. Você pode criar um pipeline de dados, realizar transformações adequadas a um propósito e criar datamarts.
Você pode acessar a página inicial do Qlik Talend Data Integration selecionando Integração de Dados no menu do iniciador (
).
Para obter mais informações sobre a arquitetura do Qlik Talend Data Integration, consulte Arquitetura de conjunto de dados em um armazém de dados na nuvem.
Opções de assinatura
As assinaturas do Qlik Talend Cloud são baseadas em um modelo de capacidade com o volume de Dados movidos como o medidor de valor primário.
O Qlik Talend Cloud está disponível em opções de assinatura de quatro níveis: Starter, Standard, Premium e Enterprise. As edições superiores fornecem fontes de dados e transformações mais avançadas. Isso inclui recursos hospedados no Qlik Cloud e no Talend Cloud. Todas as assinaturas incluem o Qlik Cloud Analytics Standard.
Para obter mais informações sobre as opções de assinatura, consulte Opções de assinatura do Qlik Talend Cloud.
Espaços de dados
Espaços de dados são áreas governadas do seu locatário do Qlik Cloud que são usados para criar e armazenar projetos. Dentro do espaço, você também pode criar novas conexões usando conectores e gerenciar o acesso aos Data Movement gateways. Todos os ativos de dados serão criados no espaço do projeto ao qual pertencem.
Para obter mais informações, consulte Trabalhando em espaços no Qlik Talend Data Integration.
Projetos
Um projeto é onde você cria seu fluxo de integração de dados, usando tarefas de dados. O projeto está associado a uma plataforma de dados usada como destino para todas as saídas. Você pode criar um projeto com qualquer um dos seguintes casos de uso:
-
Pipeline de dados
Crie um pipeline linear simples ou um pipeline complexo consumindo várias fontes de dados e gerando muitas saídas.
-
Replicação
Replique dados de fontes de dados compatíveis para qualquer destino compatível ou envie dados para um data lake.
Tarefa de dados
Uma tarefa de dados é a principal unidade de trabalho em um projeto. Você pode criar tarefas de dados dos seguintes tipos em um projeto. Você cria uma nova tarefa de dados clicando em Adicionar novo na barra superior e, em seguida, clicando na tarefa apropriada.
Tarefas de dados em projetos de pipeline de dados
-
Aterrisagem
Copie dados de uma fonte de dados para uma área de aterrissagem. As fontes de dados podem ser locais ou na nuvem. A área de aterrisagem pode ser um destino na nuvem ou um compartimento de dados do Amazon S3 (somente ao criar conjuntos de dados QVD).
É possível manter os dados atualizados sem intervenção manual usando CDC ou executando carregamentos totais que estão programados para serem repetidos periodicamente.
-
Dados registrados
Registrar dados que já existem na plataforma de dados. Isso permite que você use dados integrados a outras ferramentas além do Qlik Talend Data Integration, por exemplo, Qlik Replicate.
-
Armazenamento
Crie conjuntos de dados prontos para consumo em um data warehouse na nuvem, ou no Qlik Cloud, a partir dos dados copiados pela tarefa de dados de destino. Os conjuntos de dados podem ser mantidos atualizados com os aterrissagem de dados sem intervenção manual.
-
Transformar
Crie transformações de dados reutilizáveis com base em regras e SQL personalizado como parte do seu pipeline de dados. Você pode realizar transformações em nível de linha e criar conjuntos de dados que são materializados como tabelas ou criados como exibições que realizam transformações em tempo real.
-
Datamart
Crie data marts para aproveitar suas tarefas de dados de Armazenamento ou tarefas de dados de Transformação. Você pode criar qualquer número de datamarts, dependendo das necessidades da sua empresa. Idealmente, seus datamarts devem conter repositórios de dados resumidos coletados para análise em uma seção ou unidade específica dentro de uma organização.
Tarefas de dados em projetos de replicação
-
Replicação
Replique dados de fontes de dados compatíveis para qualquer destino compatível.
-
Aterrissagem do lake
Aterrise dados em um data lake.
Aterrisar ddados em um data lake com uma assinatura Standard, Premium ou Enterprise
Monitorando suas tarefas de dados
Você pode monitorar o status e o progresso das suas tarefas de dados com exibições de monitor. Uma exibição de monitor permite visualizar o status de todas as tarefas de dados no locatário ou um subconjunto de tarefas de dados com base em um filtro. Você pode criar diversas visualizações para monitorar diferentes aspectos dos seus pipelines de dados. Para obter mais informações, consulte Monitorando e operando suas tarefas de dados.
Produtos de dados
Os conjuntos de dados que foram registrados a partir de um projeto de dados ou de um upload manual e adicionados ao seu Catálogo podem então ser agrupados e empacotados na forma de um produto de dados. Você pode agrupar conjuntos de dados por domínio de negócios, por exemplo, e disponibilizá-los no marketplace de dados para que os consumidores de análise usem em aplicativos. Para obter mais informações, consulte Trabalhando com produtos de dados.
Conexões
Conexões são usadas para permitir que as tarefas de dados acessem fontes de dados, armazenamento externo e plataformas de destino para entrega de dados e transformações automáticas.
Exibindo suas conexões
Clique em Conexões à esquerda para ver todas as suas conexões.
-
Você pode editar as conexões que possui.
Clique em ... e depois em Editar.
-
Você pode testar uma conexão.
Clique em ... e depois em Testar conexão.
-
Você pode excluir uma conexão.
Clique em ... e depois em Excluir.
Criando uma conexão
Existem várias maneiras de criar conexões:
-
Clique em Conexões, à esquerda e depois em Criar conexão.
-
Clique em Criar novo nos assistentes de configuração de tarefas de dados onde você seleciona uma conexão.
-
Clique em Criar conexão na exibição Conexões.
Você pode filtrar conectores por:
-
Categoria
Armazém de dados, Armazenamento em nuvem, Banco de dados e Aplicativo.
-
Tipo
Origem ou Destino.
Você também pode selecionar conectores usados recentemente.
Você precisará selecionar o tipo de fonte de dados e, em seguida, inserir o endereço e as informações de autenticação.
Veja também: