Ir para conteúdo principal Pular para conteúdo complementar
Recursos da Qilk

Amazon Redshift

Você pode usar o Amazon Redshift como uma plataforma de dados de destino em um pipeline de dados. Em um pipeline de dados, várias operações podem ser realizadas na plataforma de destino, incluindo aterrissagem de dados, armazenamento de dados, transformação de dados, criação de datamart e registro de dados.

Isso envolve:

Configurando uma área de teste na nuvem

Nota informativaSe você estiver registrando dados existentes, não precisará configurar uma área de teste na nuvem.

A configuração de uma conexão com o Amazon Redshift também exige que você configure a conectividade com uma área de teste na nuvem do Amazon S3, na qual os dados e as alterações sejam testados antes de serem aplicados e armazenados.

Para obter informações sobre como configurar uma conexão com o Amazon S3, consulte Amazon S3.

Configurando uma conexão com o Amazon Redshift

Selecione o conector de Destino do Amazon Redshift e forneça as seguintes configurações:

Destino de dados

Gateway de dados: O Data Movement gateway apenas será necessário se o banco de dados de destino não estiver acessível a partir do Qlik Cloud e somente pode ser acessado através de um link privado (por exemplo, se estiver localizado no local atrás de um firewall ou em uma nuvem privada virtual). Se esse for o caso, selecione o Data Movement gateway através do qual você deseja acessar o banco de dados de destino.

Dependendo do seu caso de uso, será o mesmo Data Movement gateway implantado para obter dados da fonte de dados ou de uma fonte diferente. Para obter informações sobre as possibilidades de implantação do Data Movement gateway, consulte Casos de uso comuns.

Nota informativaRequer o Data Movement gateway 2023.5.9 ou mais recente.

Se o banco de dados de destino estiver acessível diretamente no Qlik Cloud, selecione Nenhum.

Nota informativaAo acessar o banco de dados de destino via Data Movement gateway, você também precisa instalar o driver apropriado na máquina do Data Movement gateway. Para detalhes, consulte Configuração do driver abaixo.

Propriedades da conexão

  • Servidor: nome do host do servidor de banco de dados do Amazon Redshift.

  • Porta: a porta pela qual acessar seu banco de dados Amazon Redshift. O padrão é 5439.

Propriedades da conta

Nome de usuário e Senha: o nome de usuário e a senha de um usuário autorizado a acessar o banco de dados Amazon Redshift.

Propriedades do banco de dados

  • Nome do banco de dados: há dois métodos que você pode usar para especificar um banco de dados:

    • Método 1 - Selecionar em uma lista: Clique em Carregar bancos de dados e selecione um banco de dados.
    • Método 2 - Manualmente: Selecione Inserir nome do banco de dados manualmente e insira o nome do banco de dados.

Propriedades internas

Propriedades internas são para casos de uso especiais e, portanto, não são expostas na caixa de diálogo. Você só deve usá-las se instruído pelo Suporte da Qlik.

Use os botões Criar novo e Cancelar à direita dos campos para adicionar ou remover propriedades conforme necessário.

Nome

O nome de exibição da conexão.

Pré-requisitos

Permissões necessárias

Conceda as seguintes permissões no banco de dados Redshift:

  • Grant COPY
  • Grant INSERT
  • Grant UPDATE
  • Grant DELETE
  • Grant SELECT
  • Criar esquema (necessário apenas se os esquemas não existirem e você desejar que o Gateway Data Movement os crie)
  • Conceda CREATE TABLE
  • Conceda ALTER TABLE
  • Grant DROP TABLE

Configuração do driver

Um driver apenas será necessário se você estiver acessando o banco de dados via Data Movement gateway. Nesse caso, você precisa instalar o driver na máquina Data Movement gateway.

Você pode instalar o driver usando o utilitário de instalação do driver (recomendado) ou manualmente. A instalação manual só deve ser tentada no caso improvável de você encontrar um problema com o utilitário de instalação do driver.

Usando o utilitário de instalação de driver para instalar o driver

Esta seção descreve como instalar o driver necessário. O processo envolve a execução de um script que baixará, instalará e configurará automaticamente os driver necessários. Você também pode executar scripts para atualizar e desinstalar o driver como necessário.

Preparando a instalação

  • Certifique-se de que o Python 3.6.x ou mais recente esteja instalado no servidor de gateway do Movimentação de dados.

    O Python vem pré-instalado na maioria das distribuições do Linux. Você pode verificar qual versão do Python está instalada em seu sistema executando o seguinte comando:

    python3 --version

Instalando o driver

Para baixar e instalar o driver:

  1. Pare o serviço do Gateway Data Movement:

    sudo systemctl stop repagent

  2. Opcionalmente, confirme se o serviço foi interrompido:

    sudo systemctl status repagent

    O status deverá ser o seguinte:

    Active: inactive (dead) since <timestamp> ago

  3. Na máquina do gateway do Movimentação de dados, altere o diretório de trabalho para:

    opt/qlik/gateway/movement/drivers/bin

  4. Execute o seguinte comando:

    Sintaxe:

    ./install redshift

    Se o driver não puder ser baixado (devido a restrições de acesso ou problemas técnicos), uma mensagem será exibida informando onde baixar o driver e onde copiá-lo na máquina de gateway do Movimentação de dados. Depois de fazer isso, execute o comando install redshift novamente.

    Caso contrário, o EULA do driver será exibido.

  5. Realize uma das seguintes ações:

    • Pressione [Enter] repetidamente para percorrer lentamente o EULA.
    • Pressione a barra de espaço repetidamente para rolar rapidamente pelo EULA.
    • Pressione q para sair do texto da licença e ser apresentado às opções de aceitação do EULA.

  6. Realize uma das seguintes ações:

    • Digite "y" e pressione [Enter] para aceitar o EULA e iniciar a instalação.
    • Digite "n" e pressione [Enter] para rejeitar o EULA e sair da instalação.

    • Digite "v" e pressione [Enter] para visualizar o EULA novamente.

    7. O driver será instalado.

  7. Aguarde a conclusão da instalação (indicada por "Concluído!") e inicie o serviço do Gateway Data Movement:

    sudo systemctl start repagent

  8. Opcionalmente, confirme se o serviço foi iniciado:

    sudo systemctl status repagent

    O status deverá ser o seguinte:

    Active: active (running) since <timestamp> ago

Atualizando o driver

Execute o comando de atualização se quiser desinstalar versões anteriores do driver antes de instalar o driver fornecido.

Para baixar e atualizar o driver:

  1. Pare o serviço do Gateway Data Movement:

    sudo systemctl stop repagent

  2. Opcionalmente, confirme se o serviço foi interrompido:

    sudo systemctl status repagent

    O status deverá ser o seguinte:

    Active: inactive (dead) since <timestamp> ago

  3. Na máquina do gateway do Movimentação de dados, altere o diretório de trabalho para:

    opt/qlik/gateway/movement/drivers/bin

  4. Execute o seguinte comando:

    Sintaxe:

    ./update redshift

    Se o driver não puder ser baixado (devido a restrições de acesso ou problemas técnicos), uma mensagem será exibida informando onde baixar o driver e onde copiá-lo na máquina de gateway do Movimentação de dados. Depois de fazer isso, execute o comando update redshift novamente.

    Caso contrário, o EULA do driver será exibido.

  5. Realize uma das seguintes ações:

    • Pressione [Enter] repetidamente para percorrer lentamente o EULA.
    • Pressione a barra de espaço repetidamente para rolar rapidamente pelo EULA.
    • Pressione q para sair do texto da licença e ser apresentado às opções de aceitação do EULA.

  6. Realize uma das seguintes ações:

    • Digite "y" e pressione [Enter] para aceitar o EULA e iniciar a instalação.
    • Digite "n" e pressione [Enter] para rejeitar o EULA e sair da instalação.
    • Digite "v" e pressione [Enter] para revisar o EULA desde o início.

    7. O driver antigo será desinstalado, e o novo driver será instalado.

  7. Aguarde a conclusão da instalação (indicada por "Concluído!") e inicie o serviço do Gateway Data Movement:

    sudo systemctl start repagent

  8. Opcionalmente, confirme se o serviço foi iniciado:

    sudo systemctl status repagent

    O status deverá ser o seguinte:

    Active: active (running) since <timestamp> ago

Desinstalando o driver

Execute o comando de desinstalação se quiser desinstalar o driver.

Para desinstalar o driver:

  1. Pare todas as tarefas configuradas para usar esse conector.

  2. Na máquina do gateway do Movimentação de dados, altere o diretório de trabalho para:

    opt/qlik/gateway/movement/drivers/bin

  3. Execute o seguinte comando:

    Sintaxe:

    ./uninstall redshift

    O driver será desinstalado.

Instalando manualmente o driver

Você só deve tentar instalar o driver manualmente se a instalação automática do driver não for concluída com êxito.

  1. Pare o serviço do Gateway Data Movement:

    sudo systemctl stop repagent

  2. Opcionalmente, confirme se o serviço foi interrompido:

    sudo systemctl status repagent

    3. O status deverá ser o seguinte:

    Active: inactive (dead) since <timestamp> ago

  3. Baixe e instale as ferramentas do cliente Linux SQL necessárias para se conectar ao cluster do Amazon Redshift. O Qlik Data Gateway - Data Movement requer somente o driver ODBC Amazon Redshift (x64) 1.4.65.1000.

    Baixe esse driver em:

    https://s3.amazonaws.com/redshift-downloads/drivers/odbc/1.4.65.1000/AmazonRedshiftODBC-64-bit-1.4.65.1000-1.x86_64.rpm

    Depois de instalar o driver ODBC, edite o arquivo /etc/odbcinst.ini da seguinte forma:

    [ODBC Drivers]

    Amazon Redshift (x64)=Installed

    E:

    [Amazon Redshift (x64)]

    Description=Amazon Redshift ODBC Driver (64-bit)

    Driver=/opt/amazon/redshiftodbc/lib/64/libamazonredshiftodbc64.so

  4. Inicie o serviço do Gateway Data Movement:

    sudo systemctl start repagent

  5. Opcionalmente, confirme se o serviço foi iniciado:

    sudo systemctl status repagent

    O status deverá ser o seguinte:

    Active: active (running) since <timestamp> ago

Para obter uma lista de drivers compatíveis com o Amazon Redshift, consulte http://docs.aws.amazon.com/redshift/latest/mgmt/configure-odbc-connection.html.

Porta

A porta 5439 (Amazon Redshift Cluster) precisa ser aberta para comunicação externa.

Certificado CA

O Gateway Data Movement conecta-se ao AWS usando SSL. Isso requer que um certificado CA apropriado resida na máquina do Gateway Data Movement; caso contrário, a conexão falhará. A finalidade do certificado CA é autenticar a propriedade do certificado do servidor AWS.

Certifique-se de que o certificado CA necessário exista na seguinte localização na máquina Linux:

/etc/pki/tls/certs/ca-bundle.crt

Se não existir, a solução mais simples é copiar o pacote de certificados de outra máquina Linux.

Pré-requisitos e considerações gerais

  • Se sua fonte de dados tiver caracteres emoji de 4 bytes, use uma transformação para converter o tipo de dados de WSTRING (n) em WSTRING (n*2).

  • Certifique-se de que as configurações de hora e fuso horário na máquina do Gateway Data Movement estejam corretas. Isso é necessário para garantir:

    • Sincronização adequada de tarefas Carregamento total e CDC
    • Correlação da hora do log de transações com a hora real

  • Você não pode ler exibições ao vivo e exibições de histórico no Serviços de análises Qlik Cloud em conjuntos de dados criados em um destino do Amazon Redshift pelo Qlik Cloud Data Integration.

Limitações e considerações

  • O conector Amazon Redshift somente oferece suporte para autenticação padrão (nome de usuário e senha).

Tipos de dados

A tabela a seguir mostra os tipos de dados Amazon Redshift que são suportados durante o uso do Qlik Cloud e o mapeamento padrão dos tipos de dados do Qlik Cloud.

As informações do tipo de dados nativo são preservadas e exibidas na coluna Tipo de dados nativo nas visualizações do conjunto de dados. Se a coluna não estiver visível, será necessário abrir o seletor de colunas da visualização do conjunto de dados e selecionar a coluna Tipo de dados nativo.

Nota informativaNo Qlik Cloud, o comprimento da string é em caracteres, enquanto no Redshift, o comprimento do varchar é em bytes. O número de bytes por caractere pode variar dependendo dos caracteres reais e da codificação. O Qlik Cloud assume que o comprimento é de 3 bytes por caractere. Isso significa que quando você definir wstring(10), a tabela será criada como varchar(30) na prática.
Tipos de dados suportados
Tipos de dados do Qlik Cloud Tipos de dados do Amazon Redshift

BOOLEAN

BOOLEAN

BYTES

VARBINARY(length)

DATE

DATE

TIME

VARCHAR (20)

DATETIME

Se a escala for => 0 e =< 6:

TIMESTAMP

Se escala for => 7 e =< 12:

VARCHAR (37)

INT1

INT2

INT2

INT2

INT4

INT4

INT8

INT8

NUMERIC

Se escala for => 0 e =< 37:

NUMERIC (precisão, escala)

Se escala for => 38 e =< 127:

VARCHAR (comprimento)

REAL4

FLOAT4

REAL8

FLOAT8

STRING

Se o comprimento for => 1 e =< 65535, então:

VARCHAR (Comprimento em bytes)

Se comprimento for => 65535 e =< 2147483647, então:

VARCHAR (65535)

UINT1

INT2

UINT2

INT4

UINT4

INT8

UINT8

NUMERIC (20,0)

WSTRING

Se comprimento for => 1 e =< 21845:

NVARCHAR (comprimento em bytes)

Se comprimento for => 21846 e =< 2147483647:

NVARCHAR (65535)

BLOB

VARBINARY(1024000)

NCLOB

NVARCHAR (tamanho máximo do LOB)

CLOB

VARCHAR (tamanho máximo do LOB)

Os seguintes tipos de dados do SQL Server não são compatíveis. Os dados não serão lidos.

  • HLLSKETCH

Os seguintes tipos de dados são convertidos em VARCHAR (65535):

  • GEOGRAPHY

  • GEOMETRY

Esta página ajudou?

Se você encontrar algum problema com esta página ou seu conteúdo - um erro de digitação, uma etapa ausente ou um erro técnico - informe-nos como podemos melhorar!

Deixe seu feedback aqui