Criando regras para transformar conjuntos de dados

Você pode criar regras de transformação reutilizáveis para realizar a transformação global em conjuntos de dados em tarefas de dados de Aterrissagem, Armazenamento, Transformação e Datamart.

Selecione Conjuntos de dados, clique em Regras e, em seguida, Adicionar regra para criar uma nova regra de transformação.

1. Selecione o tipo de transformação e clique em Avançar.

   Você pode realizar as seguintes transformações:

   • Renomear conjuntos de dados

   • Renomear colunas

   • Adicionar colunas

   • Soltar colunas

   • Converter tipos de dados

   • Substituir valores de coluna

2. Selecione o escopo da transformação e clique em Avançar.

3. Selecione qual ação de transformação executar e clique em Avançar.

4. Adicione um nome e uma descrição para a regra e clique em Concluir.

A regra será aplicada quando você executar a tarefa de dados. Se você adicionar mais de uma regra, as regras serão executadas na mesma ordem em que estão listadas.

Escopo de transformação

Quando várias transformações se aplicam ao mesmo conjunto de dados ou colunas, o escopo está sempre nos nomes de origem originais, enquanto a ação está relacionada ao valor após a aplicação da regra anterior. Por exemplo, se você tiver estas regras:

1. Renomeie todos os conjuntos de dados que começam com Abc_ (Abc_%) para alterar o prefixo para ABC_.

2. Adicione o sufixo _zzz aos conjuntos de dados que começam com ABC_ (ABC_%).

A aplicação das regras a esses conjuntos de dados forneceria esses resultados. Observe que, após a segunda regra, o sufixo _zzz não é adicionado a ABC_customers, pois o escopo está sempre no nome original (Abc_customers).

Renomeando conjuntos de dados

1. Selecione Renomear conjunto de dados e, em seguida, clique em Avançar.

2. Defina o escopo da transformação, ou seja, quais conjuntos de dados renomear. Você pode usar % como caractere curinga para selecionar vários conjuntos de dados de um ou mais ativos de dados.

   Clique em Avançar.

3. Defina a ação de transformação. Você pode executar as seguintes ações:

   • Renomear conjunto de dados para um nome fixo.

   • Adicionar um prefixo ou sufixo.

   • Remover um prefixo ou sufixo.

   • Substituir um prefixo ou sufixo.

   • Alterar maiúsculas e minúsculas para minúsculas ou maiúsculas.

   • Substituir nomes dos conjuntos de dados usando uma expressão.

   • Substitua nomes de conjuntos de dados usando um dicionário.

     Para obter mais informações, consulte Renomear conjuntos de dados ou colunas usando um dicionário.

   Clique em Avançar quando estiver pronto.

4. Defina o nome da regra e clique em Concluir.

Renomeando colunas

1. Selecione Renomear coluna e, em seguida, clique em Avançar.

2. Defina o escopo da transformação, ou seja, quais colunas renomear. Você pode usar % como um caractere curinga para selecionar várias colunas de um ou mais tarefas de dados e conjuntos de dados.

   Você também pode limitar a ação a um determinado tipo de dados. Defina o tipo de dados como UNSPECIFIED para executar a ação para todas as colunas correspondentes, independentemente do tipo de dados.
   

   Clique em Próximo.

   Você também pode limitar o escopo a colunas que sejam chaves ou anuláveis.

3. Defina a ação de transformação. Você pode executar as seguintes ações:

   • Renomear coluna para um nome fixo.

   • Adicionar um prefixo ou sufixo.

   • Remover um prefixo ou sufixo.

   • Substituir um prefixo ou sufixo.

   • Alterar maiúsculas e minúsculas da coluna para minúsculas ou maiúsculas.

   • Substituir nomes de colunas usando uma expressão.

   • Substituir nomes de colunas usando um dicionário.

     Para obter mais informações, consulte Renomear conjuntos de dados ou colunas usando um dicionário.

   Clique em Avançar quando estiver pronto.

4. Defina o nome da regra e clique em Concluir.

Adicionando colunas

1. Selecione Adicionar coluna e, em seguida, clique em Avançar.

2. Defina o escopo da transformação, ou seja, qual conjunto de dados adicionar à coluna. Você pode usar % como um caractere curinga para adicionar a coluna a um ou mais conjuntos de dados.
   

   Clique em Avançar.

3. Defina os detalhes da nova coluna:

   • Nome da coluna.

   • Use o construtor de expressões para definir o Valor para a coluna.

   • Selecione Adicionar à chave primária para usar esta coluna como chave primária.

   • Defina o tipo de dados em Tipo de dados de destino.

   • Se o tipo de dados for BYTES, STRING ou WSTRING, especifique um Comprimento também.

     Se o tipo de dados for NUMERIC, especifique Precisão e Escala também.

   Clique em Avançar quando estiver pronto.

4. Defina o nome da regra e clique em Concluir.

Soltando colunas

1. Selecione Soltar coluna e, em seguida, clique em Avançar.

2. Defina o escopo da transformação, ou seja, quais colunas soltar. Você pode usar % como um caractere curinga para selecionar várias colunas de um ou mais ativos de dados e conjuntos de dados.

   Você também pode limitar a ação a um determinado tipo de dados. Defina o tipo de dados como UNSPECIFIED para executar a ação para todas as colunas correspondentes, independentemente do tipo de dados.
   

   Clique em Próximo.

   Você também pode limitar o escopo a colunas que sejam chaves ou anuláveis.

3. Defina o nome da regra e clique em Concluir.

Convertendo tipos de dados

1. Selecione Converter tipo de dados e, em seguida, clique em Avançar.

2. Defina o escopo da transformação, ou seja, quais colunas converter o tipo de dados. Você pode usar % como um caractere curinga para selecionar várias colunas de um ou mais ativos de dados e conjuntos de dados.

   Você também pode limitar a ação a um determinado tipo de dados. Defina o tipo de dados como UNSPECIFIED para executar a ação para todas as colunas correspondentes, independentemente do tipo de dados.
   

   Clique em Próximo.

   Você também pode limitar o escopo a colunas que sejam chaves ou anuláveis.

3. Defina a ação de transformação.

   • Defina o Tipo de dados de destino como o tipo de dados para o qual converter.

   • Se o tipo de dados for BYTES, STRING ou WSTRING, especifique um Comprimento também.

     Se o tipo de dados for NUMERIC, especifique Precisão e Escala também.

   Clique em Avançar quando estiver pronto.

4. Defina o nome da regra e clique em Concluir.

Substituindo valores de coluna

1. Selecione Substituir valores de coluna e, em seguida, clique em Avançar.

2. Defina o escopo da transformação, ou seja, para quais colunas substituir os valores. Você pode usar % como um caractere curinga para selecionar várias colunas de um ou mais ativos de dados e conjuntos de dados.

   Você também pode limitar a ação a um determinado tipo de dados. Defina o tipo de dados como UNSPECIFIED para executar a ação para todas as colunas correspondentes, independentemente do tipo de dados.
   

   Clique em Próximo.

   Você também pode limitar o escopo a colunas que sejam chaves ou anuláveis.

3. Defina a ação de transformação.

   • Defina uma expressão para definir os valores de substituição em Valor de destino.

   • Defina Tipo de dados de destino para o tipo de dados das colunas substituídas.

   • Se o tipo de dados for BYTES, STRING ou WSTRING, especifique um Comprimento também.

     Se o tipo de dados for NUMERIC, especifique Precisão e Escala também.

   Clique em Avançar quando estiver pronto.

4. Defina o nome da regra e clique em Concluir.

Renomear conjuntos de dados ou colunas usando um dicionário

Você pode usar um dicionário para renomear conjuntos de dados ou colunas. Isso é útil quando você está trabalhando com um grande número de objetos que usam convenções de nomenclatura enigmáticas. Você pode adicionar traduções em um editor de dicionário ou importar um arquivo CSV contendo as traduções. Você também pode exportar o dicionário para um arquivo CSV e reutilizá-lo em outro ativo de dados.

A opção Renomear por dicionário está disponível em Ações de transformação quando você seleciona Renomear conjuntos de dados ou Renomear colunas. Clique em para abrir o editor de dicionário.

• Clique em Adicionar tradução e preencha Nome da fonte e Nome traduzido para adicionar uma tradução ao dicionário.

Quando tiver criado as traduções necessárias, clique em OK para fechar o editor de dicionário.

Importar traduções

Você pode importar traduções de um arquivo CSV contendo um dicionário. O arquivo deve conter uma tradução por linha. Exemplo:

• Clique em Anexar do CSV e selecione o arquivo CSV a ser importado.

As traduções no dicionário importado são anexadas ao seu dicionário.

Exportar traduções

Você pode exportar seu dicionário para um arquivo CSV para poder reutilizá-lo em outros ativos de dados.

• Clique em Exportar para CSV.

O dicionário é exportado para um arquivo CSV.

Usando variáveis em uma expressão

A guia Metadados no editor de expressões contém as seguintes variáveis que você pode usar em uma expressão em uma regra de transformação.

Exemplo:  

Você pode renomear todas as tabelas que estão no escopo de transformação para adicionar o nome do esquema como prefixo com a seguinte expressão:

${Q_M_SCHEMA_NAME}||'.'||${Q_M_SOURCE_TABLE_NAME}.

Isso renomearia, por exemplo, a tabela products no esquema dwprod para dwprod.products.

Gerenciar regras

Você pode gerenciar regras no painel Regras.

• Clique em Regras.

Você pode habilitar/desabilitar uma regra, excluir uma regra e editar uma regra.