Создание правил для преобразования наборов данных

Можно создавать многократно используемые правила преобразования для выполнения глобального преобразования наборов данных в задачах промежуточного хранения, хранения и преобразования данных, а также в киоска данных.

Выберите Наборы данных, нажмите Правила и Добавить правило, чтобы создать новое правило преобразования.

1. Выберите тип преобразования и нажмите Дальше.

   Доступны следующие преобразования

   • Переименовать наборы данных

   • Переименовать столбцы

   • Добавить столбцы

   • Отбросить столбцы

   • Преобразовать типы данных

   • Заменить значения столбца

2. Выберите тип преобразования и нажмите Далее.

3. Выберите действие, выполняемое при преобразовании, и нажмите Далее.

4. Добавьте к правилу имя и описание и нажмите Готово.

Правило применяется при запуске задачи данных. Если добавляется больше одного правила, то выполнение правил осуществляется в порядке перечисления.

Область преобразования

Если несколько преобразований применяются к одному и тому же набору данных или одним и тем же столбцам, областью действия всегда является источник и имена в нем, а действие применяется к значению, полученному в результате предыдущего правила. Например, рассмотрим эти три правила:

1. Переименовать все наборы данных, начинающиеся с Abc_ (Abc_%), так, чтобы заменить этот префикс на ABC_.

2. Добавить суффикс _zzz к наборам данных, начинающихся с ABC_ (ABC_%).

После применения этих правил к наборам данных получим эти результаты. Примечание. После применения второго правила суффикс _zzz не будет добавлен к ABC_customers, так как областью действия всегда является исходное имя (Abc_customers).

Переименование наборов данных

1. Выберите Переименовать набор данных и нажмите Далее.

2. Задайте область действия преобразования, то есть наборы данных, которые нужно переименовать. Для отбора нескольких наборов данных из одного или нескольких ресурсов можно использовать подстановочный знак %.

   Щелкните Далее.

3. Задайте операцию преобразования. Можно выполнить следующие операции:

   • Переименовать набор данных, присвоив определенное имя.

   • Добавить префикс или суффикс.

   • Удалить префикс или суффикс.

   • Заменить префикс или суффикс.

   • Поменять строчную букву на заглавную.

   • Заменить имена наборов данных с помощью выражения.

   • Заменить имена наборов данных с помощью словаря.

     Для получения дополнительной информации см. раздел Переименование наборов данных или столбцов с помощью словаря.

   По окончании нажмите Далее.

4. Присвойте правилу имя и нажмите Готово.

Переименование столбцов

1. Выберите Переименовать столбец и нажмите Далее.

2. Задайте область действия преобразования, то есть столбцы, которые нужно переименовать. Для отбора нескольких столбцов из одной или нескольких задач данных и наборов данных можно использовать подстановочный знак %.

   Можно также ограничить операцию определенным типом данных. Чтобы выполнить операцию на всех столбцах, удовлетворяющих условию, вне зависимости от типа данных, выберите тип данных UNSPECIFIED.
   

   Щелкните Далее.

   Также можно ограничить область столбцами, которые являются ключами или допускают нулевые значения.

3. Задайте операцию преобразования. Можно выполнить следующие операции:

   • Переименовать набор данных, присвоив определенное имя.

   • Добавить префикс или суффикс.

   • Удалить префикс или суффикс.

   • Заменить префикс или суффикс.

   • Поменять в столбце строчную букву на заглавную.

   • Заменить имена столбцов с помощью выражения.

   • Заменить имена столбцов с помощью словаря.

     Для получения дополнительной информации см. раздел Переименование наборов данных или столбцов с помощью словаря.

   По окончании нажмите Далее.

4. Присвойте правилу имя и нажмите Готово.

Добавление столбцов

1. Выберите Добавить столбец и нажмите Далее.

2. Задайте область действия преобразования, то есть наборы данных, в которые нужно добавить столбец. Для добавления столбца в один или несколько наборов данных можно использовать подстановочный знак %.
   

   Щелкните Далее.

3. Задать параметры нового столбца:

   • Имя столбца.

   • С помощью конструктора выражений задайте Значение для столбца.

   • Выберите Добавить в первичный ключ, чтобы использовать столбец в качестве первичного ключа.

   • Задайте тип данных в поле Целевой тип данных.

   • Если тип данных BYTES, STRING или WSTRING, укажите также длину.

     Если тип данных NUMERIC, укажите Точность и Масштаб.

   По окончании нажмите Далее.

4. Присвойте правилу имя и нажмите Готово.

Отбрасывание столбцов

1. Выберите Отбросить столбец и нажмите Далее.

2. Задайте область действия преобразования, то есть столбцы, которые нужно отбросить. Для отбора нескольких столбцов из одного или нескольких ресурсов можно использовать подстановочный знак %.

   Можно также ограничить операцию определенным типом данных. Чтобы выполнить операцию на всех столбцах, удовлетворяющих условию, вне зависимости от типа данных, выберите тип данных UNSPECIFIED.
   

   Щелкните Далее.

   Также можно ограничить область столбцами, которые являются ключами или допускают нулевые значения.

3. Присвойте правилу имя и нажмите Готово.

Преобразование типов данных

1. Выберите Преобразовать тип данных и нажмите Далее.

2. Задайте область действия преобразования, то есть столбцы, в которых будет преобразован тип данных. Для отбора нескольких столбцов из одного или нескольких ресурсов можно использовать подстановочный знак %.

   Можно также ограничить операцию определенным типом данных. Чтобы выполнить операцию на всех столбцах, удовлетворяющих условию, вне зависимости от типа данных, выберите тип данных UNSPECIFIED.
   

   Щелкните Далее.

   Также можно ограничить область столбцами, которые являются ключами или допускают нулевые значения.

3. Задайте операцию преобразования.

   • Задайте Целевой тип данных, в который будет выполнено преобразование.

   • Если тип данных BYTES, STRING или WSTRING укажите также длину.

     Если тип данных NUMERIC, укажите Точность и Масштаб.

   По окончании нажмите Далее.

4. Присвойте правилу имя и нажмите Готово.

Замена значений в столбце

1. Выберите Заменить значения в столбце и нажмите Далее.

2. Задайте область преобразования, то есть столбцы, в которых нужно заменить значения. Для отбора нескольких столбцов из одного или нескольких ресурсов можно использовать подстановочный знак %.

   Можно также ограничить операцию определенным типом данных. Чтобы выполнить операцию на всех столбцах, удовлетворяющих условию, вне зависимости от типа данных, выберите тип данных UNSPECIFIED.
   

   Щелкните Далее.

   Также можно ограничить область столбцами, которые являются ключами или допускают нулевые значения.

3. Задайте операцию преобразования.

   • В Целевом значении (Target value) задайте выражение, определяющее значение замены.

   • В поле Целевой тип данных укажите тип данных для столбцов, в которых производится замена.

   • Если тип данных BYTES, STRING или WSTRING укажите также длину.

     Если тип данных NUMERIC, укажите Точность и Масштаб.

   По окончании нажмите Далее.

4. Присвойте правилу имя и нажмите Готово.

Переименование наборов данных или столбцов с помощью словаря

Можно использовать словарь для переименования наборов данных или столбцов. Это полезно при работе с большим количеством объектов, для которых используются правила криптографического именования. Можно добавлять переводы в редакторе словаря или импортировать файл CSV, содержащий переводы. Также можно экспортировать словарь в файл CSV и повторно использовать его в другом наборе данных.

Команда Переименовать по словарю доступна в области Действия преобразования при выборе команды Переименовать набор данных или Переименовать столбцы. Щелкните элемент , чтобы открыть редактор словаря.

• Щелкните Добавить перевод и заполните поля Исходное имя и Переведенное имя, чтобы добавить перевод в словарь.

Если нужное преобразование создано, нажмите OK, чтобы закрыть редактор словаря.

Импорт переводов

Можно импортировать переводы из файла CSV, содержащего словарь. Файл должен содержать по одному переводу в строке. Пример:

• Щелкните Добавить из CSV и выберите файл CSV для импорта.

Переводы в импортированном словаре добавляются в существующий словарь.

Экспорт переводов

Также можно экспортировать словарь в файл CSV, чтобы повторно использовать его в других наборах данных.

• Щелкните Экспорт в CSV.

Словарь экспортируется в файл CSV.

Использование переменных в выражении

Вкладка Метаданные в редакторе выражения содержит следующие переменные, которые можно использовать в выражении в правиле преобразования.

Пример:  

Можно переименовать все таблицы в области преобразования, чтобы добавить имя схемы в качестве префикса, используя следующее выражение:

${Q_M_SCHEMA_NAME}||'.'||${Q_M_SOURCE_TABLE_NAME}.

Таким образом, таблица products в схеме dwprod будет переименована в dwprod.products.

Управление правилами

Управление правилами производится в панели «Правила».

• Нажмите Правила.

Здесь можно активировать/отключить правило, удалить или изменить его.