Создание правил для преобразования наборов данных

Можно создавать многократно используемые правила преобразования для выполнения глобального преобразования наборов данных в задачах промежуточного хранения, хранения и преобразования данных, а также в киоска данных.

Выберите Наборы данных, нажмите Правила преобразования и Добавить правило преобразования, чтобы создать новое правило преобразования.

Выберите тип преобразования и нажмите Дальше.

Доступны следующие преобразования
- Переименовать наборы данных
- Переименовать столбцы
- Добавить столбцы
- Отбросить столбцы
- Преобразовать типы данных
- Заменить значения столбца
Выберите тип преобразования и нажмите Далее.
Выберите действие, выполняемое при преобразовании, и нажмите Далее.
Добавьте к правилу имя и описание и нажмите Готово.

Правило применяется при запуске задачи данных. Если добавляется больше одного правила, то выполнение правил осуществляется в порядке перечисления.

В выражении правила можно использовать переменные, такие как имена столбцов. Для получения дополнительной информации см. раздел Использование переменных в выражении.

Область преобразования

Если несколько преобразований применяются к одному и тому же набору данных или одним и тем же столбцам, областью действия всегда является источник и имена в нем, а действие применяется к значению, полученному в результате предыдущего правила. Например, рассмотрим эти три правила:

Переименовать все наборы данных, начинающиеся с Abc_ (Abc_%), так, чтобы заменить этот префикс на ABC_.
Добавить суффикс _zzz к наборам данных, начинающихся с ABC_ (ABC_%).

После применения этих правил к наборам данных получим эти результаты. Примечание. После применения второго правила суффикс _zzz не будет добавлен к ABC_customers, так как областью действия всегда является исходное имя (Abc_customers).

Исходное имя набора данных	Набор данных после первого правила	Набор данных после второго правила
Abc_customers	ABC_customers	ABC_customers
ABC_Suppliers	ABC_Suppliers	ABC_Suppliers_zzz

Переименование наборов данных

Выберите Переименовать набор данных и нажмите Далее.
Задайте область действия преобразования, то есть наборы данных, которые нужно переименовать. Для отбора нескольких наборов данных из одного или нескольких ресурсов можно использовать подстановочный знак %.

Щелкните Далее.
Задайте операцию преобразования. Можно выполнить следующие операции:
- Переименовать набор данных, присвоив определенное имя.
- Добавить префикс или суффикс.
- Удалить префикс или суффикс.
- Заменить префикс или суффикс.
- Поменять строчную букву на заглавную.
- Заменить имена наборов данных с помощью выражения.
- Заменить имена наборов данных с помощью словаря.
  
  Для получения дополнительной информации см. раздел Переименование наборов данных или столбцов с помощью словаря.
По окончании нажмите Далее.
Присвойте правилу имя и нажмите Готово.

Переименование столбцов

Выберите Переименовать столбец и нажмите Далее.
Задайте область действия преобразования, то есть столбцы, которые нужно переименовать. Для отбора нескольких столбцов из одной или нескольких задач данных и наборов данных можно использовать подстановочный знак %.

Можно также ограничить операцию определенным типом данных. Чтобы выполнить операцию на всех столбцах, удовлетворяющих условию, вне зависимости от типа данных, выберите тип данных UNSPECIFIED.

Щелкните Далее.

Также можно ограничить область столбцами, которые являются ключами или допускают нулевые значения.
Задайте операцию преобразования. Можно выполнить следующие операции:
- Переименовать набор данных, присвоив определенное имя.
- Добавить префикс или суффикс.
- Удалить префикс или суффикс.
- Заменить префикс или суффикс.
- Поменять в столбце строчную букву на заглавную.
- Заменить имена столбцов с помощью выражения.
- Заменить имена столбцов с помощью словаря.
  
  Для получения дополнительной информации см. раздел Переименование наборов данных или столбцов с помощью словаря.
По окончании нажмите Далее.
Присвойте правилу имя и нажмите Готово.

Добавление столбцов

Выберите Добавить столбец и нажмите Далее.
Задайте область действия преобразования, то есть наборы данных, в которые нужно добавить столбец. Для добавления столбца в один или несколько наборов данных можно использовать подстановочный знак %.

Щелкните Далее.
Задать параметры нового столбца:
- Имя столбца.
- С помощью конструктора выражений задайте Значение для столбца.
- Выберите Добавить в первичный ключ, чтобы использовать столбец в качестве первичного ключа.
- Задайте тип данных в поле Целевой тип данных.
- Если тип данных BYTES, STRING или WSTRING, укажите также длину.
  
  Если тип данных NUMERIC, укажите Точность и Масштаб.
По окончании нажмите Далее.
Присвойте правилу имя и нажмите Готово.

Отбрасывание столбцов

Выберите Отбросить столбец и нажмите Далее.
Задайте область действия преобразования, то есть столбцы, которые нужно отбросить. Для отбора нескольких столбцов из одного или нескольких ресурсов можно использовать подстановочный знак %.

Можно также ограничить операцию определенным типом данных. Чтобы выполнить операцию на всех столбцах, удовлетворяющих условию, вне зависимости от типа данных, выберите тип данных UNSPECIFIED.

Щелкните Далее.

Также можно ограничить область столбцами, которые являются ключами или допускают нулевые значения.
Присвойте правилу имя и нажмите Готово.

Преобразование типов данных

Выберите Преобразовать тип данных и нажмите Далее.
Задайте область действия преобразования, то есть столбцы, в которых будет преобразован тип данных. Для отбора нескольких столбцов из одного или нескольких ресурсов можно использовать подстановочный знак %.

Можно также ограничить операцию определенным типом данных. Чтобы выполнить операцию на всех столбцах, удовлетворяющих условию, вне зависимости от типа данных, выберите тип данных UNSPECIFIED.

Щелкните Далее.

Также можно ограничить область столбцами, которые являются ключами или допускают нулевые значения.
Задайте операцию преобразования.
- Задайте Целевой тип данных, в который будет выполнено преобразование.
- Если тип данных BYTES, STRING или WSTRING укажите также длину.
  
  Если тип данных NUMERIC, укажите Точность и Масштаб.
По окончании нажмите Далее.
Присвойте правилу имя и нажмите Готово.

См. также: Общие сведения о воздействии изменения типа данных

Замена значений в столбце

Выберите Заменить значения в столбце и нажмите Далее.
Задайте область преобразования, то есть столбцы, в которых нужно заменить значения. Для отбора нескольких столбцов из одного или нескольких ресурсов можно использовать подстановочный знак %.

Можно также ограничить операцию определенным типом данных. Чтобы выполнить операцию на всех столбцах, удовлетворяющих условию, вне зависимости от типа данных, выберите тип данных UNSPECIFIED.

Щелкните Далее.

Также можно ограничить область столбцами, которые являются ключами или допускают нулевые значения.
Задайте операцию преобразования.
- В Целевом значении (Target value) задайте выражение, определяющее значение замены.
- В поле Целевой тип данных укажите тип данных для столбцов, в которых производится замена.
- Если тип данных BYTES, STRING или WSTRING укажите также длину.
  
  Если тип данных NUMERIC, укажите Точность и Масштаб.
По окончании нажмите Далее.
Присвойте правилу имя и нажмите Готово.

Переименование наборов данных или столбцов с помощью словаря

Можно использовать словарь для переименования наборов данных или столбцов. Это полезно при работе с большим количеством объектов, для которых используются правила криптографического именования. Можно добавлять переводы в редакторе словаря или импортировать файл CSV, содержащий переводы. Также можно экспортировать словарь в файл CSV и повторно использовать его в другом наборе данных.

Команда Переименовать по словарю доступна в области Действия преобразования при выборе команды Переименовать набор данных или Переименовать столбцы. Щелкните элемент , чтобы открыть редактор словаря.

Щелкните Добавить перевод и заполните поля Исходное имя и Переведенное имя, чтобы добавить перевод в словарь.

Если нужное преобразование создано, нажмите OK, чтобы закрыть редактор словаря.

Имя заменяется только в случае полного соответствия с исходным именем в словаре. Частичное соответствие не поддерживается.

Импорт переводов

Можно импортировать переводы из файла CSV, содержащего словарь. Файл должен содержать по одному переводу в строке. Пример:

sourcename1,translatedname1 sourcename2,translatedname2 sourcename3,translatedname3

Щелкните Добавить из CSV и выберите файл CSV для импорта.

Переводы в импортированном словаре добавляются в существующий словарь.

Экспорт переводов

Также можно экспортировать словарь в файл CSV, чтобы повторно использовать его в других наборах данных.

Щелкните Экспорт в CSV.

Словарь экспортируется в файл CSV.

Использование переменных в выражении

Вкладка Метаданные в редакторе выражения содержит следующие переменные, которые можно использовать в выражении в правиле преобразования.

Переменные, поддерживаемые в правилах преобразования
Переменная	Описание
$Q_D_COLUMN_DATA	Значение столбца в исходной таблице.
$Q_M_COLUMN_NAME	Измененное имя столбца.
$Q_M_DATATYPE_LENGTH	Измененная длина типа данных в столбце.
$Q_M_DATATYPE_NAME	Измененный тип данных в столбце.
$Q_M_DATATYPE_PRECISION	Измененная точность типа данных в столбце.
$Q_M_DATATYPE_SCALE	Измененный масштаб типа данных в столбце.
$Q_M_SCHEMA_NAME	Имя исходной схемы.
$Q_M_SOURCE_COLUMN_NAME	Имя столбца в исходной таблице.
$Q_M_SOURCE_DATATYPE_LENGTH	Длина типа данных столбца в исходной таблице.
$Q_M_SOURCE_DATATYPE_NAME	Тип данных столбца в исходной таблице.
$Q_M_SOURCE_DATATYPE_PRECISION	Точность типа данных столбца в исходной таблице.
$Q_M_SOURCE_DATATYPE_SCALE	Масштаб типа данных столбца в исходной таблице.
$Q_M_SOURCE_TABLE_NAME	Имя исходной таблицы.
$Q_M_TABLE_NAME	Измененное имя исходной таблицы.

Пример:

Можно переименовать все таблицы в области преобразования, чтобы добавить имя схемы в качестве префикса, используя следующее выражение:

${Q_M_SCHEMA_NAME}||'.'||${Q_M_SOURCE_TABLE_NAME}.

Таким образом, таблица products в схеме dwprod будет переименована в dwprod.products.

Управление правилами

Управление правилами производится в панели «Правила».

Нажмите Правила.

Здесь можно активировать/отключить правило, удалить или изменить его.

Помогла ли вам эта страница?

Если вы обнаружили какую-либо проблему на этой странице и с ее содержанием — будь то опечатка, пропущенный шаг или техническая ошибка, сообщите нам об этом, чтобы мы смогли ее исправить!

Оставьте свой отзыв здесь