Управление наборами данных

Вы можете управлять наборами данных, включенными в задачи данных Промежуточное хранение, Хранение, Преобразование, Витрина данных, Потоковое промежуточное хранение, Потоковое преобразование и Репликация, чтобы создавать преобразования, фильтровать данные и добавлять столбцы.

Включенные наборы данных перечислены в разделе Наборы данных в представлении Проектирование. Вы можете выбрать, какие столбцы отображать, с помощью средства выбора столбцов ().

Правила преобразования и явные преобразования

Вы можете выполнять как глобальные, так и явные преобразования.

Правила преобразования

Вы можете выполнять глобальные преобразования, создав правило преобразования, которое использует % в качестве подстановочного знака в области действия для применения ко всем совпадающим наборам данных.

• Нажмите Правила, а затем Добавить правило, чтобы создать новое правило преобразования.

  Для получения дополнительной информации см. Создание правил для преобразования наборов данных.

Правила преобразования обозначаются темно-фиолетовым уголком на затронутом атрибуте.

Явные преобразования

Явные преобразования создаются:

• Когда вы используете Изменить для изменения атрибута столбца.

• Когда вы используете Переименовать для набора данных.

• Когда вы добавляете столбец.

Явные преобразования переопределяют глобальные преобразования и обозначаются светло-фиолетовым уголком на затронутом атрибуте.

Модели наборов данных

Наборы данных могут быть основаны на источнике или на целевом объекте, в зависимости от типа задачи и операций в задаче. Используемая модель набора данных влияет на поведение конвейера при изменениях источника и на то, какие операции вы можете выполнять.

• Наборы данных на основе источника

  Набор данных основан на исходных наборах данных и будет содержать только изменения в метаданных. Изменение в исходных данных применяется автоматически, что может вызвать изменения во всех последующих задачах. Невозможно изменить порядок столбцов или изменить исходный набор данных.

  Следующие типы задач всегда используют модель набора данных на основе источника: Промежуточное хранение, Хранение, Зарегистрированные данные, Репликация и Промежуточное хранение в озере данных.

• Наборы данных на основе целевого объекта

  Набор данных основан на целевых метаданных. Если столбец добавляется из источника или удаляется, это не применяется автоматически к следующей последующей задаче. Вы можете изменить порядок столбцов и изменить исходный набор данных. Это означает, что задача более автономна и позволяет вам контролировать влияние изменений источника.

  Следующие типы задач могут использовать модель набора данных на основе целевого объекта: Преобразование, Витрина данных. В некоторых случаях для задач Преобразование используется модель на основе источника в зависимости от операции.

  • Если SQL-преобразование или поток преобразования выполняет выбор столбцов, набор данных будет основан на целевом объекте. Например, если вы используете SELECT A, B, C from XYZ в SQL-преобразовании или используете процессор Выбрать столбцы в потоке преобразования.

  • Если сохраняются столбцы по умолчанию, набор данных основан на источнике. Например, если вы используете SELECT * from XYZ в SQL-преобразовании.

Обновление проектов с модели на основе источника до модели на основе целевого объекта

Существующие проекты обновляются до модели набора данных на основе целевого объекта, когда это применимо. При первом открытии проекта вы пройдете через процесс обновления. Существуют некоторые соображения при импорте и экспорте проектов с различными моделями наборов данных.

• Невозможно импортировать проект с моделью на основе источника в проект с моделью на основе целевого объекта.

  Импортируйте проект с моделью на основе источника в новый проект, обновите новый проект, а затем экспортируйте полученный проект. Теперь вы можете повторно импортировать этот проект в проект с моделью на основе целевого объекта.

• Невозможно импортировать проект с моделью на основе целевого объекта в проект с моделью на основе источника.

  Обновите проект до модели на основе целевого объекта перед импортом проекта с моделью на основе целевого объекта.

Фильтрация набора данных

При необходимости вы можете отфильтровать данные для создания подмножества строк.

• Нажмите Фильтр.

Для получения дополнительной информации см. Фильтрация набора данных.

Переименование набора данных

Вы можете переименовать набор данных.

• Нажмите на наборе данных, а затем Изменить.

Добавление столбцов

При необходимости вы можете добавлять столбцы с преобразованиями на уровне строк.

• Нажмите Добавить столбец

Для получения дополнительной информации см. Добавление столбцов в набор данных.

Изменение столбца

Вы можете изменить свойства столбца, выбрав столбец и нажав Изменить.

• Имя

• Ключ

  Установите столбец в качестве первичного ключа. Вы также можете устанавливать ключи, устанавливая или снимая флажки в столбце Ключ.

• Допускает значения NULL

• Тип данных

  Установите тип данных столбца. Для некоторых типов данных можно задать дополнительное свойство, например Длина.

  Примечание к информацииИзменение типа данных или размера типа данных столбца может повлиять на задачи, использующие набор данных. Для получения дополнительной информации см. Управление типами данных.

Удаление столбцов

Вы можете удалить один или несколько столбцов из набора данных.

• Выберите столбцы для удаления и нажмите Удалить.

Если вы хотите увидеть удаленные столбцы, нажмите Показать удаленные столбцы. Удаленные столбцы обозначаются зачеркнутым текстом. Вы можете восстановить удаленный столбец, выбрав его и нажав Отменить.

Отмена явных изменений в столбцах

Вы можете отменить все явные изменения в одном или нескольких столбцах.

• Выберите столбцы, для которых нужно отменить изменения, и нажмите Отменить.

Изменения из глобальных правил преобразования не будут отменены.

Если вы отмените добавленный столбец, он будет удален.

Настройки набора данных

Вы можете изменить настройки для набора данных. Настройка по умолчанию — наследовать настройку задачи данных, но вы также можете явно изменить настройку на Вкл. или Выкл.

• Нажмите на наборе данных, а затем Настройки.

Просмотр данных

Вы можете просмотреть данные образца, чтобы увидеть и проверить форму ваших данных при проектировании конвейера данных.

Должны быть выполнены следующие требования:

• Просмотр данных включен на уровне клиента в центре активности Администрирование.

  Чтобы включить его, перейдите на страницу Настройки, выберите вкладку Управление функциями и включите Просмотр данных в Интеграция данных.

• Вам назначена роль Может просматривать данные в пространстве, где находится подключение.

• Вам назначена роль Может просматривать в пространстве, где находится проект.

Просмотр данных образца

Чтобы просмотреть данные образца на вкладке Наборы данных в представлении Проектирование:

• Нажмите Просмотр данных в Физические объекты.

Отображаются данные образца. Вы можете задать, сколько строк данных включить в образец, с помощью параметра Количество строк.

Переключение между наборами данных и таблицами

Чтобы переключаться между наборами данных и таблицами:

• Выберите Наборы данных для просмотра логического представления данных.

• Выберите Физические объекты для просмотра физического представления в базе данных в виде таблиц и представлений.

  Примечание к новостямЭтот параметр недоступен, если физическое представление еще не создано.

Фильтрация

Вы можете фильтровать данные образца двумя способами:

• Используйте для фильтрации извлекаемых данных образца.

  Например, если вы используете фильтр ${OrderYear}>2023, а параметр Количество строк установлен на 10, вы получите образец из 10 заказов за 2024 год.

• Фильтрация данных образца по определенному столбцу.

  Это повлияет только на существующие данные образца. Если вы использовали , чтобы включить только заказы за 2024 год, и установили фильтр столбца для отображения заказов за 2022 год, результатом будет пустой образец.

Сортировка

Вы также можете отсортировать данные образца по определенному столбцу. Сортировка повлияет только на существующие данные образца. Если вы использовали , чтобы включить только заказы за 2024 год, и инвертировали порядок сортировки, данные образца по-прежнему будут содержать только заказы за 2024 год.

Скрытие столбцов

Вы можете скрыть столбцы в представлении данных:

• Скройте один столбец, нажав на столбце, а затем Скрыть столбец.

• Скройте несколько столбцов, нажав на любом столбце, а затем Отображать столбцы. Это позволяет управлять видимостью всех столбцов в представлении.

Загрузка данных образца

Вы можете загрузить отображаемые данные образца:

• Нажмите , чтобы загрузить содержимое представления данных образца.

Данные образца загружаются в виде CSV-файла в загрузки вашего браузера.

Проверка и корректировка наборов данных

Вы можете проверить все наборы данных, включенные в задачу данных.

Разверните Проверить и скорректировать, чтобы увидеть все ошибки проверки и изменения проекта.

Проверка наборов данных

• Нажмите Проверить наборы данных, чтобы проверить наборы данных.

Проверка включает в себя проверку того, что:

• Все таблицы имеют первичный ключ.

• Нет отсутствующих атрибутов.

• Нет дубликатов имен таблиц или столбцов.

Вы также получите список изменений проекта по сравнению с источником:

• Добавленные таблицы и столбцы

• Удаленные таблицы и столбцы

• Переименованные таблицы и столбцы

• Измененные первичные ключи и типы данных

Разверните Проверить и скорректировать, чтобы увидеть все ошибки проверки и изменения проекта.

• Исправьте ошибки проверки, а затем снова проверьте наборы данных.

• Большинство изменений проекта можно скорректировать автоматически, за исключением измененных первичных ключей или типов данных. В этом случае вам необходимо синхронизировать наборы данных.

Подготовка наборов данных

Вы можете подготовить наборы данных для корректировки изменений проекта без потери данных, если это возможно. Если есть изменения проекта, которые невозможно скорректировать без потери данных, вы получите возможность пересоздать таблицы из источника с потерей данных.

Для этого требуется остановить задачу.

• Нажмите , затем Подготовить.

Когда наборы данных будут подготовлены, проверьте наборы данных перед перезапуском задачи хранения.

Пересоздание наборов данных

Вы можете пересоздать наборы данных из источника. При пересоздании набора данных произойдет потеря данных. Пока у вас есть исходные данные, вы можете перезагрузить их из источника.

Для этого требуется остановить задачу.

• Нажмите , затем Пересоздать таблицы.

Загрузка данных проверки

Вы можете загрузить данные из разделов Ошибки проверки, Изменения проекта и Ход подготовки:

• Нажмите для загрузки.

Данные загружаются в виде CSV-файла в загрузки вашего браузера.

Ограничения

• В Google BigQuery, если вы удалите или переименуете столбец, это приведет к пересозданию таблицы и потере данных.