Управление наборами данных

Вы можете управлять наборами данных, включенными в задачи данных Промежуточное хранение, Хранение, Преобразование, Витрина данных, Потоковое промежуточное хранение, Потоковое преобразование и Репликация, чтобы создавать преобразования, фильтровать данные и добавлять столбцы.

Включенные наборы данных перечислены в разделе Наборы данных в представлении Проектирование. Вы можете выбрать, какие столбцы отображать, с помощью средства выбора столбцов ().

Правила преобразования и явные преобразования

Вы можете выполнять как глобальные, так и явные преобразования.

Правила преобразования

Вы можете выполнять глобальные преобразования, создав правило преобразования, которое использует % в качестве подстановочного знака в области действия для применения ко всем совпадающим наборам данных.

• Нажмите Правила, а затем Добавить правило, чтобы создать новое правило преобразования.

  Для получения дополнительной информации см. Создание правил для преобразования наборов данных.

Правила преобразования обозначаются темно-фиолетовым уголком на затронутом атрибуте.

Явные преобразования

Явные преобразования создаются:

• При использовании кнопки Изменить для изменения атрибута столбца.

• При использовании кнопки Переименовать для набора данных.

• При добавлении столбца.

Явные преобразования переопределяют глобальные преобразования и обозначаются светло-фиолетовым уголком на затронутом атрибуте.

Модели наборов данных

Наборы данных могут быть основаны на источнике или на цели, в зависимости от типа задачи и операций в задаче. Используемая модель набора данных влияет на поведение конвейера при изменениях источника и на то, какие операции вы можете выполнять.

• Наборы данных на основе источника

  Набор данных основан на исходных наборах данных и будет содержать только изменения в метаданных. Изменение в исходных данных применяется автоматически, что может вызвать изменения во всех последующих задачах. Невозможно изменить порядок столбцов или изменить исходный набор данных.

  Следующие типы задач всегда используют модель набора данных на основе источника: Промежуточное хранение, Хранение, Зарегистрированные данные, Репликация и Промежуточное хранение в озере данных.

• Наборы данных на основе цели

  Набор данных основан на целевых метаданных. Если столбец добавляется из источника или удаляется, это не применяется автоматически к следующей последующей задаче. Вы можете изменить порядок столбцов и изменить исходный набор данных. Это означает, что задача более автономна и позволяет вам контролировать влияние изменений источника.

  Следующие типы задач могут использовать модель набора данных на основе цели: Преобразование, Витрина данных. В некоторых случаях для задач преобразования используется модель на основе источника в зависимости от операции.

  • Если преобразование SQL или поток преобразования выполняет выбор столбцов, набор данных будет основан на цели. Например, если вы используете SELECT A, B, C from XYZ в преобразовании SQL или используете процессор Выбрать столбцы в потоке преобразования.

  • Если сохраняются столбцы по умолчанию, набор данных основан на источнике. Например, если вы используете SELECT * from XYZ в преобразовании SQL.

Обновление проектов с модели на основе источника на модель на основе цели

Существующие проекты обновляются до модели набора данных на основе цели, когда это применимо. При первом открытии проекта вы пройдете через процесс обновления. Существуют некоторые соображения при импорте и экспорте проектов с различными моделями наборов данных.

• Невозможно импортировать проект с моделью на основе источника в проект с моделью на основе цели.

  Импортируйте проект с моделью на основе источника в новый проект, обновите новый проект, а затем экспортируйте полученный проект. Теперь вы можете повторно импортировать этот проект в проект с моделью на основе цели.

• Невозможно импортировать проект с моделью на основе цели в проект с моделью на основе источника.

  Обновите проект до модели на основе цели перед импортом проекта с моделью на основе цели.

Фильтрация набора данных

При необходимости вы можете отфильтровать данные, чтобы создать подмножество строк.

• Нажмите Фильтр.

Для получения дополнительной информации см. Фильтрация набора данных.

Переименование набора данных

Вы можете переименовать набор данных.

• Нажмите на наборе данных, а затем Изменить.

Добавление столбцов

При необходимости вы можете добавлять столбцы с преобразованиями на уровне строк.

• Нажмите Добавить столбец

Для получения дополнительной информации см. Добавление столбцов в набор данных.

Изменение столбца

Вы можете изменить свойства столбца, выбрав столбец и нажав Изменить.

• Имя

• Ключ

  Установите столбец в качестве первичного ключа. Вы также можете устанавливать ключи, устанавливая или снимая флажки в столбце Ключ.

• Допускает значения Null

• Тип данных

  Установите тип данных столбца. Для некоторых типов данных можно задать дополнительное свойство, например Длина.

  Примечание к информацииИзменение типа данных или размера типа данных столбца может повлиять на задачи, использующие набор данных. Для получения дополнительной информации см. Управление типами данных.

Удаление столбцов

Вы можете удалить один или несколько столбцов из набора данных.

• Выберите столбцы для удаления и нажмите Удалить.

Если вы хотите увидеть удаленные столбцы, нажмите Показать удаленные столбцы. Удаленные столбцы обозначаются зачеркнутым текстом. Вы можете восстановить удаленный столбец, выбрав его и нажав Отменить изменения.

Отмена явных изменений в столбцах

Вы можете отменить все явные изменения для одного или нескольких столбцов.

• Выберите столбцы, для которых нужно отменить изменения, и нажмите Отменить изменения.

Изменения из глобальных правил преобразования не будут отменены.

Если вы отмените изменения для добавленного столбца, он будет удален.

Настройки набора данных

Вы можете изменить настройки для набора данных. Настройка по умолчанию — наследовать настройку задачи данных, но вы также можете явно изменить настройку на Вкл. или Выкл.

• Нажмите на наборе данных, а затем Настройки.

Просмотр данных

Вы можете просмотреть данные образца, чтобы увидеть и проверить форму ваших данных при проектировании конвейера данных.

Должны быть выполнены следующие требования:

• Просмотр данных включен на уровне клиента в центре активности Администрирование.

  Чтобы включить его, перейдите на страницу Настройки, выберите вкладку Управление функциями и включите Просмотр данных в Интеграция данных.

• Вам назначена роль Может просматривать данные в пространстве, где находится подключение.

• Вам назначена роль Может просматривать в пространстве, где находится проект.

Просмотр данных образца

Чтобы просмотреть данные образца на вкладке Наборы данных в представлении Проектирование:

• Нажмите Просмотр данных в разделе Физические объекты.

Отображаются данные образца. Вы можете задать, сколько строк данных включить в образец, с помощью параметра Количество строк.

Переключение между наборами данных и таблицами

Чтобы переключаться между наборами данных и таблицами:

• Выберите Наборы данных для просмотра логического представления данных.

• Выберите Физические объекты для просмотра физического представления в базе данных в виде таблиц и представлений.

  Примечание к новостямЭтот параметр недоступен, если физическое представление еще не создано.

Фильтрация

Вы можете отфильтровать данные образца двумя способами:

• Используйте , чтобы отфильтровать, какие данные образца следует извлечь.

  Например, если вы используете фильтр ${OrderYear}>2023, а для параметра Количество строк задано значение 10, вы получите образец из 10 заказов за 2024 год.

• Отфильтруйте данные образца по определенному столбцу.

  Это повлияет только на существующие данные образца. Если вы использовали , чтобы включить только заказы за 2024 год, и установили фильтр столбца для отображения заказов за 2022 год, результатом будет пустой образец.

Сортировка

Вы также можете отсортировать данные образца по определенному столбцу. Сортировка повлияет только на существующие данные образца. Если вы использовали , чтобы включить только заказы за 2024 год, и инвертировали порядок сортировки, данные образца по-прежнему будут содержать только заказы за 2024 год.

Скрытие столбцов

Вы можете скрыть столбцы в представлении данных:

• Скройте один столбец, нажав на столбце, а затем Скрыть столбец.

• Скройте несколько столбцов, нажав на любом столбце, а затем Отображать столбцы. Это позволяет управлять видимостью всех столбцов в представлении.

Загрузка данных образца

Вы можете загрузить отображаемые данные образца:

• Нажмите , чтобы загрузить содержимое представления данных образца.

Данные образца загружаются в виде CSV-файла в загрузки вашего браузера.

Проверка и корректировка наборов данных

Вы можете проверить все наборы данных, включенные в задачу данных.

Разверните Проверить и скорректировать, чтобы увидеть все ошибки проверки и изменения проекта.

Проверка наборов данных

• Нажмите Проверить наборы данных, чтобы проверить наборы данных.

Проверка включает в себя проверку того, что:

• Все таблицы имеют первичный ключ.

• Отсутствующие атрибуты не обнаружены.

• Нет дубликатов имен таблиц или столбцов.

Вы также получите список изменений проекта по сравнению с источником:

• Добавленные таблицы и столбцы

• Удаленные таблицы и столбцы

• Переименованные таблицы и столбцы

• Измененные первичные ключи и типы данных

Разверните Проверить и скорректировать, чтобы увидеть все ошибки проверки и изменения проекта.

• Исправьте ошибки проверки, а затем снова проверьте наборы данных.

• Большинство изменений проекта можно скорректировать автоматически, за исключением измененных первичных ключей или типов данных. В этом случае необходимо синхронизировать наборы данных.

Подготовка наборов данных

Вы можете подготовить наборы данных для корректировки изменений проекта без потери данных, если это возможно. Если есть изменения проекта, которые невозможно скорректировать без потери данных, вы получите возможность пересоздать таблицы из источника с потерей данных.

Для этого требуется остановить задачу.

• Нажмите , затем Подготовить.

Когда наборы данных будут подготовлены, проверьте их перед перезапуском задачи хранения.

Пересоздание наборов данных

Вы можете пересоздать наборы данных из источника. При пересоздании набора данных произойдет потеря данных. Пока у вас есть исходные данные, вы можете перезагрузить их из источника.

Для этого требуется остановить задачу.

• Нажмите , затем Пересоздать таблицы.

Загрузка данных проверки

Вы можете загрузить данные из разделов Ошибки проверки, Изменения проекта и Ход подготовки:

• Нажмите для загрузки.

Данные загружаются в виде CSV-файла в загрузки вашего браузера.

Ограничения

• В Google BigQuery удаление или переименование столбца приведет к пересозданию таблицы и потере данных.