HiveテーブルをIcebergテーブルに変換
このシナリオの最初のステップは、customers_hiveというHiveテーブルのデータをcustomers_iceberg Icebergテーブルに変換することです。"marketing"テーブルのmarketing_hiveとmarketing_icebergで、同じ操作を繰り返します。
このタスクについて
このタスクでは、Convertingサブジョブが使用されます。
手順
- オプション:
Drop tableと呼ばれるtIcebergTableの[Basic settings] (基本設定)ビューから、次のようにパラメーターを設定します:
- [Connection] (接続)ドロップダウンリストから、使用する接続コンポーネントを選択します。この例では、tIcebergConnection_1です。
- [Table name] (テーブル名)フィールドに、削除するテーブルの名前を入力します。この例では、customers_icebergです。
- [Action on table] (テーブルでのアクション) ドロップダウン リストで[Drop if it exists] (存在する場合はドロップ)を選択すると、同じ名前のテーブルが既に存在する場合のみテーブルを削除します。情報メモ注: このステップは、同じ名前のテーブルが既に存在し、それを削除して新しいテーブルを作成する場合のみ必要です。
-
Create customers_icebergと呼ばれるtIcebergTableの[Basic settings] (基本設定)ビューで、既存のHiveテーブルからIcebergテーブルを作成するためのパラメーターを以下のように設定します:
- [Connection] (接続)ドロップダウンリストから、使用する接続コンポーネントを選択します。この例では、tIcebergConnection_1です。
- [Table name] (テーブル名)フィールドに、作成するテーブルの名前を入力します。この例では、"customers_iceberg"です。
- [Action on table] (テーブルでのアクション)ドロップダウンリストから[Create table if does not exist] (テーブルが存在しない場合は作成)を選択し、Icebergテーブルを作成します。
- Create as selectチェックボックスを選択した後、実行するSELECTクエリーをAs select queryフィールドに入力します。この例では、"SELECT * FROM customers-hive"です。これによって、customers-hiveテーブルからデータをすべて選択できるようになります
- ドロップダウンリストからデータの形式を選択します。この例では、AVROを選択します。
- 他のパラメーターはそのままにしておきます。
- オプション:
v2 formatと呼ばれるtIcebergRowの[Basic settings] (基本設定)で次のようにパラメーターを設定し、使用するIcebergテーブルのバージョンをアップデートします:
- [Connection] (接続)ドロップダウンリストから、使用する接続コンポーネントを選択します。この例では、tIcebergConnection_1です。
- [Sql query] (SQLクエリー)フィールドで、実行するSQLクエリーを入力します。この例では、"ALTER TABLE marketing_iceberg SET TBLPROPERTIES ('format-version' = '2')"です。これによって、Icebergのバージョンを設定するために新しいプロパティを追加してテーブルを変更できるようになります。
タスクの結果
データベースからのIcebergテーブルの作成を再チェックできます。この例では、Hueが使用されます: 