Big Data
|
機能 |
説明 |
対象製品 |
|---|---|---|
| Spark Universal 3.2.xでAmazon EMR 6.6.0と6.7.0をサポート |
YarnクラスターモードでSpark 3.2.xと共にSpark Universalを使い、Amazon EMRクラスターでSparkジョブを実行できるようになりました。Sparkジョブの[Spark configuration] (Spark設定)ビューまたは[Hadoop Cluster Connection] (Hadoopクラスター接続)メタデータウィザードのどちらかで設定できます。 このモードを選択すると、Talend Studioは Amazon EMRのバージョン6.6.0および6.7.0と互換性を持つようになります。 |
サブスクリプションベースであり、Big Dataを伴うTalendの全製品 |
|
Spark Universal 3.3.xでDatabricksランタイム11.xをサポート |
Google Cloud Platform (GCP)、AWS、Azureで、Spark 3.3.xと共にSpark Universalを使い、Databricksのジョブクラスターと汎用クラスターでSpark BacthジョブやStreamingジョブを実行できるようになりました。Sparkジョブの[Spark configuration] (Spark設定)ビューまたは[Hadoop Cluster Connection] (Hadoopクラスター接続)メタデータウィザードのどちらかで設定できます。 このモードを選択すると、Talend StudioはDatabricks 11.xのバージョンと互換性を持つようになります。 本機能の一般公開に伴い、以下のような過去の既知のこの問題は修正されました。
|
サブスクリプションベースであり、Big Dataを伴うTalendの全製品 |
|
tRedshiftOutputでBigDecimalをサポート |
Spark Batchジョブで、tRedshiftOutputコンポーネントのスキーマにBigDecimal値を使用できるようになりました。
|
サブスクリプションベースであり、Big Dataを伴うTalendの全製品 |
|
Spark UniversalによるtGSConfigurationをサポート |
tGSConfigurationコンポーネントを使い、他の入出力コンポーネントでGoogle Storageにアクセスできるようになりました。この機能はSpark BatchとSpark Streamingの両方のジョブに適用されています。 |
サブスクリプションベースであり、Big Dataを伴うTalendの全製品 |
|
スキーマレジストリーをサポート |
以下のコンポーネントを使ったSpark Streamingジョブで、スキーマレジストリーを使用できるようになりました。
スキーマレジストリーを使えば、Talend StudioがAvroレコードの情報を登録できるようになります。 
|
サブスクリプションベースであり、Big Dataを伴うTalendの全製品 |
|
S3 Selectをサポート |
YARNクラスター(Amazon EMRクラスター付き)モードまたはDatabricksモードで、Spark Universalを使って実行するSparkジョブでtS3Configurationをストレージコンポーネントとして使用する場合、tFileInputDelimitedとtFileInputJSONでS3 Selectを使用できるようになりました。S3 Selectを使用すれば、Spark SQLクエリーを使ってS3から取得するデータ量を減らすことができます。 DatabricksでSparkジョブを実行する場合は、S3バケットがクラスターと同じリージョンにあることが必要です。そうでないとクラスター側でS3の例外が発生します。 |
サブスクリプションベースであり、Big Dataを伴うTalendの全製品 |