メイン コンテンツをスキップする

Big Data

機能

説明

対象製品

Spark Universal 3.2.xでAmazon EMR 6.6.0と6.7.0をサポート

YarnクラスターモードでSpark 3.2.xと共にSpark Universalを使い、Amazon EMRクラスターでSparkジョブを実行できるようになりました。Sparkジョブの[Spark configuration] (Spark設定)ビューまたは[Hadoop Cluster Connection] (Hadoopクラスター接続)メタデータウィザードのどちらかで設定できます。

このモードを選択すると、Talend Studioは Amazon EMRのバージョン6.6.0および6.7.0と互換性を持つようになります。

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

Spark Universal 3.3.xでDatabricksランタイム11.xをサポート

Google Cloud Platform (GCP)、AWS、Azureで、Spark 3.3.xと共にSpark Universalを使い、Databricksのジョブクラスターと汎用クラスターでSpark BacthジョブやStreamingジョブを実行できるようになりました。Sparkジョブの[Spark configuration] (Spark設定)ビューまたは[Hadoop Cluster Connection] (Hadoopクラスター接続)メタデータウィザードのどちらかで設定できます。

このモードを選択すると、Talend StudioはDatabricks 11.xのバージョンと互換性を持つようになります。

本機能の一般公開に伴い、以下のような過去の既知のこの問題は修正されました。
  • tGSConfigurationがSpark Streamingジョブで動作するようになりました。
  • AWSの使用時にtS3ConfigurationがtAvroInputのストレージコンポーネントとして動作するようになりました。
  • Azureの使用時にtAzureFSConfigurationがtAvroInputのストレージコンポーネントとして動作するようになりました。
  • GCPの使用時にtFileInputDelimited、tFileInputJSON、tFileInputParquet、tFileInputPositional、tFileInputRegex、tFileInputXMLがtGSConfigurationと動作するようになりました。

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

tRedshiftOutputでBigDecimalをサポート

Spark Batchジョブで、tRedshiftOutputコンポーネントのスキーマにBigDecimal値を使用できるようになりました。

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

Spark UniversalによるtGSConfigurationをサポート

tGSConfigurationコンポーネントを使い、他の入出力コンポーネントでGoogle Storageにアクセスできるようになりました。この機能はSpark BatchとSpark Streamingの両方のジョブに適用されています。

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

スキーマレジストリーをサポート

以下のコンポーネントを使ったSpark Streamingジョブで、スキーマレジストリーを使用できるようになりました。
  • tKafkaConfiguration
  • tKafkaInputAvro

スキーマレジストリーを使えば、Talend StudioがAvroレコードの情報を登録できるようになります。

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

S3 Selectをサポート

YARNクラスター(Amazon EMRクラスター付き)モードまたはDatabricksモードで、Spark Universalを使って実行するSparkジョブでtS3Configurationをストレージコンポーネントとして使用する場合、tFileInputDelimitedとtFileInputJSONでS3 Selectを使用できるようになりました。S3 Selectを使用すれば、Spark SQLクエリーを使ってS3から取得するデータ量を減らすことができます。

DatabricksでSparkジョブを実行する場合は、S3バケットがクラスターと同じリージョンにあることが必要です。そうでないとクラスター側でS3の例外が発生します。

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。