Big Data: 新機能
Sparkジョブデザイナーの強化点
|
機能 |
説明 |
対象製品 |
|---|---|---|
| ADLS Gen2 | Azure Data Lake Storage Generation2が、以下のビッグデータプラットフォームでサポートされるようになりました。
|
Big Dataを伴うTalendの全製品 |
| Snowflake | Spark Batch用のSnowflakeコンポーネントを一般利用できるようになりました。 |
Big Dataを伴うTalendの全製品 |
| ネイティブデータセット |
Spark Batchジョブでは、ネイティブSparkデータセットに対するサポートの対象コンポーネントが増え、パフォーマンスが本来的に向上しています。このパフォーマンス向上を活用するには、Spark V2.0以降と以下のコンポーネントを併用している必要があります。
以下のコンポーネントは、SparkデータセットをサポートするためにSpark V2.1以降を必要とします。
|
Big Dataを伴うTalendの全製品 |
| Delta Lake | tDeltaLakeInputコンポーネントとtDeltaLakeOutputコンポーネントを一般利用できるようになりました。
|
Big Dataを伴うTalendの全製品 |
| Apache Spark V2.4 | この新しいAparch Sparkバージョンは、Spark BatchジョブとSpark Streamingジョブで対応するビッグデータプラットフォームが増えました。現在Spark V2.4をサポートしているプラットフォームは、以下のとおりです。
|
Big Dataを伴うTalendの全製品 |
| ジョブステータス | Databricksでは、StudioがSparkクラスターにジョブステータスを尋ねる頻度をユーザーが設定できるようになっています。 |
Big Dataを伴うTalendの全製品 |
| tS3Configuration | Amazon EMRでは、S3 バケットポリシーを適用できるようになりました。 |
Big Dataを伴うTalendの全製品 |
| tAggregateRow | Spark Batch ジョブには、カウント(重複を除く)関数とサンプル標準偏差アルゴリズム関数が追加されました。 |
Big Dataを伴うTalendの全製品 |
| 新しいドライバーバージョン |
関連するコンポーネントに以下のドライバーバージョンに対するサポートが追加されました。
|
Big Dataを伴うTalendの全製品 |
|
利用できる新コンポーネント |
新しく追加されたtAzureAdlsGen2InputとtAzureAdlsGen2Outputというコンポーネントを利用できるようになりました。 |
Big Dataを伴うTalendの全製品 |
ビッグデータプラットフォームに対するサポート
|
機能 |
説明 |
対象製品 |
|---|---|---|
| Databricks |
|
Big Dataを伴うTalendの全製品 |
| Hortonworksデータプラットフォーム |
|
Big Dataを伴うTalendの全製品 |
|
Google Cloud Dataproc |
|
Big Dataを伴うTalendの全製品 |
| カスタムHadoop設定 | [Repository] (リポジトリー)でClouderaまたはHortonworksへの接続を定義する時に、使用するHadoop環境の接続パラメーターを提供するためにカスタムJARファイルを指定できるようになりました。 |
Big Dataを伴うTalendの全製品 |
その他のコンポーネント
|
機能 |
説明 |
対象製品 |
|---|---|---|
| Kafka | Kafka V2.2.1が以下で正規にサポートされるようになりました。
|
Big Dataを伴うTalendの全製品 |
| Google BigQuery |
|
Big Dataを伴うTalendの全製品 |
| Couchbase |
|
Big Dataを伴うTalendの全製品 |
|
CXF |
CXF V3.3.4が以下のコンポーネントでサポートされるようになりました。
|
Big Dataを伴うTalendの全製品 |
|
MongoDB |
MongoDB V4.2.xに対するサポートが標準ジョブのMongoDBコンポーネントに追加されました。 |
Big Dataを伴うTalendの全製品 |