# Big Data: 新機能

## Sparkジョブデザイナーの強化点

| 機能 | 説明 | 対象製品 |
| --- | --- | --- |
| ADLS Gen2 | Azure Data Lake Storage Generation2が、以下のビッグデータプラットフォームでサポートされるようになりました。<br><br><ul> <li>Databricks V5.5 LTS</li> <li>Cloudera CDH V6.1</li> <li>Hortonworks Data Platform V3.1</li> </ul> | <ul>利用対象:<li>対象製品：</li><li>Big Data</li><li>Big Data Platform</li><li>Cloud Big Data</li><li>Cloud Big Data Platform</li><li>Cloud Data Fabric</li><li>Data Fabric</li><li>Real-Time Big Data Platform</li></ul><br><br>Big Dataを伴うTalendの全製品 |
| Snowflake | Spark Batch用のSnowflakeコンポーネントを一般利用できるようになりました。 | <ul>利用対象:<li>対象製品：</li><li>Big Data</li><li>Big Data Platform</li><li>Cloud Big Data</li><li>Cloud Big Data Platform</li><li>Cloud Data Fabric</li><li>Data Fabric</li><li>Real-Time Big Data Platform</li></ul><br><br>Big Dataを伴うTalendの全製品 |
| ネイティブデータセット | Spark Batchジョブでは、ネイティブSparkデータセットに対するサポートの対象コンポーネントが増え、パフォーマンスが本来的に向上しています。このパフォーマンス向上を活用するには、Spark V2.0以降と以下のコンポーネントを併用している必要があります。<br><br><ul> <li>tFileInputParquetとtFileOutputParquet</li> <li>tFileInputDelimitedとtFileOutputDelimited</li> <li>tFileInputFullRow</li> <li>tFileInputPositionalとtFileInputRegex</li> <li>tSortRow、tExtractDelimitedFields、tExtractPositionalFields、tExtractRegexFields、tExtractXMLField、tExtractJSONFields、tNormalize、tReplace、tReplicate、tSample、tUnite、tSchemaComplianceCheck</li> </ul><br><br>以下のコンポーネントは、SparkデータセットをサポートするためにSpark V2.1以降を必要とします。<br><br><ul> <li>tAggregateRow</li> <li><span>Talend</span> Studio V7.2以来データセットをサポートしてきたtMap機能に加えて、tMapの左外部結合</li> </ul> | <ul>利用対象:<li>対象製品：</li><li>Big Data</li><li>Big Data Platform</li><li>Cloud Big Data</li><li>Cloud Big Data Platform</li><li>Cloud Data Fabric</li><li>Data Fabric</li><li>Real-Time Big Data Platform</li></ul><br><br>Big Dataを伴うTalendの全製品 |
| Delta Lake | tDeltaLakeInputコンポーネントとtDeltaLakeOutputコンポーネントを一般利用できるようになりました。<br>![](https://help.qlik.com/talend/ja-JP/release-notes/Resources/images/delta_lake_job.png) | <ul>利用対象:<li>対象製品：</li><li>Big Data</li><li>Big Data Platform</li><li>Cloud Big Data</li><li>Cloud Big Data Platform</li><li>Cloud Data Fabric</li><li>Data Fabric</li><li>Real-Time Big Data Platform</li></ul><br><br>Big Dataを伴うTalendの全製品 |
| Apache Spark V2.4 | この新しいAparch Sparkバージョンは、Spark BatchジョブとSpark Streamingジョブで対応するビッグデータプラットフォームが増えました。現在Spark V2.4をサポートしているプラットフォームは、以下のとおりです。<br><br><ul> <li>Cloudera CDH6.1.1</li> <li>Databricks V5.5</li> <li>Google Cloud Dataproc V1.4</li> </ul> | <ul>利用対象:<li>対象製品：</li><li>Big Data</li><li>Big Data Platform</li><li>Cloud Big Data</li><li>Cloud Big Data Platform</li><li>Cloud Data Fabric</li><li>Data Fabric</li><li>Real-Time Big Data Platform</li></ul><br><br>Big Dataを伴うTalendの全製品 |
| ジョブステータス | Databricksでは、StudioがSparkクラスターにジョブステータスを尋ねる頻度をユーザーが設定できるようになっています。 | <ul>利用対象:<li>対象製品：</li><li>Big Data</li><li>Big Data Platform</li><li>Cloud Big Data</li><li>Cloud Big Data Platform</li><li>Cloud Data Fabric</li><li>Data Fabric</li><li>Real-Time Big Data Platform</li></ul><br><br>Big Dataを伴うTalendの全製品 |
| tS3Configuration | Amazon EMRでは、S3 バケットポリシーを適用できるようになりました。 | <ul>利用対象:<li>対象製品：</li><li>Big Data</li><li>Big Data Platform</li><li>Cloud Big Data</li><li>Cloud Big Data Platform</li><li>Cloud Data Fabric</li><li>Data Fabric</li><li>Real-Time Big Data Platform</li></ul><br><br>Big Dataを伴うTalendの全製品 |
| tAggregateRow | Spark Batch ジョブには、カウント(重複を除く)関数とサンプル標準偏差アルゴリズム関数が追加されました。 | <ul>利用対象:<li>対象製品：</li><li>Big Data</li><li>Big Data Platform</li><li>Cloud Big Data</li><li>Cloud Big Data Platform</li><li>Cloud Data Fabric</li><li>Data Fabric</li><li>Real-Time Big Data Platform</li></ul><br><br>Big Dataを伴うTalendの全製品 |
| 新しいドライバーバージョン | 関連するコンポーネントに以下のドライバーバージョンに対するサポートが追加されました。<br><br><ul> <li>Redshift JDBCドライバーV1.23.7.106</li> <li>MySQLドライバーV8.0.18</li> <li>Teradata JDBCドライバーV16.20.00.13</li> <li>JDBCコンポーネントのMariaDB JDBCドライバーV2.5.3</li> <li>Snowflake JDBCドライバーV3.11.x</li> </ul> | <ul>利用対象:<li>対象製品：</li><li>Big Data</li><li>Big Data Platform</li><li>Cloud Big Data</li><li>Cloud Big Data Platform</li><li>Cloud Data Fabric</li><li>Data Fabric</li><li>Real-Time Big Data Platform</li></ul><br><br>Big Dataを伴うTalendの全製品 |
| 利用できる新コンポーネント | 新しく追加されたtAzureAdlsGen2InputとtAzureAdlsGen2Outputというコンポーネントを利用できるようになりました。 | <ul>利用対象:<li>対象製品：</li><li>Big Data</li><li>Big Data Platform</li><li>Cloud Big Data</li><li>Cloud Big Data Platform</li><li>Cloud Data Fabric</li><li>Data Fabric</li><li>Real-Time Big Data Platform</li></ul><br><br>Big Dataを伴うTalendの全製品 |

## ビッグデータプラットフォームに対するサポート

| 機能 | 説明 | 対象製品 |
| --- | --- | --- |
| Databricks | <ul> <li>Databricks V5.5 LTSはSparkジョブでサポートされるようになりました。</li> <li>Azure Databricksの一時クラスターに対するサポートが追加されました。</li> </ul> | <ul>利用対象:<li>対象製品：</li><li>Big Data</li><li>Big Data Platform</li><li>Cloud Big Data</li><li>Cloud Big Data Platform</li><li>Cloud Data Fabric</li><li>Data Fabric</li><li>Real-Time Big Data Platform</li></ul><br><br>Big Dataを伴うTalendの全製品 |
| Hortonworksデータプラットフォーム | <ul> <li>Hortonworks Data Platform V3.1がサポートされています。</li> <li>ダイナミックディストリビューション間でHortonworks Data Platform V3.xシリーズを一般利用できるようになりました。</li> </ul> | <ul>利用対象:<li>対象製品：</li><li>Big Data</li><li>Big Data Platform</li><li>Cloud Big Data</li><li>Cloud Big Data Platform</li><li>Cloud Data Fabric</li><li>Data Fabric</li><li>Real-Time Big Data Platform</li></ul><br><br>Big Dataを伴うTalendの全製品 |
| Google Cloud Dataproc | <ul> <li>Google Cloud Dataproc V1.4がサポートされています。</li> <li>標準ジョブでは、すべてのリージョンがtGoogleDataprocManageによってサポートされています。</li> </ul> | <ul>利用対象:<li>対象製品：</li><li>Big Data</li><li>Big Data Platform</li><li>Cloud Big Data</li><li>Cloud Big Data Platform</li><li>Cloud Data Fabric</li><li>Data Fabric</li><li>Real-Time Big Data Platform</li></ul><br><br>Big Dataを伴うTalendの全製品 |
| カスタムHadoop設定 | [Repository] (リポジトリー)でClouderaまたはHortonworksへの接続を定義する時に、使用するHadoop環境の接続パラメーターを提供するためにカスタムJARファイルを指定できるようになりました。 | <ul>利用対象:<li>対象製品：</li><li>Big Data</li><li>Big Data Platform</li><li>Cloud Big Data</li><li>Cloud Big Data Platform</li><li>Cloud Data Fabric</li><li>Data Fabric</li><li>Real-Time Big Data Platform</li></ul><br><br>Big Dataを伴うTalendの全製品 |

## その他のコンポーネント

| 機能 | 説明 | 対象製品 |
| --- | --- | --- |
| Kafka | Kafka V2.2.1が以下で正規にサポートされるようになりました。<br><br><ul> <li>Cloudera CDH V6.1</li> <li>Hortonworks Data Platform V3.1</li> <li>標準ジョブのKafkaコンポーネント</li> </ul> | <ul>利用対象:<li>対象製品：</li><li>Big Data</li><li>Big Data Platform</li><li>Cloud Big Data</li><li>Cloud Big Data Platform</li><li>Cloud Data Fabric</li><li>Data Fabric</li><li>Real-Time Big Data Platform</li></ul><br><br>Big Dataを伴うTalendの全製品 |
| Google BigQuery | <ul> <li>tBigQueryBulkExecでは、サービスアカウントまたはそのOAuth 2.0の認証情報を使ってテーブルを削除できるようになりました。</li> <li>BigQueryのコンポーネントがGoogle CloudクライアントAPI 1.25.10をサポートするようになりました。</li> </ul> | <ul>利用対象:<li>対象製品：</li><li>Big Data</li><li>Big Data Platform</li><li>Cloud Big Data</li><li>Cloud Big Data Platform</li><li>Cloud Data Fabric</li><li>Data Fabric</li><li>Real-Time Big Data Platform</li></ul><br><br>Big Dataを伴うTalendの全製品 |
| Couchbase | <ul> <li>tCouchbaseOutputで、パラメーターを使うN1QLクエリーを実行できるようになりました。</li> <li>JSON以外のドキュメントがサポートされています。</li> </ul> | <ul>利用対象:<li>対象製品：</li><li>Big Data</li><li>Big Data Platform</li><li>Cloud Big Data</li><li>Cloud Big Data Platform</li><li>Cloud Data Fabric</li><li>Data Fabric</li><li>Real-Time Big Data Platform</li></ul><br><br>Big Dataを伴うTalendの全製品 |
| CXF | CXF V3.3.4が以下のコンポーネントでサポートされるようになりました。<br><br><ul> <li>tDBFSConnection、tDBFSGet、tDBFSPut</li> <li>tHCatalogInput、tHCatalogLoad、tHCatalogOperation、tHCatalogOutput</li> </ul> | <ul>利用対象:<li>対象製品：</li><li>Big Data</li><li>Big Data Platform</li><li>Cloud Big Data</li><li>Cloud Big Data Platform</li><li>Cloud Data Fabric</li><li>Data Fabric</li><li>Real-Time Big Data Platform</li></ul><br><br>Big Dataを伴うTalendの全製品 |
| MongoDB | MongoDB V4.2.xに対するサポートが標準ジョブのMongoDBコンポーネントに追加されました。 | <ul>利用対象:<li>対象製品：</li><li>Big Data</li><li>Big Data Platform</li><li>Cloud Big Data</li><li>Cloud Big Data Platform</li><li>Cloud Data Fabric</li><li>Data Fabric</li><li>Real-Time Big Data Platform</li></ul><br><br>Big Dataを伴うTalendの全製品 |