R2021-10の新機能

Apache Sparkプールを含むAzure Synapse Analyticsを、YARNクラスターモードのSpark 3.0でのみ、Spark BatchおよびSpark Streamingジョブ用の新しいディストリビューションとして使えるようになりました。Sparkジョブの[Spark configuration] (Spark設定)ビューまたは[Hadoop Cluster Connection] (Hadoopクラスター接続)メタデータウィザードのどちらかで設定できます。詳細は、Azure Synapse Analyticsの接続パラメーターを定義をご覧ください。

Azure Synapse Analyticsによって、さまざまな分析エンジンを使い、データを処理できるようになります。Apache Sparkプールでは、さまざまな計算機能(速度や効率など)およびADLS Gen2ストレージとの互換性があります。

この機能の一般利用が可能になりました。

Big Dataを伴うTalendの全製品

• tHiveWarehouseConfiguration: 同じジョブでHiveへのHive Warehouse Connectorの接続設定を再利用できます。
• tHiveWarehouseInput: Hiveからデータを抽出し、Hive Warehouse Connectorを使って、後続するコンポーネントにデータを送信します。
• tHiveWarehouseOutput: 特定のHiveデータベースに接続して、Hive Warehouse Connectorを使って、受信したデータを特定のHiveテーブルまたはHDFS内のディレクトリーに書き込みます。

Hive Warehouse Connectorを使うと、Talend Studioでは、データに対してより最適なトランザクション制御ができるHiveトランザクション管理対象テーブルはサポートされます。

Big Dataを伴うTalendの全製品

Talend Studioを伴うTalendの全製品

tSnowflakeOutputBulkコンポーネント、tSnowflakeBulkExecコンポーネント、tSnowflakeOutputBulkExecコンポーネントでは、AWS IAMロールに関連付けられるアクセス権を取得できる[S3 assume role] (S3ロールを引き受け)オプションが追加されました。

Talend Studioを伴うTalendの全製品

tSnowflakeBulkExecコンポーネントとtSnowflakeOutputBulkExecコンポーネントのCOPYコマンド認証で、[Snowflake access to storage] (Snowflakeストレージへのアクセス)ドロップダウンリストが追加されました。このドロップダウンリストはCOPYコマンド認証で使われます。

Talend Studioを伴うTalendの全製品

tFileOutputExcelコンポーネントでは、選択された場合に、ストリーミングモードでデータを既存のファイルに書き込める[Streaming append] (ストリーミングによる追加)オプションが追加されました。このオプションは、制限されたメモリサイズで大量のデータを書き込む時に、パフォーマンスの向上に役立ちます。

Talend Studioを伴うTalendの全製品

tSalesforceInputコンポーネントとtSalesforceOutputコンポーネントでは、選択された場合に、日時タイプであるカラムのUTC時間を使う[Use UTC time for datetime] (日時のUTC時間を使用)オプションは追加されました。このオプションが選択されていない場合は、ローカルタイムが使用されます。

Talend Studioを伴うTalendの全製品

今回のリリースで、次の新しいコンポーネントが追加されました:

• ORC形式であるファイルへのアクセスを可能にするtFileInputORCとtFileOutputORC。
• 指定されたアプリケーションのCyberArkによって管理されるログイン情報を取得して、必要とする次のコンポーネントに情報を渡すtCyberarkInput。このコンポーネントは、認証情報の露出の防止によって、管理対象アプリケーションのセキュリティを改善することに役立ちます。

Talend Studioを伴うTalendの全製品

[Advanced settings] (詳細設定)ビューに、共有ファイル、フォルダー、ドライブにアクセスできる[Include shared folders/files] (共有フォルダー/ファイルを含める)オプションと[Include shared drives] (共有ドライブを含める)が追加されました。ファイルとフォルダー検索の範囲を絞り込む[Corpora type] (Corporaタイプ)オプションが追加されました。

これらのオプションは tGoogleDriveCopy、tGoogleDriveCreate、tGoogleDriveDelete、tGoogleDriveGet、tGoogleDriveList、tGoogleDrivePutで使用できます。

Talend Studioを伴うTalendの全製品

[Advanced settings] (詳細設定)ビューに、特定のファイルとフォルダーを検索できる[Use query] (クエリーを使用)オプションは追加されました。

Talend Studioを伴うTalendの全製品

TalendプラットフォームとData Fabricの全製品