メイン コンテンツをスキップする 補完的コンテンツへスキップ

R2021-01の新機能

Big Data: 新機能

機能

説明

対象製品

Databricks 5.5 LTSおよび6.4ディストリビューションのロール設定を担う

Databricks 5.5 LTSまたは6.4でジョブを実行しており、S3からデータの読み書きを行う場合に、このロールに関連付けられたロールと権限をジョブに一時的に担わせることができるようになりました。

これで、tS3ConfigurationコンポーネントでDatabricksクラスターにシークレットキーとアクセスキーを指定せずに済みます。[Spark configuration] (Spark設定)ビューで担うロールのAmazon Resource Name (ARN)を指定し、バケット名を入力し、tS3Configurationコンポーネントの[Basic settings] (基本設定)ビューで[Inherit credentials from AWS] (AWSロールから資格情報を継承)チェックボックスをオンにするだけで済むようになりました。

Big Dataを伴うTalendの全製品

tS3Configurationコンポーネントの基本的な[Assume Role] (ロールを引き受け)設定 tS3Configurationで[Assume Role] (ロールを引き受け)オプションを有効にすれば、[Basic settings] (基本設定)ビューで次のプロパティを構成して自分の設定を微調整できるようになります。
  • [Serial Number] (シリアル番号)
  • [Token Code] (トークンコード)
  • [Tags] (タグ)
  • [Transitive Tag Keys] (推移的タグキー)
  • [Policy ARNs] (ポリシーARN)
  • [Policy] (ポリシー)

この機能は、CDP Private Cloud Base 7.1ディストリビューションで利用できるようになりました。

Big Dataを伴うTalendの全製品

Kafkaコンポーネントで利用可能なオプションとしてのトピック、パーティション、およびキー tKafkaOutputコンポーネント内のメッセージに使用するキーとパーティションに関する情報を追加できるようになりました。tKafkaInputコンポーネントは、topicpartitionkeyという新しい属性のおかげで、その出力スキーマ内のこれらの情報を読み取ります。

この機能により、トピックからKafkaメッセージ内のその他の情報を取得し、表示することができます。

Big Dataを伴うTalendの全製品

Spark StreamingジョブでtKafkaCommitが利用可能に Spark v2.0以降によるSpark Streamingジョブで、tKafkaCommitコンポーネントをローカルSparkモードで使用できるようになりました。このコンポーネントでは、オフセットがコミットされている時に手動で制御できます。所定の間隔で自動コミットを行うのではなく、一度にコミットできます。

Big Dataを伴うTalendの全製品

非推奨となったディストリビューション 以下のディストリビューションが非推奨となりました。
  • HDP 2.6.0以前
  • Cloudera CDH 5.16以前
  • MapR 5.2.0以前
  • Microsoft HD Insight 3.4以前
  • Databricks 3.5 LTS以前
  • Cloudera Altus 1.0
  • Dataproc 1.1

Big Dataを伴うTalendの全製品

Data Integration: 新機能

機能

説明

対象製品

Talend Studio用の共有モード Talend Studioで共有モードがサポートされるようになりました。これにより、Talend Studioがインストールされているマシンの各ユーザーは、さまざまな設定とワークスペースフォルダーで作業できます。

Talend Studioを伴うTalendの全製品

ライブラリー共有のエンハンスメント

Talend Studioで以下がサポートされるようになりました:

  • 起動時にローカルライブラリーリポジトリーにライブラリーを共有するかどうかの設定
  • 起動後にライブラリーを手動で共有

デフォルトでは、起動のパフォーマンスを改善するためにTalend Studioの起動時にライブラリーは共有されません。

Talend Studioを伴うTalendの全製品

SAP関数抽出パスがカスタマイズ可能に

抽出されたデータを保持するファイルを生成するSAP関数のパスを指定できます。適用されるコンポーネント:

  • tELTSAPMap
  • tSAPDSOInput ([Basic settings] (基本設定)ビューで[Use FTP-Batch Options] (FTPバッチオプションを使用)を選択)
  • tSAPODPInput ([Basic settings] (基本設定)ビューで[Use FTP-Batch Options] (FTPバッチオプションを使用)を選択)
  • tSAPInfoCubeInput ([Basic settings] (基本設定)ビューで[Use FTP-Batch Options] (FTPバッチオプションを使用)を選択)

Talend Studioを伴うTalendの全製品

tGPGDecrypt: GPG復号コマンドの追加パラメーターを指定

[Use extra paramaters] (追加パラメーターの使用)オプションが提供され、GPG復号コマンドに追加パラメーターを指定できるようになりました。

Talend Studioを伴うTalendの全製品

Greenplum 6.xのサポート

今回のリリースではGreenplum 6.xをサポートしています。

Talend Studioを伴うTalendの全製品

Greenplumコンポーネント: デフォルトのデータベースドライバーが変更

Greenplumコンポーネント用のデータベースドライバーが、デフォルトでGreenplumとなります。

Talend Studioを伴うTalendの全製品

tGreenplumGPLoadが改善

tGreenplumGPLoadに複数の新機能/オプションが追加されました。詳細は以下のとおりです。

  • [Basic settings] (基本設定)ビューの[Populate column list based on the schema] (スキーマに基づくカラムリストに入力)オプション。スキーマで定義したカラムをYAMLファイルに追加します。
  • [Addition options] (追加オプション)テーブルに次の新しいパラメーターが追加されました: LOG_ERRORSMAX_LINE_LENGTHEXTERNAL_SCHEMA (_ext_stg_objects)PRELOAD_TRUNCATEPRELOAD_REUSE_TABLESPRELOAD_STAGING_TABLEPRELOAD_FAST_MATCHSQL_BEFORE LOADSQL_AFTER LOAD
  • [Advanced settings] (詳細設定)ビューに[Remove datafile on successful execution] (実行が成功するとデータファイルを削除)オプションと[Gzip compress the datafile] (データファイルをGzip圧縮)オプション。ロード操作が完了するとデータファイルを削除し、Gzipを使用してデータファイルを圧縮します。
  • 追加された新しいグローバル変数: NB_LINE_INSERTEDNB_LINE_UPDATEDNB_DATA_ERRORSGPLOAD_STATUSGPLOAD_RUNTIME

Talend Studioを伴うTalendの全製品

Data Quality: 新機能

機能

説明

対象製品

共有モード Talend Studioが共有モード対応になりました。有効にすると、一部のパスが変わります:
  • tBRMSでは、DroolsフォルダーへのパスがC:/Users/user-account/studio-path/Drools/となります
  • tDqReportRunでは、Generated reportsフォルダーへのパスがC:/Users/user-account/studio-path/Generated reports/となります
  • シノニムインデックスでは、addonsフォルダーへのパスがC:/Users/user-account/studio-path/addons/となります

TalendプラットフォームとData Fabricの全製品

サポートされているデータベース [Table] (テーブル)スキーマ、[View] (ビュー)スキーマ、[Calculation view] (計算ビュー)スキーマの[Profiling] (プロファイリング)パースペクティブで、SAP Hanaがサポートされるようになりました。

TalendプラットフォームとData Fabricの全製品

新しいコンポーネント

tSAPHanaValidRowsコンポーネントとtSAPHanaInvalidRowsコンポーネントでは、特定のデータクオリティ(正規表現)またはデータクオリティルール(ビジネスルール)に対して、SAP Hanaデータベース行をチェックします。

TalendプラットフォームとData Fabricの全製品

tDataMasking

tDataUnmasking

Dynamicデータ型がStandardコンポーネントによってサポートされるようになりました。

TalendプラットフォームとData Fabricの全製品

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。