Big Data: 既知の問題と制限事項

制限事項	説明	対象製品
Hive	HiveはSparkローカルモードではサポートされていません。	サブスクリプションベースであり、Big Dataを伴うTalendの全製品
Java 11	標準ジョブやメタデータリポジトリーの場合、Big Dataディストリビューションが含まれるとJava 11はサポートされません。 Sparkジョブでは、Java 11はサポートされません。この制限は、Big DataディストリビューションのJava 11をサポートする制約によるものです。 Big Dataディストリビューションが含まれるSparkジョブおよび標準ジョブまたはメタデータリポジトリーを実行するには、Java 8をコンピューターにインストールして、Talend Studioで[Preferences] (環境設定) > [Talend] > [Java interpreter] (Javaインタープリター)内のパスをカスタマイズした後に、[Preferences] (環境設定) > [Java] > [Installed JREs] (インストール済みJRE)でJDK 8の場所を参照する必要があります。	サブスクリプションベースであり、Big Dataを伴うTalendの全製品

制限事項

説明

対象製品

Hive

HiveはSparkローカルモードではサポートされていません。

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

Java 11

標準ジョブやメタデータリポジトリーの場合、Big Dataディストリビューションが含まれるとJava 11はサポートされません。
Sparkジョブでは、Java 11はサポートされません。

この制限は、Big DataディストリビューションのJava 11をサポートする制約によるものです。

Big Dataディストリビューションが含まれるSparkジョブおよび標準ジョブまたはメタデータリポジトリーを実行するには、Java 8をコンピューターにインストールして、Talend Studioで[Preferences] (環境設定) > [Talend] > [Java interpreter] (Javaインタープリター)内のパスをカスタマイズした後に、[Preferences] (環境設定) > [Java] > [Installed JREs] (インストール済みJRE)でJDK 8の場所を参照する必要があります。

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

問題	対処方法	対象製品
Dataproc 2.x、Azure Synapse、HD Insight 4.0の各ディストリビューションでSparkジョブを実行すると、java.lang.NoSuchMethodError: org.apache.log4j.helpersというエラーが返されることがあります。	Log4j2のセキュリティ問題(CVE-2021-44228)に対処できるよう、Dataproc 2.x以降、Azure Synapse、HD Insight 4.0の各ディストリビューションでSpark BatchジョブとSpark Streaming ジョブを実行する場合は、コンポーネント内のLog4jロガーを必ず無効にしてください。ジョブが失敗しないよう、[File] (ファイル) > [Edit Project Properties] (プロジェクトプロパティを編集) > [Project Settings] (プロジェクト設定)の[Log4j]ビューで[Activate log4j in components] (コンポーネントでlog4jを有効化)チェックボックスをオフにするか、Sparkジョブの[Advanced settings] (詳細設定)にあるlog4jLevelチェックボックスをオフにしてください。	サブスクリプションベースであり、Big Dataを伴うTalendの全製品
スキーマカラムにDate型のカラムを持つMapRDBコンポーネントを使ってSpark Batchジョブを実行すると、 "The method toBytes(ByteBuffer) in the type Bytes is not applicable for the arguments (Date)" (Bytes型のtoBytes(ByteBuffer)メソッドは引数(Date)には適用できません)というコンパイルエラーが表示される。	MapRDBコンポーネントを使ってSpark Batchジョブを実行する場合、スキーマカラムのDate型カラムは使用できません。	サブスクリプションベースであり、Big Dataを伴うTalendの全製品
YARNクライアントモードでKerberosを使用しているCDP 7.1.xクラスターではHBaseが動作せず、hbase.pb.AuthenticationService.GetAuthenticationTokenorg.apache.hadoop.hbase.HBaseIOException: com.google.protobuf.ServiceException: Error calling method hbase.pb.AuthenticationService.GetAuthenticationTokenというエラーが返される。	CDP 7.1.xクラスターでHBaseを使用する際にKerberosを使う場合は、YARNクライアントモードではなく、YARNクラスターモードを使用することをお勧めします。	サブスクリプションベースであり、Big Dataを伴うTalendの全製品

問題

対処方法

対象製品

Dataproc 2.x、Azure Synapse、HD Insight 4.0の各ディストリビューションでSparkジョブを実行すると、java.lang.NoSuchMethodError: org.apache.log4j.helpersというエラーが返されることがあります。

Log4j2のセキュリティ問題(CVE-2021-44228)に対処できるよう、Dataproc 2.x以降、Azure Synapse、HD Insight 4.0の各ディストリビューションでSpark BatchジョブとSpark Streaming ジョブを実行する場合は、コンポーネント内のLog4jロガーを必ず無効にしてください。

ジョブが失敗しないよう、[File] (ファイル) > [Edit Project Properties] (プロジェクトプロパティを編集) > [Project Settings] (プロジェクト設定)の[Log4j]ビューで[Activate log4j in components] (コンポーネントでlog4jを有効化)チェックボックスをオフにするか、Sparkジョブの[Advanced settings] (詳細設定)にあるlog4jLevelチェックボックスをオフにしてください。

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

スキーマカラムにDate型のカラムを持つMapRDBコンポーネントを使ってSpark Batchジョブを実行すると、

"The method toBytes(ByteBuffer) in the type Bytes is not applicable for the arguments (Date)" (Bytes型のtoBytes(ByteBuffer)メソッドは引数(Date)には適用できません)というコンパイルエラーが表示される。

MapRDBコンポーネントを使ってSpark Batchジョブを実行する場合、スキーマカラムのDate型カラムは使用できません。

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

YARNクライアントモードでKerberosを使用しているCDP 7.1.xクラスターではHBaseが動作せず、hbase.pb.AuthenticationService.GetAuthenticationTokenorg.apache.hadoop.hbase.HBaseIOException: com.google.protobuf.ServiceException: Error calling method hbase.pb.AuthenticationService.GetAuthenticationTokenというエラーが返される。

CDP 7.1.xクラスターでHBaseを使用する際にKerberosを使う場合は、YARNクライアントモードではなく、YARNクラスターモードを使用することをお勧めします。

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。

こちらにフィードバックをお寄せください