メイン コンテンツをスキップする

Big Data: 既知の問題と制限事項

制限事項

説明

対象製品

Hive HiveはSparkローカルモードではサポートされていません。

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

Java 11
  • 標準ジョブやメタデータリポジトリーの場合、Big Dataディストリビューションが含まれるとJava 11はサポートされません。
  • Sparkジョブでは、Java 11はサポートされません。

この制限は、Big DataディストリビューションのJava 11をサポートする制約によるものです。

Big Dataディストリビューションが含まれるSparkジョブおよび標準ジョブまたはメタデータリポジトリーを実行するには、Java 8をコンピューターにインストールして、Talend Studio[Preferences] (環境設定) > [Talend] > [Java interpreter] (Javaインタープリター)内のパスをカスタマイズした後に、[Preferences] (環境設定) > [Java] > [Installed JREs] (インストール済みJRE)でJDK 8の場所を参照する必要があります。

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

問題 対処方法 対象製品
Dataproc 2.x、Azure Synapse、HD Insight 4.0の各ディストリビューションでSparkジョブを実行すると、java.lang.NoSuchMethodError: org.apache.log4j.helpersというエラーが返されることがあります。 Log4j2のセキュリティ問題(CVE-2021-44228)に対処できるよう、Dataproc 2.x以降、Azure Synapse、HD Insight 4.0の各ディストリビューションでSpark BatchジョブとSpark Streaming ジョブを実行する場合は、コンポーネント内のLog4jロガーを必ず無効にしてください。

ジョブが失敗しないよう、[File] (ファイル) > [Edit Project Properties] (プロジェクトプロパティを編集) > [Project Settings] (プロジェクト設定)[Log4j]ビューで[Activate log4j in components] (コンポーネントでlog4jを有効化)チェックボックスをオフにするか、Sparkジョブの[Advanced settings] (詳細設定)にあるlog4jLevelチェックボックスをオフにしてください。

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

スキーマカラムにDate型のカラムを持つMapRDBコンポーネントを使ってSpark Batchジョブを実行すると、

"The method toBytes(ByteBuffer) in the type Bytes is not applicable for the arguments (Date)" (Bytes型のtoBytes(ByteBuffer)メソッドは引数(Date)には適用できません)というコンパイルエラーが表示される。

MapRDBコンポーネントを使ってSpark Batchジョブを実行する場合、スキーマカラムのDate型カラムは使用できません。

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

YARNクライアントモードでKerberosを使用しているCDP 7.1.xクラスターではHBaseが動作せず、hbase.pb.AuthenticationService.GetAuthenticationTokenorg.apache.hadoop.hbase.HBaseIOException: com.google.protobuf.ServiceException: Error calling method hbase.pb.AuthenticationService.GetAuthenticationTokenというエラーが返される。 CDP 7.1.xクラスターでHBaseを使用する際にKerberosを使う場合は、YARNクライアントモードではなく、YARNクラスターモードを使用することをお勧めします。

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。