Big Data: 既知の問題と制限事項
制限事項 |
説明 |
対象製品 |
---|---|---|
Hive | HiveはSparkローカルモードではサポートされていません。 |
サブスクリプションベースであり、Big Dataを伴うTalendの全製品 |
Java 11 |
この制限は、Big DataディストリビューションのJava 11をサポートする制約によるものです。 Big Dataディストリビューションが含まれるSparkジョブおよび標準ジョブまたはメタデータリポジトリーを実行するには、Java 8をコンピューターにインストールして、Talend Studioで 内のパスをカスタマイズした後に、 でJDK 8の場所を参照する必要があります。 |
サブスクリプションベースであり、Big Dataを伴うTalendの全製品 |
問題 | 対処方法 | 対象製品 |
---|---|---|
Dataproc 2.x、Azure Synapse、HD Insight 4.0の各ディストリビューションでSparkジョブを実行すると、java.lang.NoSuchMethodError: org.apache.log4j.helpersというエラーが返されることがあります。 | Log4j2のセキュリティ問題(CVE-2021-44228)に対処できるよう、Dataproc 2.x以降、Azure Synapse、HD Insight 4.0の各ディストリビューションでSpark BatchジョブとSpark Streaming ジョブを実行する場合は、コンポーネント内のLog4jロガーを必ず無効にしてください。 ジョブが失敗しないよう、[Log4j]ビューで[Activate log4j in components] (コンポーネントでlog4jを有効化)チェックボックスをオフにするか、Sparkジョブの[Advanced settings] (詳細設定)にあるlog4jLevelチェックボックスをオフにしてください。 の |
サブスクリプションベースであり、Big Dataを伴うTalendの全製品 |
スキーマカラムにDate型のカラムを持つMapRDBコンポーネントを使ってSpark Batchジョブを実行すると、 "The method toBytes(ByteBuffer) in the type Bytes is not applicable for the arguments (Date)" (Bytes型のtoBytes(ByteBuffer)メソッドは引数(Date)には適用できません)というコンパイルエラーが表示される。 |
MapRDBコンポーネントを使ってSpark Batchジョブを実行する場合、スキーマカラムのDate型カラムは使用できません。 |
サブスクリプションベースであり、Big Dataを伴うTalendの全製品 |
YARNクライアントモードでKerberosを使用しているCDP 7.1.xクラスターではHBaseが動作せず、hbase.pb.AuthenticationService.GetAuthenticationTokenorg.apache.hadoop.hbase.HBaseIOException: com.google.protobuf.ServiceException: Error calling method hbase.pb.AuthenticationService.GetAuthenticationTokenというエラーが返される。 | CDP 7.1.xクラスターでHBaseを使用する際にKerberosを使う場合は、YARNクライアントモードではなく、YARNクラスターモードを使用することをお勧めします。 |
サブスクリプションベースであり、Big Dataを伴うTalendの全製品 |