tHiveOutput
特定のHiveデータベースに接続し、受け取ったデータを特定のHiveテーブルまたはHDFSのディレクトリーに書き込みます。
Hive側でACIDが有効になっている場合、Sparkジョブはテーブルを削除またはアップデートできず、データが圧縮されない限り、このジョブはHiveテーブルから集計データを正しく読み取ることができません。これは、Sparkバグ追跡システムで説明されている既知の制限https://issues.apache.org/jira/browse/SPARK-15348 (英語のみ)です。
Talendでサポートされているテクノロジーの詳細は、Talendコンポーネントを参照してください。
使用しているTalend製品に応じて、このコンポーネントは、次のジョブのフレームワークの1つ、一部、またはすべてで使用できます。
-
Spark Batch:Apache Spark BatchのtHiveOutputプロパティをご覧ください。
このフレームワーク内のコンポーネントは、ビッグデータ対応のTalend 製品すべて、およびTalend Data Fabricで使用できます。
-
Spark Streaming:Apache Spark StreamingのtHiveOutputプロパティをご覧ください。
このコンポーネントは、Talend Real Time Big Data PlatformおよびTalend Data Fabricで利用できます。