Talend Big Data 的功能架构
Talend Big Data 功能架构是确定 Talend Big Data 功能、交互和相应 IT 需求的一种架构模型。总体架构已通过功能块中孤立的具体功能进行描述。
下图展示主要的架构功能块。
功能块分为不同类型,包括:
- 从 Talend Studio,您可以设计和启动利用 Hadoop 集群处理大型数据集的 Big Data 作业。启动后,这些作业会被发送到此 Hadoop 集群并在其中部署和执行。
- 独立于 Talend 系统的 Hadoop 集群,用于处理大型数据集。
- 安装在 Hadoop 集群内部或外部的 Talend JobServer 或 Runtime,用于部署和执行作业。
对于 Hortonworks 集群,建议在 EDGE 节点计算机中安装 JobServer 或 Runtime,以避免潜在的防火墙和访问权限问题。
对于 Amazon EMR 集群,同样建议在集群中安装 JobServer 或 Runtime。