Talend Big Data Platform 的功能架构
Talend Big Data Platform 功能架构是确定 Talend Big Data Platform 功能、交互和相应 IT 需求的一种架构模型。总体架构已通过功能块中孤立的具体功能进行描述。
下图展示主要的架构功能块。
功能块分为不同类型,包括:
- 从 Talend Studio,您可以设计和启动利用 Hadoop 集群处理大型数据集的 Big Data 作业。启动后,这些作业会被发送到此 Hadoop 集群并在其中部署和执行。
您还可以从 Studio 使用预定义的模式和指标来分析存储在不同数据源中的数据,浏览和查询分析结果以及移除损坏、不完整或不准确的数据。
- 独立于 Talend 系统的 Hadoop 集群,用于处理大型数据集。
- 安装在 Hadoop 集群内部或外部的 Talend JobServer 或 Runtime,用于部署和执行作业。
对于 Hortonworks 集群,建议在 EDGE 节点计算机中安装 JobServer 或 Runtime,以避免潜在的防火墙和访问权限问题。
对于 Amazon EMR 集群,同样建议在集群中安装 JobServer 或 Runtime。
- 您可以从 Talend DQ Portal 生成分析结果报告,并与其他业务用户共享。