其功能主要针对数据集成场景设计,高度利用集成对象的优势,通过可视化配置就可以完成一个简单的数据集成任务,支持数据库表的全增量同步、实时数据的集成、api接口的集成、本地文件上传三种方式。

1、集成方案

   1.1、数据集成-库表集成方案:

   基于数据源和元数据信息确定数据库表的查询sql和jdbc驱动,配置元数据和主数据的表和字段映射,再配置调度策略,保存时基于sql、数据源类型从nifi中选择分页模版生成集成任务,再依据字段映射和默认值修改模版的映射和转换。

 

   

1.2、数据集成-实时集成方案:

  配置kafka的地址和topic,监听返回数据后和主数据的表和字段映射,保存时从nifi中选择kafka模版生成任务,再依据字段映射和默认值修改模版的映射和转换。

   

1.3、数据集成-api集成方案:

  配置api的地址、用户名密码和需要的参数,测试连接获取数据后和主数据的表和字段映射,再配置调度策略,保存时从nifi中选择API分页模版生成任务,再依据字段映射和默认值修改模版的映射和转换。

  1.4、数据集成-文件集成方案:

  先从本地上传文件到服务器,依据文件类型解析文件的字段再和主数据的表和字段映射,保存时不生成任务,任务启动时解析服务器的文件同步数据到平台。

2、集成任务管理

  任务支持启动、停止、修改、删除

  启动、停止会同步调用nifi的任务组启动和停止

  修改会在nifi中删除旧的任务并新增一个新的任务

  删除会异步删除nifi的任务