- Notifications
You must be signed in to change notification settings - Fork108
数据流引擎是一款面向数据集成、数据同步、数据交换、数据共享、任务配置、任务调度的底层数据驱动引擎。数据流引擎采用管执分离、多流层、插件库等体系应对大规模数据任务、数据高频上报、数据高频采集、异构数据兼容的实际数据问题。
License
risesoft-y9/DataFlow-Engine
Folders and files
| Name | Name | Last commit message | Last commit date | |
|---|---|---|---|---|
Repository files navigation
基于SpringBoot+Vue前后端分离的Java分布式国产纯净数据集成引擎
数据流引擎是一款面向数据集成、数据同步、数据交换、数据共享、任务配置、任务调度的底层数据驱动引擎。数据流引擎采用管执分离、多流层、插件库等体系应对大规模数据任务、数据高频上报、数据高频采集、异构数据兼容的实际数据问题。系统在线体验----->>>>>
common -- 公共模块 ├── risenet-y9boot-beta-api ├── risenet-y9boot-beta-client ├── risenet-y9boot-data-jdbc ├── risenet-y9boot-data-jdbc-commons ├── risenet-y9boot-data-common-toolstransfer -- 数据处理模块 ├── risenet-y9boot-data-transfer-base ├── risenet-y9boot-data-transfer-core ├── risenet-y9boot-data-transfer-data ├── risenet-y9boot-data-transfer-elastic ├── risenet-y9boot-data-transfer-rdbms ├── risenet-y9boot-data-transfer-ftp ├── risenet-y9boot-data-transfer-stream ├── risenet-y9boot-data-transfer-stream-local-file ├── risenet-y9boot-data-transfer-api ├── risenet-y9boot-data-transfer-assemblerrpc -- 远程过程调用模块 ├── risenet-y9boot-rpc-commons ├── risenet-y9boot-rpc-consumer ├── risenet-y9boot-rpc-providesupport -- 业务支撑模块├── risenet-y9boot-security-base ├── risenet-y9boot-support-api-online ├── risenet-y9boot-support-risedata-jpa-repository ├── risenet-y9boot-support-risedata-scheduler ├── risenet-y9boot-support-risedata-security ├── risenet-y9boot-support-y9kernel-securityvue -- 前端工程├── y9vue-dataFlowEngine -- 前端webapp -- 后端工程 ├── risenet-y9boot-webapp-risedata-executor -- 执行端 ├── risenet-y9boot-webapp-risedata-manager -- 管理端 ├── risenet-y9boot-webapp-risedata-log -- 日志端
数据流引擎分为管理端和执行端，管理端具备可视化界面面向用户操作，执行端无界面无状态
管理端主要负责对于执行端任务的配置和监控
执行端接收任务，数据从输入流至数据闸口，最终通过输出流推出
插件库是数据流引擎的重要核心，每个环节中使用哪些插件的灵活组合可以应对多种定制化复杂业务
管理端的功能主要为任务配置和、任务调度和插件库配置
执行端的每一个环节中均有不等的插件对数据任务进行处理
数据流引擎可以依赖数字底座进行使用，也可以单独进行使用
管理端可以平行部署，执行端可以根据业务分类和业务量进行大规模部署，从而提高数据流转效率
正式环境为保证安全，建议将数字底座与数据流引擎进行结合，用系统管理员账号进行管理端操作
数据流引擎支持容器化方式部署
数据流引擎单体在信创环境中，4核8GB的虚拟机可以轻松管理5000任务（需合理匹配多个执行端）
| 序号 | 依赖 | 版本 | 官网 |
|---|---|---|---|
| 1 | Spring Boot | 2.7.10 | 官网 |
| 2 | SpringDataJPA | 2.7.10 | 官网 |
| 3 | SpringDataRedis | 2.7.10 | 官网 |
| 4 | SpringCloud | 3.1.5 | 官网 |
| 5 | nacos | 2.2.1 | 官网 |
| 6 | druid | 1.2.16 | 官网 |
| 7 | Jackson | 2.13.5 | 官网 |
| 8 | javers | 6.13.0 | 官网 |
| 9 | lombok | 1.18.26 | 官网 |
| 10 | logback | 1.2.11 | 官网 |
| 序号 | 依赖 | 版本 | 官网 |
|---|---|---|---|
| 1 | vue | 3.3.2 | 官网 |
| 2 | vite2 | 2.9.13 | 官网 |
| 3 | vue-router | 4.0.13 | 官网 |
| 4 | pinia | 2.0.11 | 官网 |
| 5 | axios | 0.24.0 | 官网 |
| 6 | typescript | 4.5.4 | 官网 |
| 7 | core-js | 3.20.1 | 官网 |
| 8 | element-plus | 2.2.29 | 官网 |
| 9 | sass | 1.58.0 | 官网 |
| 10 | animate.css | 4.1.1 | 官网 |
| 11 | vxe-table | 4.3.5 | 官网 |
| 12 | echarts | 5.3.2 | 官网 |
| 13 | svgo | 1.3.2 | 官网 |
| 14 | lodash | 4.17.21 | 官网 |
| 序号 | 工具 | 版本 | 官网 |
|---|---|---|---|
| 1 | JDK | 11 | 官网 |
| 2 | Tomcat | 9.0+ | 官网 |
| 3 | Kafka | 2.6+ | 官网 |
| 4 | filezilla server | 1.7+ | 官网 |
| 序 号 | 源库 | 目标库 | 源库版本 |
|---|---|---|---|
| 1 | Mysql | Mysql、Oracle、PostgresQL、人大金仓、达梦 | 5.7.19以上 |
| 2 | Oracle | Mysql、Oracle、PostgresQL、人大金仓、达梦 | 11g-19c |
| 3 | PostgresQL | Mysql、Oracle、PostgresQL、人大金仓、达梦 | 9.5.25以上 |
| 4 | 人大金仓 | Mysql、Oracle、PostgresQL、人大金仓、达梦 | KingbaseES V8 |
| 5 | 达梦 | Mysql、Oracle、PostgresQL、人大金仓、达梦 | DM8 |
| 6 | ElasticSearch | ElasticSearch | 6.x以上 |
| 7 | FTP | FTP |
| 序号 | 类型 | 对象 |
|---|---|---|
| 1 | 浏览器 | 奇安信、火狐、谷歌、360等 |
| 2 | 插件 | 金山、永中、数科、福昕等 |
| 3 | 中间件 | 东方通、金蝶、宝兰德等 |
| 4 | 数据库 | 人大金仓、达梦、高斯等 |
| 5 | 操作系统 | 统信、麒麟、中科方德等 |
| 6 | 芯片 | ARM体系、MIPS体系、X86体系 |
| 序 号 | 特 点 名 称 | 特点描述 |
|---|---|---|
| 1 | 异构适配 | 支持多种结构化、半结构化、非结构化数据库或系统的插件兼容模式 |
| 2 | 切分模式 | 支持按照多种规则对接入的数据进行切片处理，便于提高采集效率 |
| 3 | 全量增量 | 支持全量数据同步，支持根据一定规则进行增量数据同步 |
| 4 | 脏数据处理 | 针对报错数据，支持以多种处理模式进行自动化处理和执行，同时支持脏数据的记录供后续手工处理 |
| 5 | 数据筛选 | 支持用户利用灵活的查询语句在同步过程中对数据进行筛选 |
| 6 | 数据转换 | 支持将源头表某字段数据转换成其他数据类型插入至目标表 |
| 7 | 数据脱敏 | 支持将某字段敏感数据按照一定规则脱敏后再进行处理和执行 |
| 8 | 数据加密 | 支持将批量数据按照选择的加密规则进行加密后再进行处理和执行 |
| 9 | 异字段转换 | 针对源头和目标的字段名称不同（含义一致），支持配置转换后插入 |
| 10 | 多线程 | 支持在线程池中配置多线程以增加执行端的效率 |
| 11 | 接口适配 | 支持源头和目标以约定的接口形式和数据结构进行接入和推出 |
| 12 | 任务终止 | 面对超时任务、卡死任务，支持在任务过程中人工中止，配合回滚补偿可使目标库恢复初始状态 |
| 13 | 回滚补偿 | 支持撰写插件利用数据库的回滚操作嵌入对目标库进行初始状态的恢复；支持将配置的已执行的日志记录在补充日志中，在异常后可在具体点位进行数据回滚恢复 |
| 14 | 数据水印 | 采用无损-伪列水印方法，支持推送数据至目标库里时给每条数据添加数据水印 |
| 15 | 任务编排 | 支持通过画流程的方式将多个任务按照编排要求去执行 |
| 16 | 多对一同步 | 支持将多张表的数据组合同步到一张表里 |
| 17 | 多对多同步 | 支持进行主表增量同步时，通过关联字段把关联的副表也同步 |
| 序 号 | 功 能 名 称 | 功能描述 |
|---|---|---|
| 1 | 输入流 | 在执行端中用于接入源头数据（生产方数据）的模块 |
| 2 | 输出流 | 在执行端中用于推出目标数据（消费方数据）的模块 |
| 3 | 输入线程池 | 在执行端中配置接入数据后的线程池 |
| 4 | 输出线程池 | 在执行端中配置推出数据前的线程池 |
| 5 | 输入通道 | 在执行端中用于处理接入的源头数据的通道 |
| 6 | 输出通道 | 在执行端中用于处理推出的目标数据的通道 |
| 7 | 数据闸口 | 在执行端中利用批处理、直流推送和限流推送等方式的中间缓冲层 |
| 8 | 插件库 | 集中存储和配置各类执行端需要部署插件的统一仓库 |
| 9 | 任务配置 | 在管理端中配置某任务执行时所需的详细配置项 |
| 10 | 任务调度 | 在管理端中对已经部署的任务和执行端进行调度 |
| 11 | 日志监控 | 在管理端中负责各个执行端的成功和失败日志的汇总查看 |
| 12 | 白名单管理 | 针对IP地址的白名单安全管控（执行端、源头和目标） |
| 13 | 模版导入 | 在管理端支持以Excel模板、SQL文件的方式定向进行数据采集和导入功能 |
| 14 | 数据源 | 支持对于多种主流和信创数据源进行配置和链接 |
| 15 | 库表管理 | 支持基于数据源的库表操作和映射管理 |
| 16 | 业务分类 | 支持先对任务的业务种类进行分类和归集 |
| 17 | 接口管理 | 支持对于接口的定制、配置、测试、调用、管理等功能 |
演示地址：https://demo.youshengyun.com/y9vue-dataFlowEngine/
演示账号：
账号：guest 密码：Risesoft@2024
 |  |
 |  |
 |  |
 |  |
 |  |
 |  |
| 序 号 | 项 目 名 称 | 项目介绍 | 地 址 |
|---|---|---|---|
| 1 | 数字底座 | 数字底座是一款面向大型政府、企业数字化转型，基于身份认证、组织架构、岗位职务、应用系统、资源角色等功能构建的统一且安全的管理支撑平台。数字底座基于三员管理模式，具备微服务、多租户、容器化和国产化，支持用户利用代码生成器快速构建自己的业务应用，同时可关联诸多成熟且好用的内部生态应用 | 码云GitHub |
联系人：曲经理
微信号：qq349416828
备注：开源产品咨询-姓名
座机号：010-86393151
About
数据流引擎是一款面向数据集成、数据同步、数据交换、数据共享、任务配置、任务调度的底层数据驱动引擎。数据流引擎采用管执分离、多流层、插件库等体系应对大规模数据任务、数据高频上报、数据高频采集、异构数据兼容的实际数据问题。
Topics
Resources
License
Uh oh!
There was an error while loading.Please reload this page.
Stars
Watchers
Forks
Uh oh!
There was an error while loading.Please reload this page.
Contributors6
Uh oh!
There was an error while loading.Please reload this page.