- Notifications
You must be signed in to change notification settings - Fork237
Support agile DataOps Based on Flink, DataX and Flink-CDC, Chunjun with Web-UI
License
datavane/tis
Folders and files
Name | Name | Last commit message | Last commit date | |
---|---|---|---|---|
Repository files navigation
TIS为您提供企业级数据集成服务,基于批(DataX),流(Flink-CDC、Chunjun)一体,提供简单易用的操作界面,降低用户实施端到端数据同步的实施门槛,缩短任务配置时间,避免配置过程中出错,使数据同步变得简单、有趣且容易上手详细介绍
如果您已经觉得利用DataX、Flink-CDC、SeaTunnel编写脚本来驱动执行端到端数据同步程序执行,是非常烦冗且容易出错的事儿。并因此感到些许厌倦,您可以尝试一下TIS,相信会给您带来不小的惊喜。
快速安装(支持私有云、公有云等环境),方便、快捷🟢单机🟣Docker🔵Docker Compose🟤K8S
https://github.com/datavane/tis/releases/tag/v4.1.0
历史发布: v4.0.1 发布(2024/10/19):https://github.com/datavane/tis/releases/tag/V4.0.1
🔨安装简单
TIS的安装还是和传统软件安装一样,只需要三个步骤:一、下载tar包,二、解压tar包,三、启动TIS。是的,就这么简单。另外还支持多种部署模式(Docker、Docker-Compose、Kubernetes)。
🚀强大的扩展性
TIS 继承了Jenkin 的设计思想,使用微前端技术,重新构建了一套前端框架,前端页面可以自动渲染。
TIS 提供了良好的扩展性和SPI机制,开发者可以很轻松地开发新的插件。
🔁支持各种Transformer算子
通过在TIS流程中设置Transformer功能逻辑,可实现在ETL数仓功能中,在E(数据抽取)阶段即可高效实现各种字段值转换功能,如:字段脱敏,字段拼接,取子字符串等功能。
😄易与大数据生态整合
支持与DolphinScheduler整合,用户只需在TIS中配置数据管道,验证无误后,一键推送同步表任务到DolphinScheduler平台,即可在其上完成数据同步任务调度。为以DolphinScheduler构建ETL数仓方案如虎添翼。
👌 基于 DataOps 理念
借鉴了 DataOps、DataPipeline 理念,对各各执行流程建模。不需要了解底层模块的实现原理,基本实现傻瓜化方式操作。
支持的读写组件详细
Reader | Writer |
---|---|
- 示例
- 视频示例
设置MySqlReader目标列设置Transformer逻辑。例如,将表中JSON内容的列分拆成多个字段json_splitter
添加ElasticWriter,可视化设置ElasticSearch的Schema Mapping
执行MySql->ElasticSearch DataX实例,运行状态
添加Flink-Cluster、设置重启策略、CheckPoint机制等
TIS基于数据库元数据信息自动生成Flink-SQL脚本,您没看错全部脚本自动生!
- WEB UIhttps://github.com/qlangtech/ng-tis
- 发版信息生成器https://github.com/qlangtech/tis-git-manager
- 基于Ansible的打包工具https://github.com/qlangtech/tis-ansible
- TIS 插件
- plugins
- tis-plugins-commercial
- SqlServer Connectorqlangtech/tis-sqlserver-plugin
- TIS 插件元数据生成工具https://github.com/qlangtech/update-center2
- DataXhttps://github.com/qlangtech/DataX
- Flink Extendhttps://github.com/qlangtech/flink
- Dolphinschedulerhttps://github.com/qlangtech/dolphinscheduler
- TIS 插件功能脚手架https://github.com/qlangtech/tis-archetype-plugin
- Chunjunhttps://github.com/qlangtech/chunjun
- TIS Docs Managerhttps://github.com/qlangtech/tis-doc
- 扩展Debeziumqlangtech/debezium
- 扩展Flink-CDCqlangtech/flink-cdc
- 部分插件参数配置参考 Airbytehttps://github.com/airbytehq/airbyte
- 架构思想参考https://github.com/jenkinsci/jenkins
https://tis.pub/docs/develop/compile-running/
TIS is under the Apache2 License. See theLICENSE file for details.
您在使用过程中对TIS有任何不满或者批评都请不惜斧正,您提出的宝贵意见是对我们最大的支持和鼓励,我要提建议
About
Support agile DataOps Based on Flink, DataX and Flink-CDC, Chunjun with Web-UI