Abstract

TIS的v4.0.1版本终于要与大家见面了，v4.0.1在以下几方面进行了功能加强和升级。

发布汇报：https://www.bilibili.com/video/BV1rXC1YjECW

1. 添加Transformer功能：通过在TIS流程中设置Transformer功能逻辑，可实现在ETL数仓功能中，在E（数据抽取）阶段即可高效实现各种字段值转换功能，如：字段脱敏，字段拼接，取子字符串等功能。
2. 为了配合以上Transformer数据处理功能，当用户完成Transformer功能设置后，需要第一时间验证Transformer处理逻辑是否正确。基于此需求，TIS提供了数据ReView功能，可以在ReView数据页面直观查看数据表中真实的数据和被Transformer处理逻辑执行过的数据。
3. 丰富Hadoop/Hive生态支持力度，提供Cloudera版本的Hadoop/Hive实现插件支持。
4. 优化MongoDB数据源字段分析功能，由于MongoDB是Schemaless，一般以MongoDB作为数据源导入，需要手动为MongoDB 的Collection设置Schema，这是一件烦冗且容易出错的事儿。TIS提供了基于Collection中的存量数据自动分析对应的Schema结构，大大提高了MongoDB作为源的数据管道配置效率。
5. 增加数据管道、数据源的克隆功能。用户在业务系统中需要添加大量类似的配置源，例如：多个MySQL数据库，只是数据库名称不一样，其他：host、用户名、密码都一样，因此用户不想没个数据源都从新开始配置，只需配置一个数据源，其他数据库实例只需克隆该实例，然后改一下克隆出来的数据库实例的数据库名就行，从而提高了添加数据源实例的效率。
6. 为响应用户多次提出TIS与DolphinScheduler整合方案的需要，在版本提供了TIS与DolphinScheduler整合方案插件，事先在TIS中配置数据管道，验证无误后，通过在相应的配置插件页面，一键同步需要同步表任务到DolphinScheduler平台，即可在DS平台中事先轻松拉起数据同步任务，全程不需要编写一行配置代码。
   如果你在DolphinScheduler平台中，厌倦了烦冗枯燥且容易出错的DataX、SeaTunnel的JSON配置脚本编写。您可以尝试一下TIS新提供的与DolphinScheduler整合插件，一定会有惊喜。
7. 优化增量实时同步任务启动速度：当用户选择整库数据表同步任务执行，启动时间过慢。原因是有大量表执行启动任务时，需要针对每个表创建JDBC Connection实例，这样是非常耗时的。优化方案是，实现了Connection实例复用技术，大大加快了整库表同步增量任务启动速度。
8. 添加MariaDB的Source/Sink Connector连接器，支持MariaDB的批量读/写、实时增量读/写功能。
9. 单机版本设置多同步任务并发执行，为了充分挖掘单机版机器CPU并发执行的潜力，在TIS单机版部署模式下可以设置多个同步任务并发执行，可以大幅提高单机版数据同步的吞吐率。

Bug Fix

• flink 启动立即失败，报告无法分配足够slot资源#362
• 修改分表识别自定义规则没有生效#361
• 通过savepoint或者checkpoint恢复增量任务执行有误#356
• 达梦数据库最新版本有找不到表的情况#354
• psgql同步到doris由于数据类型为geometry导致错误#333
• MySQL创建增量通道到ES时，部署报错#332
• K8S 环境中利用Powerjob启动执行器，打开datax执行器报错#330
• 增量同步mysql到doris null值被转换成了\N#328
• mongo->mysql通道构建发生报错#326
• 使用Oracle作为流式管道Source当指定schema时存在错误#322

New Feature

• 优化TIS Flink实时增量通道启动速度#366
• aliyun ACK 测试flink-application模式增量通部署失败，须将TIS的JDK版本升级到JDK11#365
• Make flink-cdc for mysql source connector support tableName matcher with regex pattern#360
• DORIS date类型不能作为联合主键的第一个#359
• 数据源添加Mongodb数据库名称无法使用符号-#352
• 批量数据同步设置任务触发参数#347
• TIS 与 dolphinscheduler 整合方案实现#345
• Transformer中使用上下文绑定参数#342
• 实现数据预览#338
• MySQL版本:'10.5.21 使用哪种插件安装#337
• 由于用户的MySQL服务器在美国导致启动时候checkTimeZone出错#327
• Hive Haddop 增加Cloudera的版本支持#323
• 尝试在生产环境中使用NodePort 作为服务暴露的方式#321
• tis-k8s/src/main/filters/tis-console.yaml 中ConfigMap tis.host配置对应的Namespace冲突#320
• K8S中以ReplicationController发布的资源需要改造成为 deployment类型#319
• MariaDB数据库支持...#307
• 增加任务实例和数据源复制功能#303
• [feat]需要定义数据同步可自定义表列映射#225

Installation

• TIS Package安装说明
• TIS Flink Standalone Package安装说明
• TIS Zeppeline NoteBook Installation安装说明

Related Projects

• qlangtech/tis
• qlangtech/plugins
• qlangtech/ng-tis
• qlangtech/tis-archetype-plugin
• qlangtech/tis-ansible
• qlangtech/tis-git-manager
• qlangtech/update-center2
• qlangtech/DataX
• qlangtech/tis-git-manager
• qlangtech/flink
• qlangtech/chunjun
• qlangtech/tis-doc
• qlangtech/hudi
• qlangtech/zeppelin