Abstract

TIS的v4.1.0版本终于要与大家见面了，v4.1.0在以下几方面进行了功能加强和升级。

1. 扩展TIS生态，新增多个实时 CDC Connector，如SqlServer，MongoDB，Oracle，人大金仓KingBase，Kafka，PostgreSQL。
2. 支持源表列注释同步到目标表列，该功能在AI Chat-DB的场景中尤为重要。例如，用户将数据同步到 OLAP 库Doris中，Chat-DB需要依赖目标表的列注释来自动生成SQL，如用户手动同步会非常繁琐。
3. 为Doris 添加了多个实用的功能，支持Doris 同步目标表DDL自动生成参数化，如：用户可以指定副本数、分桶数，另外，用户可批量添加目标表前缀，如：“ods_”
4. 优化了Hive表导入、导出功能，增加了多种主流文件格式，如：Parquet、OCR、HFile，并且支持非分区表读取。
5. 为了繁荣TIS生态构建，实现TIS社区良性发展，引入众包协作机制，让第三方开发者与TIS的用户有效互动、相互协助，TIS实现社区协作机制https://tis.pub/community-collaboration
6. 去除了之前添加的Zeppelin Notebook相关功能模块，实际使用下来使用者寥寥，切会增大TIS发布包体积，因此在该版本中将其去除。

Bug Fix

• 由于flink 类更改导致序列化版本不一致错误，而客户端界面无法感知到错误#406
• 利用FTP将CSV文件导入doris 配置流程出错#404
• 4.0.1版本MySQL--> Doris，数据管道中的 Writer部分的 maxBatchSize 参数修改不生效#392
• 使用JSON Splitter拆分记录中的JSON字段内容出错#390
• 使用sqlserver2008创建数据源时，出现报错java.lang.RuntimeException: java.lang.NoClassDefFoundError: javax/xml/bind/DatatypeConverter#381
• MongoDB作为数据源不支持Transformer功能#371
• MongoDB 作为source源执行预览查看报错#370

Others

• mysql 主键不在第一行，增量导入doris会报错#400

New Feature

• 建议“数据管道添加“，支持批量修改StarRocks目标表名称，设置目标表属性，新增目标表字段。#410
• 人大金仓批量增量支持#408
• 删除Zeppelin Notebook相关功能模块#395
• SqlServer数据库需支持基于chunjun实时写connector#386
• PG增量复制需要源端Replica FULL，对源端性能影响严重#384
• mongoDB 基于flink-cdc的实时读Connector实现#375
• Oracle 基于logminer实时读 Connector 实现#374
• 增加建表列字段的comments信息#351
• Kafka 实现实时读#344
• SqlServer数据库需支持基于flink-cdc实时读connector#340
• 社区协作插件改造#317
• 【UI】Table DDL Script名称过长问题#305

Installation

• TIS Package安装说明
• TIS Flink Standalone Package安装说明
• TIS Zeppeline NoteBook Installation安装说明

Related Projects

• qlangtech/tis
• qlangtech/plugins
• qlangtech/tis-sqlserver-plugin
• qlangtech/tis-plugins-commercial
• qlangtech/ng-tis
• qlangtech/tis-archetype-plugin
• qlangtech/tis-ansible
• qlangtech/tis-git-manager
• qlangtech/update-center2
• qlangtech/DataX
• qlangtech/debezium
• qlangtech/flink-cdc
• qlangtech/flink
• qlangtech/chunjun
• qlangtech/dolphinscheduler
• qlangtech/tis-doc
• qlangtech/hudi