CloudCanal v5.3.0.0 发布,无惧海量表的数据实时迁移同步
栏目:广告资讯 发布时间:2025-11-28
CloudCanal免费社区版是由ClouGence公司自主研发的一款可视化、自动化的数据迁移与同步工具,集成了结构迁移、数据迁移、实时同步、数据校验和数据订正等核心能力。产品全面支持60+主流数据库及中间件,涵盖关系型数据库、实时数仓、消息队列、缓存系统和搜索引擎,其中包括国产主流系统如OceanBase、PolarDB、TiDB、StarRocks、Doris以及RocketMQ等。通过集成开源项目CloudCanalProcess,用户可轻松实现以下扩展功能:wide-

cloudcanal 免费社区版 是由 clougence 公司自主研发的一款可视化自动化的数据迁移与同步工具,集成了 结构迁移数据迁移实时同步数据校验数据订正 等核心能力。产品全面支持 60+ 主流数据库及中间件,涵盖关系型数据库、实时数仓、消息队列、缓存系统和搜索引擎,其中包括国产主流系统如 oceanbasepolardbtidbstarrocksdoris 以及 rocketmq 等。

通过集成开源项目 CloudCanalProcess,用户可轻松实现以下扩展功能:

  • wide-table:宽表处理插件,支持事实表与单维度表的自动组合构建
  • data-transform:通用数据转换插件,支持字段增减、操作类型变更、数据清洗与回填
  • data-gather:分库分表、跨地域或垂直拆分场景下的数据实时汇聚
  • data-compare:基于源端变化实现业务级数据对账
  • business-alert:根据数据波动趋势触发智能告警机制

CloudCanal 在功能上对标阿里云 DTS、Amazon DMS、StreamSets 和 AirByte,致力于帮助开发人员、DBA 及运维团队高效搭建稳定可靠的数据链路。

核心亮点

  • 支持 MySQL 到 MySQL/StarRocks/Doris/SelectDB/PostgreSQL 的表达式表名匹配,适用于超大规模表的批量迁移与同步
  • 新增 CloudCanal 控制台黑夜模式,提升夜间操作体验

新增链路支持

  • 开通 腾讯云 TDSQL MySQL → TDSQL MySQL 的全量同步、增量同步、数据校验、数据订正、结构迁移及 DDL 同步(包括加列、删列、modify、rename、truncate)

新功能上线

  • 支持 AWS RDS Oracle 的全量迁移与增量同步
  • Oracle/PostgreSQL/SQL Server 源端支持配置数据校验采样率(参数:checkSamplePercent),支持叠加过滤条件,暂不支持断点续传
  • 实现 MySQL → PostgreSQL 多 Schema 场景下的迁移与同步
  • TiDB 源端支持多个任务订阅同一张表,显著降低超大 Region 表拉取变更时出错的概率
  • 支持 MySQL/OceanBase for MySQL → OceanBase for MySQL 的 CHANGE COLUMN 类型 DDL 同步
  • 支持 MySQL → MySQL 场景下地理空间类型数据的同步
  • 支持在任务级别设置延迟告警 WebHook,便于对关键任务进行独立监控
  • 钉钉、飞书、企业微信告警支持 "@所有人" 功能,可通过 配置 > 个人偏好 > CloudCanal > imAlertAtAll 参数开启
  • 语音告警支持通过代理发送,满足全内网环境用户的使用需求
  • 支持将迁移同步节点上的任务日志和主机日志上传至 S3 或 OSS(通过 配置 > 个人偏好 设置存储信息),助力故障排查
  • 支持将任务参数导出为 Excel 文件保存,便于审计与问题追踪
  • 支持导出全量性能、增量性能及机器监控图表为图片
  • 支持修改订阅批量操作中黑名单的生效范围(已订阅表 / 新增表)
  • 支持将现有任务参数保存为模板,并在应用模板时预览内容
  • 提供开放 API 接口(/schema/listTransObjsByMeta),支持按源端和目标端库表信息查询相关任务

体验优化

  • 优化任务处于“删除中”状态时的操作限制,避免误操作
  • 优化任务参数模板的创建、查询与删除流程
  • 完善模板配置项的白名单规则管理
  • 改进创建任务时选择目标表的交互逻辑,提升易用性

缺陷修复

  • 修复 TiDB 源端增量同步时无符号 Decimal 类型解析异常的问题
  • 修复任务参数页面未展示待创建参数的问题
  • 修复未激活状态下提示文案错误的问题
  • 修复在搜索并手动勾选模式下修改映射规则或表名接口调用异常的问题
  • 修复消息源端创建任务最后一步界面显示异常的问题
  • 修复消息源端任务黑名单操作按钮未隐藏的问题
  • 修复消息对端数据库列表 action 过滤按钮未隐藏的问题
  • 修复 Kafka 测试连接时无法获取 Topic 列表的问题
  • 修复设置自定义主键后虚拟列影响汇聚逻辑主键生成的问题
  • 修复个人偏好中 IM 验证签名无效的问题
  • 修复修改邮箱、手机号、密码时报错信息未正确显示的问题
  • 修复异步操作(如创建、重跑、删除任务)失败后仍允许启动任务,导致状态机紊乱的问题
  • 修复创建任务时无法选择表的原因未正常提示的问题
  • 修复开启条件过滤下推后,“下一步/上一步”按钮状态缺失的问题
  • 修复 MySQL 获取最新位点后确定按钮不可点击的问题
  • 修复创建任务指定虚拟列时,若对端存在同名列会导致增量写入为空的问题
  • 修复达梦数据库因 DDL(ADD LOGIC LOG)解析错误引发结构快照异常的问题
  • 修复达梦源端数据过滤配置不生效的问题
  • 修复手动添加阿里云数据源时缺少实例 ID,导致自动建库、IP 白名单等依赖 OpenAPI 的功能失败的问题
  • 修复存量任务查看库表映射时,操作黑名单显示异常的问题
  • 修复超长单行日志导致浏览器卡死或崩溃的问题
  • 修复 MQ/Elasticsearch 对端修改订阅时新增库“确定”按钮无法点击的问题

免费下载与使用

  • 快速体验 SaaS 全托管服务:https://www./link/9d43928b9e007bf34b0d8eadb3d0393f

源码地址:点击下载


# 搜索引擎  # column  # table  # elasticsearch  # postgresql  # 数据库  # dba  # rocketmq  # oceanbase  # tidb  # https  # transform  # 自动化  # 链路  # 主键  # 多个  # 是由  # 适用于  # 并在  # 自定义  # 点击下载  # 可通过  # 飞书  # oracle  # excel  # js  # 微信  # 浏览器  # 企业微信  # 工具  # 腾讯  # 阿里云  # ai  # mysql  # stream  # 钉钉  # sql  # 中间件  # kafka  # for  # 接口  # 异步  # alert 


相关文章: 小米 MiMo 模型 API 公测限免时间延长 20 天,国内定价公布  全面升维!iQOO Z11 Turbo首度曝光,性能与影像双重突破  华硕官宣AM5 NEO系列全新主板!下月初登场  成者会议星发布会预热海报剧透AI会议机器人,企业提效再进一步  任天堂e商店新春促销12月26日开启 多款新旧大作在列  爷青回了!腾讯《QQ经典农场》手游过审  OpenAtom openKylin 2025年度报告 | 智启全球,根植未来  Spring Shell 4.0.0 GA  思特威发布高端5000万像素CMOS:SC525XS 28nm工艺  “情绪价值”才是消费驱动力  AI导盲神器问世!靠「额头震动」辩位 助视障朋友安全回家  Intel 18A工艺被指已有四大客户:AMD和NVIDA排除在外 原因很简单  配合热门剧集 《我的世界》推出怪奇物语联动DLC  都是超大巨无霸电池 荣耀Power2和一加Turbo 6你选哪款?  Qwen-Image-2512 正式开源发布:更真实的人物质感、更细腻的自然纹理、更复杂的文字渲染  梦幻西游十五门派全解析 从入门到精通的选择指南  曝小米17 Ultra徕卡版支持“双卫星通讯” 或有1TB版本  北京严查电动自行车非法改装,端掉 18 个“黑窝点”  传快手副总裁、基础大模型及推荐大模型负责人周国睿即将离职  20张发人深省的插画,深刻揭露了社会现实  腾讯混元开源 HY-Motion1.0,10 亿参数文生 3D 动作大模型  云南全面实施“人工智能+”行动计划  Fish Shell 4.3 正式发布 — 更强脚本支持与交互体验提升  闪极成为电影《流浪地球 3(上)》赞助商  小小梦魇团队新作《生灵重塑》新预告 2026年发售  软银完成对 OpenAI 的 225 亿美元追加投资  影之刃3女王套装冷却缩减终极指南:打造无缝技能循环  游戏加点与战斗策略终极优化指南  曝小米明年将推出eSIM旗舰手机 或命名为小米17 Air  姬小爻高端定制电脑:以定制与服务,成就你的专属信仰  遗迹三层地龙开荒指南:核心战术拆解  梦幻西游副本速通全攻略:从门槛到实战的全面指南  海尔专卖店2026年要进行四个变革  国产自研6nm GPU投入使用!砺算科技7G100完成首批订单交付  GNOME 2025 年度开发统计:C 仍是主力语言,Rust 在周边生态中增长明显  化槽点为卖点,这些品牌是懂吸睛的  刚铎之城降临!乐高×魔戒新作惊传破8千片积木 预计2026年现身  深耕电商圣地,共赴增长未来—玺越嘉承杭州分公司开业,助力电商企业破局  曝OPPO X9 Ultra或搭载发国产2亿像素OV52A 明年见  老人2G手机突然没信号 客服回应:2G信号已开始退网 需更换4G手机  信通院:11月国内手机出货微增 国产品牌表现承压  《异度装甲》知名编剧嵯峨空哉宣布封笔 重心转向家庭  滴滴回应“申请关爱公益救助得交钱”:涉嫌*,切勿轻信  智元发布 Act2Goal 方案:世界模型让机器人真正懂得如何达成目标  生可乐火了!品牌开始扎堆健康营销?  这下真是恋爱模拟了! 《米塔》同人作品《米塔:零》测试版发布  1500 公里远程指挥,银河航天完成卫星互联网无人机灭火试验  《银河战士Prime 4》开发耗时超预期 不可能再次重启  最近多款抗日游戏公布 是圈钱烂作还是国产精品?  椰树总部“极繁式”外观,火了 


相关栏目: 【 广告资讯37196 】 【 广告推广143353 】 【 广告优化89630