产业分布式技术变革乘风破浪,数据库国产化巨

站长资源 2021-07-06 22:49www.dzhlxh.cnseo优化

近日,在2020中国系统架构师大会上,腾讯云数据库技术负责人雷海林围绕腾讯云数据库异构多源同步迁移技术方案进行了分享。“数据库未来一定是向分布式方向发展,数据库核动力升级的时代即将到来。”雷海林表示。

国产化巨浪加速

从计算机出现开始,在各行各业的电子化发展过程中,传统关系型数据库都发挥着至关重要的作用,成为银行、保险、证券、政务、医疗等各行业电子系统的核心基础软件系统。

而随着云计算、数字互联网等新一代技术变迁,近年来关系型数据库也随之发生变革,形成了从以国外商业数据库为代表的传统集中式数据库,向以国内科技巨头研发沉淀的分布式数据库转变的趋势浪潮,以实现全行业技术的分布式转型升级。国外传统集中式数据库,性能瓶颈明显、成本消耗巨大,而基于云计算时代的弹性可扩展分布式数据库,具备高性能低成本、弹性伸缩等优势。从集中式向分布式迁移,好比柴油动力终将为核动力所替换。

对于国内产业机构而言,实现核心技术安全可控、降本增效也成为了产业升级下刻不容缓需要实施变革的问题。随着近年来相关政府监管部门连续出台重要指导政策,企业数据库摆脱国外数据库依赖、从国外传统集中式数据库向基于国产分布式数据库迁移上云成为大势所趋。国际权威咨询机构Gartner在最新数据库行业研究报告中指出,预计到2021年,云数据库在整个数据库市场中的占比将首次达到50%;而到2023年,75%的数据库要跑在云平台之上。

然而,由于数据库关系数据安全命脉、迁移成本以及技术复杂程度高、新目标数据库难以选型等问题,过去企业数据库国产化进程仍处于逐步探索、推进过程中。腾讯云数据库基于近年来大量丰富的数据库迁移实践,一方面沉淀了完善的云计算分布式数据库产品系列,可适应广泛的企业数据库迁移转型需求,同时沉淀打造出标准成熟、可验证可复用的数据库迁移解决方案——多源异构迁移同步解决方案DBbridge,并将其打造成平台型能力,助力客户实现数据库平稳快速迁移,大幅降低数据库迁移改造成本。

在这样的基础上,行业分布式技术转型乘风破浪,数据库国产化浪潮正加速推进,成为时代技术变革的重要推动。据统计,经过数年的发展,随着数据库底层能力的升级以及智能调度、智能诊断、异构迁移同步等周边能力完善,截至2020年9月,腾讯云数据库服务客户数已经超50万,其中还不乏拥有超过1万个数据库实例的客户的存在,充分证明腾讯云数据库系列产品能力以及数据库迁移同步等服务能力具备领先优势。

数据库迁移的痛点

数据库负责所有业务系统的数据存储计算与交易,牵一发而动全一身。同时由于多年来基于生态封闭的传统国外数据库产品,系统兼容性程度复杂。更重要的是,作为系统架构转型的关键支点,数据库迁移一方面可实现安全可控,另一方面是需要帮助企业考虑如何应对在云计算时代未来业务和系统的数字化、多元化发展需求,因此数据库的选型同样至关重要。

由此种种,企业数据库分布式转型、国产化迁移过程中,面临多个痛点。总结起来包括:

l迁移成本高,工作量大。人工操作数据库迁移风险较高,迁移周期长,耗费的人力成本较高。

l数据库迁移技术复杂。数据库迁移对操作人员的技术水平要求较高,不仅需要掌握源数据库的技术还有懂得目的数据库的技术,并了解数据库之间迁移技术。

l异构数据库的兼容程度不好评估。源库迁移到目的数据库的对象兼容程度如何,应用SQL兼容程度如何,迁移改造的风险和难度如何量化评估。

l迁移过程无标准化流程。整个迁移过程复用程度低,没有一个标准化的最佳实践方案。

l目标数据库选型困难。国产数据库类型较多,无法快速选择适合业务场景的数据库类型。

数据库更新迭代也容易

在对外开放核心技术产品,推动行业数据库及系统技术架构转型升级的产业化实践中,腾讯云数据库基于腾讯联合生态内多年数据库运维和工程师研发经验的技术积累,将海量实例的数据迁移同步经验与技术实践沉淀成DTS-DBbridge数据库迁移平台,为行业提供简单易用的数据库迁移平台。

具体来说,DTS-DBbridge数据库迁移平台以腾讯云数据库多源异构数据迁移同步(MULTISRCSYNC)为技术核心,包含强大的自动化评估和改造工具、标准化的异构数据库迁移流程方案等,从评估、选型、改造、迁移、校验等每个环节,用户都只需通过鼠标即可完成可视化操作,即可以实现高性能、高可用、高可靠的数据库迁移,真正做到便捷、安全、易运维。

同时,腾讯云提供自研的多引擎云原生数据库CynoSDB、金融级分布式数据库CynoSDB(TDSQL)和分析型数据库CynoSDB(Tbase)等完善的数据库产品体系,可满足云计算时代行业对数据库的多种业务场景需求,为企业客户提供完整的数据库迁移改造解决方案。

DTS-DBbridge解决方案架构

数据库迁移评估与决策

数据库迁移前,DTS-DBbridge平台首先将基于对原数据库的数据分析,并结合企业实际业务规划,进行包括兼容性、复杂度、工作量、迁移耗时等模块数百个指标在内的可行性与最佳方案综合评估,最终产生详尽的迁移报告,以及针对每个企业的技术与业务规划特点,输出个性化数据库整体解决方案。

在评估过程中,例如针对兼容性的评估,可精细化扫描识别哪些兼容、哪些不兼容,不兼容点将根据客户要求评估并形成改造方案。

数据迁移准备与实施

完成评估与决策后,可基于DBbridge实施应用系统与源端数据库,向目标端系统与数据库进行迁移改造。

除了数据库转型升级的场景需求,事实上,为实现数据解耦及汇总的需求,企业日常同时存在基于数据迁移、分发、容灾备份等诉求而进行多源异构迁移。针对以上场景,腾讯云数据库DBbridge具备高性能、高一致、支持多种异构数据平台的数据分发的特性,其支持以腾讯云数据库作为源端的数据实时同步分发至 MySQL、Oracle、PostgreSQL、消息队列等平台,同时也支持以腾讯云数据库作为目标端,将 MySQL或者 Oracle的数据实时同步至腾讯云数据库中,并且部署灵活,支持一对多,多对一等多种复制拓扑结构。

多源同步模块典型的基于日志的 CDC复制技术,其系统架构如下:

同时,基于高度标准化、平台化的产品服务,DBbridge支持用户可视化便捷操作,完成多源异构数据库之间的结构迁移、增量同步。

结构迁移流程动图

此外,腾讯云数据库提供完善的服务保障,整体迁移方案采取平稳过渡,在服务交割迁移中,将采取原应用系统和新应用系统并行跑一段时间的措施,测试新应用系统没有问题后,做正式的服务交割。

数据库迁移自动化校验

Copyright © 2016-2025 www.dzhlxh.cn 金源码 版权所有 Power by

网站模板下载|网络推广|微博营销|seo优化|视频营销|网络营销|微信营销|网站建设|织梦模板|小程序模板