解决方案 | GreatDB助力运营商历史库实现海量数据全生命周期管理

数字时代的发展使得电信运营商行业的业务系统产生大量的业务数据，且数据量随着时间的增长呈现指数级增长，历史数据的访问频率则随着时间的推移越来越低。

电信运营商行业原线上业务的大批数据要做历史数据库的归档业务，以防止业务数据库的持续增长带来业务访问性能瓶颈等问题。

此次建设的GreatDB分布式数据库集群不仅能满足迁移大批量历史数据，包括营业、账务、资源、结算、计费等各类历史数据的需求，万里数据库还提供迁移工具GreatDTS，将历史库从Oracle源数据同步迁移到GreatDB，实现数据的统一集中化管理。

运营商行业历史库对数据库有哪些需求？

• 灵活可扩展：运营商行业历史库对线上业务大量数据做归档处理，由于运营商每天都会产生大量的业务数据，导致历史库存储的数据量持续不断增长，要求数据库能够按需扩容节点，以满足不断增长的数据存储需求；

• 配备完善配套工具：运营商行业历史库以往大部分采用Oracle数据库，历史库迁移需从源多实例Oracle全量迁移到目标端数据库，按月从Oracle多实例数据同步到目标端数据库并按月备份。因此，要求配备完善的数据库配套工具，以便进行数据的迁移、同步、备份等工作；

• 高压缩比：历史库中存储着大量的数据，需要压缩以节省硬件成本，因此要求数据库拥有高压缩比的功能；

• 查询快速响应：历史库存储营业数据、账务、资源、计费数据等大量业务数据，即席的历史数据查询及为其他业务提供大批量数据抽取等业务都要求历史库查询快速响应。

GreatDB分布式集群解决方案

实现海量数据的全生命周期管理

针对运营商行业历史库场景，万里数据库制定如下解决方案：

图1 GreatDB分布式数据库集群解决方案

该方案主要具备以下优势特点：

• 数据迁移自动化：采用自主研发的数据库迁移工具GreatDTS，实现从Oracle源数据库到万里数据库的全量迁移。GreatDTS提供Oracle库表结构、数据到GreatDB灵活、便捷、高效的全自动迁移及Oracle数据库对象到GreatDB的半自动迁移；

• 实现全量多实例数据同步：采用自主研发的数据库同步工具GreatSync，实现全量或按月从Oracle多实例数据同步到GreatDB，并支持从GreatDB中少量数据同步到测试环境或生产环境Oracle中；

• 支持多种数据备份方式：逻辑备份支持mysqldump、mydumper、outfile导出，物理备份使用cds备份方式；

• 备份恢复灵活：单表恢复方法使用逻辑备份导入恢复，物理恢复方法支持停应用，物理迁移重做从库方法；

• 高压缩比数据存储：GreatDB提供高压缩比的存储引擎，减少数据量存储和资源投入；

• 全生命周期运维管理：提供自主研发的数据库运维管理工具GreatDB RDS，覆盖数据库的全生命周期运维管理，降低数据库管理难度。

大数据时代，业务系统中的海量数据给运营商行业在内的各行业企事业单位的生产经营及业务运转带来了巨大的挑战，如何合理地进行数据的统一存储、管理、分析与应用、最大化发挥数据价值成为企业亟需解决的问题。

运营商行业历史库储存着海量数据，且数据量持续增长。本项目采用GreatDB分布式数据库集群解决方案，提供自主研发的GreatDTS迁移工具，完成大量数据及异构数据库之间的迁移。万里数据库的shared-nothing分布式架构满足横向扩展的需求，使用GreatDB高压缩比例的存储引擎完成数据回档，减少数据量存储及资源投入，满足机器投入少、业务要求高、高性能且高并发的业务场景。

此外，万里数据库还提供统一的运维管理平台GreatDB RDS，实现数据库全生命周期的运维管理，降低数据库运维难度。

通过GreatDB分布式数据库、GreatDTS迁移工具、GreatDB RDS运维管理平台在内的GreatDB分布式集群整体解决方案，最终帮助运营商行业历史库实现整个业务系统中海量数据的全生命周期管理，成功破解数据集中化管理难题！