探索金融级数据库的发展前景
2022.12.23长期以来,金融级数据库市场一直被Oracle、IBM DB2、微软SQLServer等传统关系数据库所垄断。经过几十年的发展和迭代,传统的关系数据库已经无法满足新金融技术发展的需要。所以用新的分布式数据库取代传统架构是金融级数据库市场的主流趋势。
新型分布式数据库的出现,旨在打破传统的数据管理体系,统一管理和维护跨业务、多类型的数据,从数据层面将企业内部各部门与业务线进行整合。
为了实现这一目标,新的金融级数据库需要从分布式架构、多模式数据管理、标准化数据访问、数据可靠性和混合负载等角度重新定义传统的数据库架构。
分布式体系结构
随着金融科技的互联网化,传统的数据库架构已经无法承受海量数据的爆炸式增长。同时,随着互联网渠道的大规模引入,金融科技的应用对数据库的并发和性能产生了新的要求。
由于传统数据库的单点架构无法满足新的金融科技应用对数据量和并发的需求,新一代金融级数据库必须采用分布式架构来应对这样的挑战。
在传统的数据库架构中,企业必须不断增强单个硬件设备的处理性能,以提高数据库的存储和处理能力。然而,在信息爆炸的今天,硬件性能的提升远远落后于数据的增长。因此,新数据库采用分布式架构,将海量数据均匀存储在多个物理设备中,避免单个设备造成的瓶颈。
同时,分布式数据库的灵活扩展能力为金融业务的增长提供了灵活的容量和性能支持,在大规模数据应用中具有明显的技术优势。
此外,使用PC服务器或云环境,新的分布式数据库可以在保证安全性和可靠性的前提下,有效降低TCO,提高开发和运营效率。
多模式数据管理
如今,随着金融业务的“互联网化”和“零售化”趋势,金融机构开始为用户提供更加个性化和定制化的产品和服务。同时,随着各业务系统复杂度的提高,系统之间的相关性也在增加。因此,应用系统对数据存储管理提出了新的标准和要求。
一直以来,传统的关系数据库只支持表单类型的结构化数据的存储和访问,而对于管理层次对象、图片、图像等半结构化和非结构化数据却无能为力。
为了实现金融业务数据的统一管理和数据融合,新数据库需要多模型数据管理和存储能力,以满足应用程序对结构化、半结构化和非结构化数据的管理需求。
一般来说,结构化数据是指表单类型的数据存储结构,典型应用包括核心银行交易等传统业务。半结构化数据广泛应用于用户画像、物联网设备日志采集、应用点击流分析等场景;非结构化数据对应着大量的图片、视频和文档处理服务,这些数据随着金融科技的发展而快速增长。
多模式数据管理能力使金融级数据库能够统一存储和管理跨部门、跨业务的数据,实现多业务数据集成,支持多样化的金融服务。
标准化数据访问
在传统数据库中,SQL几乎是访问数据库的唯一途径。随着业务多元化的发展,非结构化和半结构化数据在金融科技应用中的比重越来越大。因此,新的分布式数据库不仅需要为结构化数据提供标准的SQL语言支持,还需要为半结构化和非结构化数据提供JSON和对象存储管理等访问能力。
标准化的数据访问能力不仅满足了各类数据管理的需求,也有效地提高了企业的开发和运维效率。因此,金融级数据库作为新金融科技架构的中枢,需要为应用提供标准化的数据访问能力。
数据安全
随着企业内在价值的不断提升,数据已经成为金融企业的生命线和核心资产。作为承载企业关键数据的数据库,其安全性、可靠性和稳定性一直是金融级数据库的核心价值观。
与此同时,无论是在国内还是海外,金融行业的数据安全已经成为监管机构的首要要求。例如,银行核心系统的安全一直是中国银监会的重点,大多数银行数据中心已经具备高可用性和“两地三中心”的能力。
然而,在分布式体系结构中完美实现高可用性和容灾性面临着许多技术挑战。一般来说,以统计分析为目的的分布式数据库弱化了这部分的功能,而面向网上和交易业务的分布式数据库对数据安全保持着高标准和严格的要求。
混合负载
随着业务的多样化和数据的集成化,不同的业务对数据管理有不同的功能需求。由于传统数据库单一的数据存储和访问方式,用户通常将应用分为在线业务和离线业务。
网上业务一般指面向最终用户的业务系统,如银行的核心交易系统。一般来说,这类系统需要满足高并发、低延迟、高可靠性的特点。对应的线下业务侧重于批量作业。这类服务一般具有高吞吐量、低并发、高延迟的特点。
随着金融科技业务的不断发展和融合,各业务条线的数据需求不再完全独立。在这种趋势下,金融级数据库需要同时支持线上线下服务的混合负载。
根据Gartner的最新定义,HTAP混合事务/分析处理不仅保留了原有的在线事务功能,还强调了数据库原生计算和分析的能力。支持混合负载的数据库可以避免传统架构中在线和离线数据库之间的大量数据交互,还可以对最新的业务数据进行实时统计分析。
为了避免在线实时读写与批处理作业之间的资源干扰,混载数据库通常采用读写分离或内存处理技术来实现。一般来说,分布式数据库的多副本架构天然支持读写分离技术,而基于传统架构的数据库往往是通过内存处理技术实现的。
中国发展金融级数据库
长期以来,金融行业占据了所有企业IT投资的50%以上。在几十年的业务发展和强监管的要求下,金融机构普遍对数据库的安全性、可靠性和稳定性有着全行业最严格的要求。因此,符合金融行业需求的金融级数据库产品成为了所有行业中的标杆。
与此同时,中国商业银行的用户数量已位居世界前列。随着中国经济的快速发展,以及普惠金融、汇银等业务和政策的推动,中国商业银行业务正在不断向“互联网”和“零售”转型。这使得银行与终端用户的距离更近,互动频率更多,业务场景更多样。这些新的需求加速了中国金融和银行业的技术变革,在各种技术和商业模式上一直走在世界前列。
另一方面,数据库产品的开发和成熟周期长。一般来说,一个在金融行业大规模使用的数据库产品,需要在技术、产品、工程、售后支持、行业经验等方面长时间的积累才能逐渐成熟。
另外,与应用软件不同,通用数据库产品作为基础软件,要满足各类客户中的各类业务需求,而不仅仅是服务于单一的特定场景。这就需要数据库厂商牢牢把握产品的核心代码和发展方向,这样才能快速响应客户的需求,保证高度的产品化和标准化。同时金融级数据库产品的头部行业,如银行、证券、保险等。,对产品的质量和稳定性要求很高,这使得用户对金融级数据库产品的复杂度和成熟度提出了更高的要求。