解决方案 | 电信行业大数据平台解决方案，助力电信企业精准营销

随着国内通信技术的提升和电信业务量的不断扩大，电信行业发展日趋成熟，竞争愈发激烈。一方面，电信企业数量的增加使得客户可选余地增大，企业之间的竞争加剧；另一方面，运营商的一些营销策略尤其是“价格战”，导致大量忠诚度不高的客户转网或变更业务，使电信企业业务收入下滑、客户量增长缓慢，整个电信市场由此出现了“增量不增收”的现象。

此外，近几年，电信客户数的高速增长，形成了数量庞大、需求差异巨大的客户群，电信企业不仅要持续推出适用不同人群的各种新业务，还需要通过细分市场和客户群，将业务和客户进行精准匹配，即把最合适的业务推销给最需要的客户。

基于此背景，国内的电信运营商纷纷建立大数据平台，通过对公司日常经营数据的分析、挖掘，实现精细化业务管理，电信行业大数据平台解决方案应运而生。

什么是电信行业大数据平台？

电信行业大数据平台是国内电信运营商决策支持体系的核心系统，利用平台的数据分析能力为企业提供数据化运营服务，从而为企业经营提供决策支持。

大数据平台以数据仓库作为支撑，将业务系统分散的数据集中整合起来，对相关业务数据进行抽取、清洗、加工整理，进行企业级数据建模、元数据管理、数据质量控制，提供“统一口径”的数据信息，同时向其他业务系统提供分析的支撑服务。

大数据平台架构图

大数据平台架构如上图所示。从上到下，分为访问层、应用层、存储层和获取层，大数据平台的数据来自外部的数据源。

• 访问层：包括门户和个性化定制及一些辅助功能，门户包括交流平台、业务搜索、员工视图等，辅助功能如权限管理、用户管理、认证管理；

• 应用层：主要应用包括市场监控、渠道终端、增值服务、集团客户、客服管理、家客管理、营销工具以及其他应用，还包括商业智能核心平台（BICP），平台中的组件有：资源应用注册、组件节点管理、组件服务信息、服务权限控制和子系统维护；

• 存储层：是数据仓库和数据集市的集合，数据集市包括区县数据集市、地市数据集市和部门数据集市；

• 获取层：完成从数据源到经分系统的数据获取，包括文件互动接口处理、源数据ETL和一经接口文件处理；

• 数据源：包括客服热线、BOSS、网管、DSMP、彩铃平台、飞信平台、新业务体验平台等数据。

大数据平台对数据库有哪些需求？

统计分析报表

• 了解各项业务指标总体情况：根据数据获取不同部门、不同业务系统指标的总体情况；

• 了解各产品线运营情况：根据数据库存储的数据获取不同产品线的运营情况信息；

• 产品、业务运行信息展示：根据数据库存储的业务数据展示产品、业务系统的运行信息；

• 某产品功能上报数据统计：对于某产品的功能可实现数据上报统计。

即席查询

• 模糊条件查询：客户根据模糊条件进行查询，数据库根据客户的模糊条件给出相应的查询结果；

• 精确查询：客户进行精准查询，数据库快速根据查询条件给出精确的查询结果；

• 获取基础细节数据：用户能够通过查询获取部分业务系统的基础细节数据。

OLAP分析

• 分析业务指标之间的关联关系，通过多维度分析，辅助制定总体策略；

• 分析部门内部产品运营相关因素之间的关联关系，制定业务策略，为日常工作的展开提供支撑。

复杂查询

• 对于比较复杂的SQL语句，数据库能快速查询并展现查询结果。

万里数据库解决方案

支撑数据集市的数据存储及流转

大数据平台从客户热线、BOSS等系统中抽取数据，将数据给数据仓库，经过数据处理将计算结果存储到数据集市中，为后续的应用层业务系统提供数据服务。本方案建设的GreatDB集群主要用于数据集市的数据存储。

大数据平台信息流图

大数据平台中每个数据集市相当于一个前台库，GreatDB在大数据平台中建设一个或多个大集群，数据集市根据具体需求共用或独占集群。

数据表存储与分布

数据集市主要包含3类表：门户配置表、维度表和事实表。

• 所有门户配置表存放在一个数据分片中。

• 所有维度表作为全局表，通过复制分布到所有事实表节点上。

• 事实表数据则进行sharding存储，一张表分片均匀存储在所有事实表存储节点机器上，分片列考虑使用手机号字段、业务主键字段或自增字段。

关于数据清理：

• 日表是一天一张表，清理直接drop过期数据对应的日表；

• 月表是一月一张表，建议按月进行清理，即月表的整个月数据都过期后一次性drop整张月表，对于部分有按天清理需求的月表，考虑按天创建分区，按分区进行清理；

• 对于年表，建议按月创建分区，一次清理一个月的分区。

部署架构如下：

业务库集群部署架构图

集群的部署主要分为计算节点层和数据节点层：

• 计算节点对外负责提供数据库访问服务并暴露标准MySQL协议接口，对内负责集群的数据分布、执行调度、集群管理及保障集群高可靠。

• 数据节点负责集群数据存储，分维度数据和数据表数据。维度数据以全局表模式进行分布，部署在集群所有的数据节点上。数据表数据进行sharding拆分，均匀分布到集群所有分配的数据节点上。

SQL语句与数据库对象迁移

业务SQL的迁移改造需要应用开发方负责，万里数据库进行必要的SQL调优。业务表的迁移使用万里数据库自主研发的迁移同步工具GreatDTS。

万里数据库集群方案具备哪些优势？

标准的mysql通信协议

• 集群使用标准的mysql协议，无缝对接上下游组件；

• 应用程序开发友好，只需适配mysql的开发，学习成本低；

• 允许应用以标注的sql语句进行数据操作，大幅降低应用开发复杂度。

集群按需扩容

• 集群允许在线分组件按需扩容；

• 数据节点在线扩容满足数据量不断膨胀的存储需求；

• 计算节点在线扩容满足并发即席查询需求；

• 扩容过程对应用无感知。

适用并发负载和即席查询场景

• 基于行数据存储，支持高并发的数据即席查询需求。

GreatDB通过搭建大数据平台，建立起统一的信息门户和完整的信息视图，将业务系统分散的数据整合关联，加强数据时效性，提供有效深入的数据分析和服务。

大数据平台对来源于BOSS等多个系统的海量数据进行加工处理，为大数据平台系统使用者提供统计报表、OLAP分析、报表展现等功能，并通过对公司日常经营数据的分析、挖掘，为公司决策者和各级管理者提供经营决策依据，最终实现电信运营商整个行业的精准营销。