走进四川电信 揭秘核心计费系统改造的背后

　　数据，已成为这个时代的基调。当我们因为数据带来新的机遇而喜不自胜的时候，也常常会不可避免地遇到一些随之而来的困扰。与如何更好地使用数据相比，数据的存储和管理是更棘手的问题所在。甚至说，我们能够发挥数据多大的潜力，在某种程度上取决于我们所具备的数据存储和管理能力的大小，存储架构起着近乎于决定性的作用。

　　前不久，笔者有幸来到了位于成都市贝森北路的中国电信成都枢纽中心，听四川电信资深技术专家胡杰，为我们详细讲述了四川电信核心计费系统改造背后的故事。

　　面临的挑战与瓶颈

　　胡杰在四川电信的企业信息化部工作，主要负责IT系统管理，据介绍，四川电信主要面临以下挑战：

　　1，数据快速膨胀，四川电信拥有7000万用户，每个月各种话单处理量在千亿级别，确切数据是在900亿到1000亿之间的话单量；

　　2，业务时效要求越来越高，1天之内完成整个系统出账；

　　3，I/O成最大瓶颈。

　　要知道，传统的运营商还是比较保守，他们对SSD还抱有一些疑议，对SSD可靠性会比较担忧，还是倾向于使用传统阵列，但是四川电信在这方面则比较开明，倾向用最简单、最能解决问题的技术，来解决面临的I/O瓶颈问题，因此四川电信的IT改造早就开始了。

　　据胡杰介绍，四川电信和英特尔合作是2014年开始，英特尔当时介绍了很多相关的SSD一些分布式存储的产品。

　　2014年，开始引入分布式存储和SSD，截止目前，四川电信的IT系统已经连续4年未采购集中存储；

　　2016年，开始对核心系统进行分布式存储改造；

　　2017年，开始对整个CRM的核心数据库全部做分布式+SSD存储改造；

　　2018年上半年，所有的计费帐务的核心系统数据库全部完成了分布式+SSD存储改造。因计费系统I/O要求最极端，在这个过程当中我们引入了英特尔傲腾。

　　对症下药找到存储挑战的解决之道

　　俗话说：好钢用在刀刃上，花钱花在裉节儿上。意思就是要切中要害，抓住最主要的环节。

　　很多人认为从集中式存储向分布式存储改造会存在很多风险，投资成本也会增加。但是为什么四川电信还要铤而走险呢？其实不然。在四川电信的实际测试中，发现集中式存储受架构限制，始终是存在一些瓶颈；当分布式存储加上SSD，可扩展性非常好，能解决目前面临的大部分I/O瓶颈。

　　胡杰表示，在改造之前，我们DBA每天绝大部分时间在处理数据库和IO有关的优化工作，为了一点点性能提升要付出很大精力。自从SSD分布式存储改造以后，我们DBA现在的压力非常小，除了一些异常故障的处理，基本上不去关心IO性能。有些人认为SSD成本可能比较高，但是我们看一个数据库高级DBA的人力成本，一天就是几千美金，再加上系统造成的系统故障的损失，SSD的价格就显得微不足道了。

　　为什么会引入傲腾？

　　胡杰表示，之所以选择傲腾是因为四川电信目前的计费数据库，每天是海量的写入，库的写入量，最极端的部分一张SSD一天会被擦写十遍，如果传统的SSD，可能是一年左右就会被报销(DWPD数据比较好一点应该是5左右)，但是如果用傲腾(DWPD30)以后，在整个生命周期当中我们不会再担心寿命问题。

　　其次，胡杰认为傲腾最大的优点就是高I/O的情况下，长期进行大数据量的写入后，傲腾依然能保持极其稳定的时延。因为大家知道NANDSSD有一个后台回收空间机制，如果是数据量特别巨大、频繁的写入，这个部分会看到过一段时间后台回收以后对性能的影响非常之大，我们目前已经遇到普通SSD这种机制造成的系统宕机，傲腾SSD由于存储颗粒的革命性升级，，不存在这种回收机制，因此不会出现上述问题。

　　通过对比观察，在同一台机器上同时插傲腾和普通的SSD，傲腾的部分未出现过任何问题，出问题的部分始终是出现在传统的SSD那部分。而稳定则是企业用户最看重的，从傲腾其他数据，像带宽，IOPS，它和传统SSD来看并没有数量级的优势，但是在时延稳定性方面优势特别明显。

　　目标：实现完全去E，在性能上没有任何瓶颈，能够灵活满足多种业务需求

　　目前绝大部分运营商的数据库还是基于传统的集中式存储的架构。四川电信根据目前参考Oracle一体机的架构，使用RDMA+NVMe SSD的这种架构，在没有完成整个系统的分布式架构改造之前，解决数据库极高I/O的问题，是目前比较理想的架构。

　　目前四川电信在和英特尔合作当中，使用了NVMe over Fabrics，从目前来看对性能有40%到60%的提升，随着NVMe over Fabrics的成熟，四川电信还会大规模使用NVMe over Fabrics这种技术，对潜力进一步挖掘。

　　写在最后，笔者认为大数据时代，存储挑战不断出现，且愈发严峻。传统的应对挑战的方式固然稳定可靠，但正如大家在讨论中所传达出的那样，力求稳定是必要的，但绝不能固步自封。行业需要不断有新的技术、新的产品才能更好地应对未来挑战。对新的东西保持理性态度，同时又能不落窠臼、勇于尝试，也许就是一个合理的道路。

（编辑：厦门网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!