中小银行文件共享需求GPFS迁移华为企业NAS实践分享

字数 3302阅读 4461评论 4赞 8

# 文章摘要
本文介绍了文件共享需求场景下中小银行由GPFS迁移华为企业级NAS的实践经验。GPFS作为金融企业广泛采用的文件共享解决方案，数年来很好地支撑了某城商行业务的发展。但由于虚拟化环境部署的特殊性，以及GPFS维护管理相对的复杂性，行内决定以华为企业级NAS替换GPFS，华为企业级NAS提供了业界领先的NAS三层双活方案，为满足文件共享需求已经在多个同业机构中实现了GPFS迁移NAS成功参考。本文将围绕GPFS在行内应用的实际情况的和华为NAS技术的先进性讨论中小规模银行在文件共享领域从GPFS迁移企业级NAS实践路径和思考。

# 1背景
我行多套业务系统应用服务器集群存在应用节点之间文件共享需求，IBM的GPFS技术相对成熟而且同业广泛的实践均反馈良好，因此行方采用基于虚拟化平台搭建GPFS并行文件系统来实现应用集群共享文件需求。GPFS在行内部署数年来很好支撑了相关业务发展，但是由于我行在虚拟化环境部署GPFS存在的特殊性，以及GPFS维护管理相对的复杂性，特别是2021年行内投产了华为OceanStor Dorado 18500 V6 SAN/NAS一体化双活的高端存储，行内萌生了用NAS替换GPFS的想法，本文将围绕GPFS在行内应用的实际情况的和华为NAS技术的先进性展开讨论中小规模银行在文件共享领域从GPFS迁移企业级NAS实践路径和思考。

# 2 GPFS行内应用现状
![](/home/attachment/202211/30/340341_166980081997691.png)

行内服务器虚拟化已经成为主流的计算资源，在虚拟化平台上部署的应用集群节点间构建GPFS集群要满足以下条件：首先要在虚拟机之间共享虚拟磁盘。虚拟机要添加额外的scsi控制器管理共享的虚拟磁盘，在第一个虚拟机上首次添加并创建共享虚拟磁盘，在之后的虚拟机里添加现有磁盘找到上述磁盘，所有虚拟机打开多写入器功能。其次为保证GPFS并发文件系统数据的一致性要设置磁盘仲裁。行内部署的GPFS集群均为两节点的应用集群，“小”规模GPFS集群需要将一块共享磁盘设置成tie-breaker，以保证在一个节点故障的情况下，存活的节点能继续提供服务。

相对于在物理机环境搭建GPFS集群虚拟化平台一定程度简化了组网复杂性，但是也正是在虚拟化平台上应用的特殊性带来运维上的一些痛点：首先是添加了共享虚拟磁盘的虚拟机不能像常规的虚拟机一样执行在线存储迁移，当存放共享虚拟磁盘的存储器使用率较高时，需要安排停机窗口迁移虚机到容量更大的存储器上。共享虚拟磁盘的虚机不能制作快照这导致虚拟机不能备份，每次应用发版同样需要安排停机执行备份。其次GPFS日常运维管理也具有一定的复杂性，需要具备专业知识和经验的系统管理员专门维护，相对Linux常规文件系统管理门槛较高。第三，行内业务集群虽然存在文件共享需求，但是只限于并发读，并发写场景没有或极少。行内部署了GPFS并发文件系统的应用为信贷管理，二代证信和柜面无纸化，其中信贷管理共享信贷审批流程中的要件，二代证信存放查询的征信报告，无纸化存放的是电子凭证，这些类型的数据一经生成几乎不能被修改。GPFS的优势在于对于高并发写的支持，行内业务并不能充分利用起GPFS的特性。第四，由于行内GPFS部署时间较长，相关版本已经处于EOS状态，需要规划升级或者替换。基于以上考虑，行方做出NAS替换GPFS的规划。

# 3 NAS技术路线选型
![](/home/attachment/202211/30/340341_166980086772564.png)

金融企业面对文件共享需求场景通常有三个种选项，分别是企业级NAS、分布式NAS以及基于开源平台NAS。不同NAS技术在产品形态、产品冗余性高可用性、容灾能力以及成本上具有不同的表现，因此也各自有适用的场景，上表简要进行对比分析。我行计划将GPFS迁移出来，数据规模较小，业务重要性高，特别是随着行内应用级双活改造的推进，应用集群共享文件需求普遍存在，对性能和可靠性要求高，针对这类关键业务数据共享场景，我行计划选用华为SAN/NAS一体化双活高端存储存放。

# 4 华为企业级NAS三层双活架构
![NAS AA双活跨数据中心三层网络方案——基于BGP协议](/home/attachment/202211/30/340341_166980089163210.png)

我行部署的华为Dorado 18500 V6原本支持NAS二层双活架构，即两台阵列要在同一个二层网络，其主要的弊端是发生站点级灾难后二层网关要在灾备站点先恢复，存储切换要等网络就绪才能对外提供服务。在升级了6.1.3PH8版本后新增支持跨数据中心NAS三层双活的容灾功能，升级后跨数据中心三层网络的两台存储无法提供相同网段的物理IP，需要配置虚拟VIP给主机，让主机通过VIP访问NAS 业务。在存储内部实现VIP到实际三层物理IP（BGP LIF）跨网段路由，并将路由关系通过BGP协议上报给上层的路由器（我行环境三层交换机）。交换机需要配置BGP peer以接受存储上报的BGP路由信息。上图展示我行规划架构，具体双活切换的原理是：当生产站点可用时，实际承载VIP1的BGP LIF A0是联机的，同城站点对应的BGP LIF B0是待工作状态。主机指一条到VIP1的静态路由出端口指向其直联的交换机，此时生产交换机接收存储上报的路由信息，计算出到VIP1路由，主机最终通过VIP1访问到生产存储NAS；当生产站点发生灾难不可用，同城存储的BGP LIF B0由待工作状态转变成联机状态，VIP1切换到同城存储，同样同城存储通过BGP协议上报路由信息，同城交换机重新计算出到VIP1路由，此时主机不需要任何更改，不需要重新挂载文件系统，经历秒级的中断（存储切换的时间）即可继续访问NAS，中断的时间在NFS协议可接受的范围内（没有超过重传等待时间）。业务完全感受不到中断，真正做到了跨数据中心三层网络NAS双活。

华为企业级NAS在同城三层双活的基础上也支持两地三中心的异地容灾方案，支持从生产或同城将NAS数据复制到异地，实现NAS数据完备的保护。

华为企业级NAS具有先进的算法例如分布式架构文件系统，可以均衡分发目录，消除热点和瓶颈。前端配置10GE网卡，后端介质是NVME闪存，具有优异的性能。可以预见华为企业NAS不仅架构冗余以保障业务连续性，性能也完全可以满足行内业务需求。

# 5 GPFS迁移方案

GPFS存放的数据迁移华为企业NAS的步骤是清楚明确的。
1.      原有数据的备份。防止意外情况发生。
2.      从华为企业NAS分配相应大小的空间给主机，在主机层面挂载到临时目录，例如/temp。
3.      割接窗口前可以使用操作系统拷贝的命令将原先GPFS文件系统里的数据复制到临时目录下，也可以使用华为提供的数据迁移工具并发迁移存量数据。
4.      割接窗口开启，停止应用不再接受新的请求，确保文件不再更新。将最后一天最新的数据迁移到临时目录，然后卸载GPFS文件系统挂在点，将华为企业NAS挂载到上述生产的挂在点。至此完成数据的迁移。重新启动应用检查文件系统完成可用。
5.      观察一段时间，确认华为企业NAS准确可用，可以着手回收GPFS的空间，包括停止GPFS服务卸载软件包。

# 6、总结
本文介绍了文件共享需求场景下中小银行由GPFS迁移华为企业级NAS的实践经验。GPFS作为金融企业广泛采用的文件共享解决方案当前依然具有其独特优势点，例如支持数据库双活集群特别是DB2，其并行访问的文件系统可以满足高并发的写请求等。我行在使用华为企业级NAS存储替换GPFS后，不仅充分满足了业务中的文件共享需求，而且以其业界领先的NAS三层双活方案保障了业务的连续性，实现NAS数据完备的保护。期望我行的迁移替换过程能为有相同需求的同行带来参考。

文件共享 nas GPFS

著作权归作者所有

如果觉得我的文章对您有用，请点赞。您的支持将鼓励我继续创作！

添加新评论4 条评论

xiangxiang1999系统架构师北京某技术公司
2023-08-02 21:31

NAS三层双活，感谢分享

pandzdd系统运维工程师bank
2022-12-22 09:47

集中式NAS存储生态完善，在各大企业数据中心文件共享服务中占据很大比例。集中式NAS存储设备由机头和扩展柜组成，集成度高，部署和运维相对简单。从应用使用角度，当前主流集中式NAS的特性比较适合大量小文件存储的场景。GPFS的共享存储功能是构建在SAN存储之上，集群中的每台服务器需要接入SAN网络并分配SAN存储，再由上层GPFS软件进行并行访问功能的设计和控制。GPFS集群的运行维护涉及PC服务器、SAN存储和GPFS软件三方面。两者相对比发现，NAS后期运维较GPFS更简单，更高效。

nkj2021系统架构师某证券企业
2022-12-21 10:59

NAS存储拥有更低的时延、更高的性能、更好的可靠性，利用NAS存储构建业务系统间文件交互平台，显著提升了业务处理效率。特别是借助高端NAS存储设备构建同城双活架构，实现了重要业务系统对于文件存储的高可用需求。

JAGXU存储运维管理ZTZQ
2022-12-01 13:47

菊厂牛，业界标杆

Ctrl+Enter 发表

匿名评论

中小银行文件共享需求GPFS迁移华为企业NAS实践分享

添加新评论4 条评论

本文隶属于专栏

作者其他文章

相关文章

相关问题

相关资料