某城商行存储双活建设方案设计与实施经验分享

字数 7043阅读 5977评论 6赞 8

# 摘要：
本文主要介绍了某城商行基于华为OceanStor 18500F V5融合存储建设同城存储双活的实施方案，其中涵盖了当前现状背景与建设的必要性、双活建设原因、双活实施计划、双活实施过程以及双活搭建成功后的具体实践应用。希望能为同行带来一些参考。

# 一、项目背景与建设必要性
核心系统作为城商行日常业务办理的重要信息系统，对于存储系统的安全性、高效性、可靠性及可扩展性等都有较高的要求。随着我行业务规模逐步增长、互联网金融快速发展，在海量存储容量和高性能体验的需求下，我行需要建设高水平的存储架构来提升业务处理效率，改善客户体验，有效满足互联网背景下大容量、高并发的业务需要。因此希望通过新的存储架构建设来解决行内各应用系统数据的安全存储与低时延访问问题。

我行的核心系统始建于2006年，采用小型机P550+集中式存储DS4700的方式搭建部署。2013年我行完成了新数据中心建设工作，原旧数据中心规划建设为同城灾备中心。新数据中心于2014年投入使用，同城灾备中心于2015年投入使用。核心系统等重要业务系统硬件设备同步做了升级，采用P740+V7000的方式部署。两中心数据同步方式为灾备V7000远程复制数据中心V7000（如图一）。
![](/home/attachment/202201/05/1254821_164135337012506.png)
我行2015年建设的同城灾备中心，服务器采用冷备份方式运行，存储设备通过磁盘阵列间异步复制技术进行数据备份，且为手动同步的方式，RPO无法满足0~30分钟。两中心切换时，需通过人工干预的方式将关键业务系统切换至同城灾备机房，会产生短时间的业务中断。根据监管部门要求，结合《商业银行业务连续性监管指引》、《银行业信息系统灾难恢复管理规范》等指导意见，我行现有重要信息系统灾难等级恢复不满足5级，且重要信息系统灾备覆盖率没有达到100%，同城容灾升级建设迫在眉睫。

为了解决大容量、高并发的业务需要，同时达到信息系统灾难等级5级这个指标，实现重要信息系统灾备100%覆盖率，我行决定建设同城双活存储，为后续科技建设打好基础。

# 二、建设方案设计
为适应我行业务的快速增长，保障各信息系统安全稳定运行，提高容灾等级，增强市场竞争力。通过前期调研和需求分析，我行特制定IT三步发展规划，规划建设如下:

第一步—搭建双活存储、搭建分布式存储计算资源，加强本地高可用、实现核心等关键业务系统RPO=0。
第二步—对核心等重要系统进行升级改造，搭建dns服务，通过F5进行流量分发，实现关键业务RPO=0、RTO=0，进一步完善重要信息系统灾备覆盖率。
第三步—规划选址建设异地灾备中心，对关键业务系统进行数据异地备份，实现两地三中心模式。

## 2.1 实施计划
重点介绍第一步规划实施计划，鉴于核心系统、信贷系统架构老旧的原因，前期通过与同业交流学习，发现重新开发新一代核心系统成本过高。根据我行实际情况，结合现有核心系统架构，从底层存储方面整合传统的业务系统数据。此次改造涉及整合3台V7000的数据，将分散的数据进行集中存储。先实现存储双活，为将来两中心应用双活奠定基础。同时完成对关键业务系统的数据本地保护，保障各业务系统的本地高可用。

通过前期与同业交流和市场调研结果反馈，我行决定使用华为18000系列高端存储。此次我行采购了三台华为OceanStor 18500F V5融合存储，数据中心将两台命名为18500F-A和18500F-B，同城灾备中心一台命名为18500F-C，18500F-A和18500F-C之间通过博科S6520光纤交换机进行组网，两中心通过裸光纤进行数据同步。为了加强本地高可靠性，我行采购了CDP数据保护设备，以18500F-B作为后端存储，为核心等关键业务系统提供数据保护。实现传统架构业务系统数据在两个数据中心之间实时同步、数据零丢失。
![](/home/attachment/202201/05/1254821_164135339596807.png)

## 2.2 设备清单
![](/home/attachment/202201/05/1254821_164135347323787.png)

## 2.3 项目难点
(1)物理设施薄弱。我行原先使用的存储设备上架不规律，没有单独的存储区，存储上架位置是与部署信息系统的小型机上架位置相关联的。存储管理网络和生产网络共用交换机，没有做到物理隔离。为了此次实现存储双活，我行对现有生产中心基础物理设施进行了升级扩容，新增了6组机柜、1台精密空调、3组监控设备以及其他环控需要采集指标所使用的设备。同时对每组机柜进行了功能划分，新增的存储区按照规划将两台华为OceanStor 18500F V5 融合存储、两台CDP和两台S6520交换机以及后期数据迁移完成后利旧使用的V7000上架到这个区域。
![](/home/attachment/202201/05/1254821_164135350593293.png)

(2)项目跨度周期长。此次项目实施时间跨度超过6个月，第一阶段用时3个月，完成数据中心基础理环境升级扩容工作。第二阶段用时2个月，主要完成存储设备上架和调试工作，同步完成数据迁移准备工作。第三阶段是实施数据迁移工作，我们一共分两个时间点进行了数据迁移，第一个时间点完成了后台相关系统的数据迁移，第二时间点等到人行窗口期完成了核心、二代支付、渠道平台等重要业务系统的数据迁移工作，用时1个月。

(3)迁移准备工作繁琐。此次迁移共涉及34套业务系统，涉及到的小型机共16台，涉及到的数据库共8套，各小型机磁盘容量总计6.5T。一是需要对小型机重新进行综合布线，将HBA卡上其余的两个端口连接到S6520上;二是需要收集数据迁移磁盘的卷组名、PV名称、PV大小、逻辑卷和挂载点，规划目标磁盘PV与原PV建立对应关系，提前编写核对迁移命令;三是需要与各个业务部门沟通确定系统迁移时间和协调业务人员做好验证工作；四是需要向监管部门报送数据迁移相关资料。

## 2.4 风险控制
为加强项目组织、人员、要素管理，提高项目风险控制意识，我行成立了IT基础一阶段规划建设项目小组，明确项目负责人，制定了项目突发事件的应急处理预案，完善了项目实施过程中的不可控因素管理，确保项目安全、稳定、合理、有序的推进。对项目全生命周期进行风险控制，从安全设计评审、日常咨询和安全培训方面对项目进行风险控制。

# 三、双活建设

## 3.1.华为HyperMetro概述
华为HyperMetro是基于存储阵列实现的Active双活，两套独立存储组建成跨站点集群，可以同时承担相同业务，为客户提供高可靠性数据保护方案。双活特性实现了两套存储的LUN数据实时同步，且都能提供主机读写访问。两个数据中心互为备份，当任何一端存储系统出现故障，主机将切换业务到正常的存储系统继续进行业务访问。当存储系统间链路故障，只有一端存储系统能继续提供主机读写访问时，具体由哪端存储系统提供服务，将取决于仲裁服务器仲裁的结果。华为HyperMetro在提供给用户高级别的数据可靠性以及业务连续性的同时，提高存储系统的资源利用率。

## 3.2.双活组网
![](/home/attachment/202201/05/1254821_164135353317145.png)
## 3.3 双活方案概述
此次建设采用光纤链路组网，有效的保证了链路的的带宽及延时。仲裁方案采用仲裁服务器模式，该模式下先由数据中心的存储系统间的心跳来判断存储系统是否正常工作，一旦出现任一数据中心整体故障或中间链路故障时，仲裁服务器发起仲裁，仲裁获胜的一方继续提供服务，仲裁失败方停止服务，优先站点具有仲裁优先权。

仲裁网络组网方式和服务器配置要求如下：
![](/home/attachment/202201/05/1254821_164135356264980.png)
![](/home/attachment/202201/05/1254821_164135357499002.png)

## 3.4 双活域创建流程

**3.4.1添加远端设备**
(1)登录18500F-A，确保18500F-A与18500F-C连通。
(2)增加远端设备，选择复制类型的远端设备18500F-C，并选择链路类型为FC。

注意：因为限制，“远端设备间链路数规格限制：一个控制器到远端设备的链路数不超过2条，所以两边都是双控的场景下，远端设备的链路最大规格为4条”，所以在标准双交换组网时，基于该限制，从性能角度（当18500F-A的A控到对端A/B都有链路时，IO会均匀分摊到多条链路上，在18500F-C上形成IO转发）出发，建议平行组网，即18500F-A的A控与18500F-C的A控连通，即18500F-A的B控与18500F-C的B控连通。

**3.4.2 创建仲裁服务器**
(1)在主端阵列18500F-A创建仲裁服务器，输入仲裁服务器的基本信息，输入仲裁服务器与主从阵列通信的两个网段的IP地址和端口。设置主端阵列到仲裁服务器的仲裁通信链路。
(2)在从端阵列18500F-C上按照上述流程操作。

**3.4.3 创建双活域**
输入双活域的基本信息，增加远端设备，选择仲裁服务器。

注意：双活域只需要在一台存储上创建，会自动同步到远端存储上。建议配置双活的两台存储的版本一致。主从阵列的DiskDomain、Storagepool、LUN归属控制器等配置可以不同，从性能角度考虑，推荐配置完全一样；LUN容量、数量要求一致。

**3.4.4 配置双活主从端阵列LUN**
确认主端阵列LUN配置，在从端阵列创建跟主端阵列相同数量和容量LUN。

注意：双活并没有LUN归属控制器一致的限制，但是推荐双活Pair中两个LUN的归属控制器一致，这样可以避免IO走镜像链路，提升整体的性能。

**3.4.5 创建双活Pair**
指定双活Pair的双活域，选择主备阵列创建的LUN组成Pair。

注意：双活Pair的初始同步，在主端阵列和备端阵列的LUN都是新建，且均未映射给主机的情况下，此时因为两边LUN都还未经过读写过，两个LUN的数据是完全一致的，此时可以选择“本端、远端数据一致，创建完成后不需要同步”。在主端存储上创建双活完成后，备端存储上的LUN WWN将自动变为跟主端存储上的LUN WWN一致；即双活创建完成时，主备两端存储的LUN WWN已保持一致。

# 四、数据迁移

## 4.1 迁移目标任务
此次数据迁移需要将部署于小型机的34套业务系统数据平行迁移到高端存储上，实现数据的集中式管理。将原先分散于3台V7000上的数据，集中统一到1台18500F-A，并通过存储双活将数据同步到同城灾备的18500F-C上，同时利用CDP设备完成关键业务系统本地数据保护工作。

## 4.2 迁移准备工作
(1)登录小型机收集需要数据迁移磁盘的卷组名、PV名称、PV大小、逻辑卷和挂载点。规划目标磁盘PV与原PV建立对应关系，编写操作命令。

(2)登录小型机收集主机FC端口WWN号，规划新SAN光纤交换机主机端口连接表，按照表格进行综合布线。
![](/home/attachment/202201/05/1254821_164135360450695.png)
(3)登录SAN交换机进行端口划zone。

(4)登录主存储18500F-A上进行操作，按照收集的PV大小创建容量相同的lun。登录从存储18500F-C上重复上述操作。

(5)将主从存储建好的lun按对应关系创建双活pair。

## 4.3 数据迁移工作
(1)停止相关系统服务，主机安装多路径软件。
(2)将目标LUN映射给主机，需要将目标LUN映射给所有集群节点。在主机上扫描目标磁盘，在所有节点上检查磁盘个数、状态以及容量大小。在进行数据迁移前，如果迁移环境为主备双机集群，则需要停止备节点的集群服务，只保持一个节点在线。在备节点上导出卷组,停止备节点HACMP服务。
(3)在主节点上将目标LUN添加到卷组，结合我行实际情况，我行原先有两台V7000，分别映射给核心、信贷等关键系统主机，在主机端对磁盘做了mirror，这里需要先拆开镜像，剔除其中一个磁盘，添加目标磁盘到卷组，执行mirror操作，最后再拆开镜像，剔除另外一个旧磁盘。以核心应用LVM为例，核心应用使用的LV来自于卷组appvg，包含hdisk2和hdisk4两个磁盘，目标磁盘为hdisk9和通过cdp映射的磁盘disk10。命令操作流程如下：
```cpp
# unmirrorvg appvg hdisk4
# reducevg appvg hdisk4
# extendvg appvg hdisk9
# nohup mirrorvg appvg &
# unmirrorvg appvg hdisk2
# reducevg appvg hdisk2
# extendvg appvg hdisk10
# nohup mirrorvg appvg &
# rmdev -Rdl hdisk2
# rmdev -Rdl hdisk4

```
另一台V7000单独承载后台业务系统，对于这类主机我们使用migratepv命令。migratepv可以将已分配的物理分区从一个物理卷移动到另一个或多个其他物理卷，我们采用一对一的方式将数据进行迁移。以绩效考核系统为例，绩效考核应用使用的LV来自于卷组datavg，包含hdisk2、hdisk4、hdisk5和hdisk6四个磁盘，目标磁盘为hdisk8、hdisk9、hdisk10和hdisk12。命令操作流程如下：
```cpp
# extendvg datavg hdisk8
# mirgatepv hdisk2 hdisk8
# extendvg datavg hdisk9
# mirgatepv hdisk4 hdisk9
# extendvg datavg hdisk12
# mirgatepv hdisk5 hdisk12
# extendvg datavg hdisk10
# mirgatepv hdisk6 hdisk10
# reducevg datavg hdisk2
# reducevg datavg hdisk4
# reducevg datavg hdisk5
# reducevg datavg hdisk6
# rmdev -Rdl hdisk2
# rmdev -Rdl hdisk4
# rmdev -Rdl hdisk5
# rmdev -Rdl hdisk6

```
(4)更换集群仲裁盘，运行smitty hacmp，选择Extended Configuration，选择Extended Topology Configuration，选择Configure HACMP Communication Interfaces/Devices,选择Remove Communication Interface/Devices，选择心跳磁盘并删除。再回到上一级选择Add Communication Interfaces/Devices，选择Add Pre-defined Communication Interfaces and Devices，选择Communication Devices，选择相应的心跳磁盘网络，并在添加界面中输入设备名称，设备路径及节点名称完成添加。

(5)同步资源和配置，运行smitty hacmp，选择Extended Configuration，选择Extended Verification and Synchronization，保持弹出的菜单中各项默认值不变，直接按“Enter”键执行同步，注意同步过程中是否出现错误。若出现错误，则依据错误提示检查配置步骤，进行修正。若成功，则结果显示为“OK”。

(6)启动服务并进行业务验证。

# 五、总结

## 1.业务性能提升
经过一年多的稳定运行，华为OceanStor 18500F V5融合存储平均读时延0.5ms，最大读时延1ms,平均写时延0.5m，数据双写时延最大1ms，带宽150MBps/s,我行日终批量由原先的5个小时缩减到3个小时。

## 2.人员技能提升
此次项目行内科技人员全程参与建设，从机房扩容、容量规划、双活建设以及数据迁移，为各专业方向的同事提供了很好的学习和操作平台，加深了理论学习，提高了实操能力。

## 3.科技实力提升
通过此次同城存储双活建设，一是为我行实现重要信息系统灾备100%覆盖率提供了有力保障；二是为我行实现重要信息系统应用级双活奠定了基础；三是为我行数字化转型提供了技术支撑。

希望我行基于华为OceanStor 18000系列融合存储的存储双活实施方案与实践经验可以为同行带来参考。

华为高端存储存储双活

著作权归作者所有

如果觉得我的文章对您有用，请点赞。您的支持将鼓励我继续创作！