有190T的应用数据在华为N9000的SAN存储上,现在准备迁到华为5600v5的NAS存储设备上,现在测试了RSYNC同步数据,但是NFS小文件特别多传输很慢,190T的文件要传半年左右。
有什么迁移的方式方法可以提高速度,有什么风险点或者问题,请指教。
迁移 rsync 慢,一是可能因为源存储性能本身比较差,而是并发不够。
如果要提升性能,可以用华为的迁移服务工具 MD ,能够比较明显的提升 rsync 并发,但如果性能瓶颈在源存储本身或者中间网络带宽,换工具未必有很大帮助。
采用万兆网络,利用华为的 MigrationDirector for NAS 工具进行迁移,这个需要购买lic;
迁移前要评估兼容性;中断时间;数据安全性等等,详细可以去看下华为的 MigrationDirector for NAS工具指导书
既然源头和目标存储都是华为的,当然可以让华为来全权处理这件事。
以往的经验是源头存储,san网络,ip网络,目标存储四个主要项,逐一观察是否达到瓶颈,逐一解决,对于小文件多的,建议增加并发数量,将大文件目录,拆分为8个以上多个小目录,并发处理,有时可提升10倍以上。
这么大的数据量迁移确实很麻烦。主要考虑以下几点:
1.SAN存储上的数据存放在几个LUN中,分布在多少服务器上;同时5600的主机接口是10Gb
2.如果存储性能可以考虑对现在数据目录做拆分,多设备,多进程同步数据,并且可以优化参数
3.使用专业的迁移软件,迁移软件一般都是多线程或是使用客户端内存打包统一发送的。这样对小文件拷贝性能有很大的优化。
针对这个问题,我可以提供以下解决思路和方案建议:
总之,针对这个问题,可以采用多种方式和工具来提高传输速度,同时需要注意数据的完整性和安全性,以及存储设备的兼容性和稳定性。