大模型的训练和推理需要强大的计算资源和高性能的基础设施。金融行业可能需要投资于强大的服务器、存储系统和网络基础设施,以满足大模型的计算需求。此外,还需要考虑到可扩展性和高可用性,以支持模型的训练和实时推理。如何构建可扩展且高可用的基础设施,以满足大模型的计算和实时推理需求?
1、技术路线上,建议在私有云平台构建AI大模型基础设施。2、在训练、推理工作负载上,根据负载的不同特征,采用不同的建设策略。譬如训练集群的建设成本和运维成本很高,基础设施领域需要高端训练GPU卡、高性能存储和高性能RDMA网络,宜在企业统一建设一个训练集群,供企业共享使用。另外,推理集群,宜考虑成本、高可用部署需求和应用的易集成度等因素,建设时宜采用成本可控的推理卡、云平台底座支持多AZ部署、一键式部署大模型推理服务和可观测GPU的利用率等方法。
关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们 © 2024talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30