活动简介
在当今信息时代,银行行业迎来了数据化转型的浪潮,随着容器技术的不断深入应用,大数据平台的容器化改造显得尤为重要。这种改造不仅利用了容器技术提升了系统的灵活性和可靠性,还可以提高运维效率和资源利用率,进一步推动了数字化业务的发展和创新。大数据平台容器化改造的重要性在于加快应用交付速度、提高基础架构利用率和资源灵活调配的能力,使银行业务能够更快、更灵活地应对市场变化和客户需求。随着大数据平台集群规模快速增长,很多银行开始探索借助云原生技术实现大数据混部(离线和在线业务混合部署),从而让计算资源更精细化地使用。
大数据平台容器化是落地大数据混部的前提。大数据平台容器化技术路线的选择涉及到不同系统的特点和需求,在降低运维成本、提高安全性和可扩展性方面有不同侧重点,当前有Hadoop Yarn on Kubernetes、多个大数据集群共享统一资源池、大数据集群完全容器化改造等等方式,根据调研,使用Yarn node manager运行在k8s集群上,通过Yarn进行调度的方式来达到预期目标的占比最多。而大数据平台容器化改造难点包括系统架构复杂、数据安全问题、存量系统迁移等挑战,需要综合考量和有效规划;同时对于此方面的建设,独立开发探索将会消耗大量人力物力。大数据平台容器化建设过程中的核心挑战包括:
1. 基于云原生实现大数据混部的主要应用场景有哪些?
2. 如何选型适合企业自身的大数据平台容器化技术路线?
3. 如何实现业务容器与大数据容器的混合调度部署?
4. 如何设计大数据混部的资源控制方案?
本期twt社区特邀银行的专家结合大家关注的问题进行线上交流分享!
互动嘉宾
社区ID:dean25 某股份制银行 容器云负责人
现就职于股份制银行信息科技部系统管理中心,容器云平台技术负责人,负责行内容器云平台建设以及应用容器化改造规范制定。