请问大数据平台容器化后HDFS运行在哪里？
请问大数据平台容器化之后，flink、spark等计算任务运行到容器上了，那相应原有部署模式下计算任务读写数据存储的HDFS运行在哪里？读写性能相对原有物理机部署模式有多大差异？
2同行回答
大数据平台容器化之后，flink、spark等计算任务运行到容器上了，那相应原有部署模式下计算任务读写数据存储的HDFS运行在哪里？
根据你的问题，我谈谈我的一些经验和看法，大数据容器化混合部署后，容器化只是计算部分容器化，作业容器也是运行在物理的容器宿主机上，计算部分性能和原有物理机部署方式没有差异。hdfs可以还是用原有的hdfs，实现存算分离。 通过测试，存储密集型作业性能在存算分离场景下有一定影响(<15%)，但是在可接受的范围内。希望这个可以对你有帮助。
浏览67
ChatGPT 回答
在大数据平台容器化后，计算任务如flink、spark等可能会运行在容器中，而原有部署模式下的HDFS（Hadoop分布式文件系统）可以选择以下几种方式运行：
- 在容器内运行HDFS：可以将HDFS作为一个容器运行在同一集群中，这样计算任务可以直接通过网络连接到容器内的HDFS进行数据读写。这种方式可以保持与原有部署模式下相似的读写性能。
- 在宿主机上运行HDFS：可以将HDFS作为一个宿主机上的进程运行，计算任务可以通过网络连接到宿主机上的HDFS进行数据读写。这种方式可能会带来一些性能损失，因为计算任务需要通过网络进行数据传输。
- 使用外部存储：可以将HDFS部署在独立的物理机或云存储中，计算任务通过网络连接到外部存储进行数据读写。这种方式可能会带来更大的性能损失，因为计算任务需要通过网络进行数据传输，并且可能会受到网络带宽和延迟的限制。
总体而言，大数据平台容器化后，计算任务读写数据存储的HDFS的性能可能会相对原有物理机部署模式有一定的差异。具体差异的大小取决于容器化部署的具体方式以及网络传输的性能。为了最大程度地减少性能损失，可以考虑将HDFS作为一个容器运行在同一集群中，或者将HDFS部署在宿主机上，并且尽量减少计算任务与HDFS之间的网络传输。