获取验证码
很多中小规模ESXi环境为节省物理网口,直接将vMotion、iSCSI/vSAN存储流量跑在同一个VMkernel网卡、同一个网段。从ESXi技术层面可以通,生产环境却经常出现业务卡顿、存储IO延迟、vMotion迁移超时等疑难问题。本文分析共用网段底层逻辑、实际风险、QoS缓解手段以及虚拟化网络最佳实践。
有VMware全系列产品官方资源和定制版资源需求的可以移步:
单张网卡配置同一个VMkernel接口,同时勾选vMotion、iSCSI、vSAN服务,网络通信可以正常连通,虚拟机迁移、存储读写都可以跑通。
平时业务负载低的时候一切正常,一旦执行大批量vMotion,虚拟机就出现IO抖动、存储访问延迟飙升,严重时发生存储断开、迁移任务失败。
部分环境做VLAN子接口隔离,网段复用,物理网卡依旧共享,依然会遇到流量抢占的问题。
技术上允许共用,但是没有流量隔离。ESXi允许同一个VMkernel适配器启用多项服务,操作系统不会直接阻断流量,但网卡带宽是物理共享的。vMotion属于大流量内存拷贝,短时间会占满网卡带宽。
存储流量优先级更高,但硬件层面无法抢占。虽然ESXi支持DSCP/QoS标记,当物理网口打满拥塞之后,交换机队列出现丢包,iSCSI、vSAN存储报文一旦丢包就会重传,直接导致虚拟机磁盘IO延迟升高。
vMotion迁移为TCP长连接,大批量同时迁移多台虚拟机时,瞬时吞吐会跑满万兆网卡,存储业务没有剩余带宽可用。
故障域耦合:如果该VMkernel网卡、网口、交换机出现故障,vMotion和存储会同时受影响,排查故障时很难区分是迁移流量还是存储本身故障。
注意:仅仅VLAN逻辑隔离,物理网卡不变,只能做二层广播隔离,不能解决带宽争抢问题。
重要提醒:小规模测试环境可以共用;生产业务集群不建议vMotion与存储流量共用同一物理网卡与网段。逻辑VLAN划分无法规避物理带宽抢占风险。
当硬件网口数量不足,不得不共用物理网卡时,可以通过下面手段降低故障概率,但不能完全消除风险。
交换机侧配置QoS,对存储报文打上高优先级DSCP,vMotion流量设置较低优先级,拥塞时交换机优先转发存储数据包。
限制vMotion最大并发迁移数量,vCenter集群设置最多同时2‑4台迁移,禁止业务高峰批量执行vMotion。
调整vMotion高级参数,限制vMotion最大带宽,避免瞬间占满网卡。
尽量使用带宽更高的物理网卡,25G网卡相比万兆网卡可以大幅降低拥塞概率。
vMotion操作统一放在夜间业务低峰窗口,避开业务访问高峰期。
#查看vMotion高级带宽参数示例 esxcli system settings advanced list -o /Net/MigrationMaxBandwidth
| 部署方案 | 优点 | 缺点与风险 | 适用场景 |
|---|---|---|---|
| vMotion、存储共用VMkernel同一网段同一网卡 | 节省网口,布线简单,硬件投入少 | 带宽争抢,存储IO抖动,迁移容易超时,故障耦合 | 测试环境、小型非生产环境 |
| 同一网卡不同VLAN,逻辑隔离 | 二层广播隔离,配置简单 | 物理带宽依旧共享,拥塞丢包风险仍然存在 | 硬件受限临时过渡方案 |
| 独立物理网卡,独立VMkernel、独立网段 | 流量完全隔离,互不抢占,故障域分离 | 需要更多网口与交换机端口 | 生产集群推荐标准部署方式 |
生产集群优先物理网卡分离:存储流量使用独立VMkernel与物理网卡,vMotion使用另外一组网卡,分开网段。
vSAN环境严格分开vSAN和vMotion流量,vSAN对网络抖动、丢包非常敏感,一旦发生拥塞会触发组件重建,加重集群负担。
不要依靠VLAN代替物理隔离,VLAN只能隔离广播域,不能解决带宽抢占。
如果硬件有限,至少做网卡绑定,多网卡做LACP,扩充整体带宽,配合交换机QoS做流量优先级。
运维规范:业务高峰尽量避免同时执行大量vMotion、Storage vMotion任务。
Q:我分开VLAN,不同网段跑在同一张物理网卡上,还会冲突吗?
A:依然会冲突。VLAN只是二层逻辑隔离,物理带宽共享,vMotion打满网卡之后存储报文一样会排队丢包,产生IO延迟。
Q:万兆网卡足够大,是不是就可以混用vMotion和存储?
A:万兆网卡也会被打满。多台虚拟机同时迁移很容易跑满带宽,业务高峰期依然存在拥塞风险,不建议生产环境依赖网卡带宽去规避架构缺陷。
Q:共用网段出现虚拟机卡顿,怎么快速确认是不是vMotion流量导致?
A:通过esxtop查看vmk网卡带宽利用率,观察存储设备延迟;暂停所有vMotion任务,如果IO延迟立刻回落,说明就是迁移流量抢占带宽导致。
总结:VMkernel技术层面支持vMotion和存储共用同一网段,网络可以通。但会出现带宽抢占,vMotion大流量容易造成存储IO抖动、丢包重传。测试环境可以临时使用,生产环境优先独立物理网卡、独立VMkernel;硬件条件不足时,通过QoS、限制并发迁移做风险缓解,但无法彻底消除隐患。