获取验证码
很多运维将两节点vSAN集群扩容加入第三台ESXi主机,主机完成加入、磁盘组创建完毕后,观察磁盘利用率发现数据并没有立刻均匀分散到三台节点。不少人误以为vSAN没有触发数据重平衡,实际上vSAN具备自动rebalance机制,但后台执行策略保守,速度较慢,耗时数小时甚至1天属于正常现象。本文讲解自动均衡底层逻辑、手动触发方式、影响速度的因素、业务风险点以及扩容最佳实践。
有VMware全系列产品官方资源和定制版资源需求的可以移步:
原有2节点vSAN集群,成功添加第3台主机,磁盘组正常创建,vSAN集群状态健康,无告警。
新主机磁盘空间空闲很大,原有两台主机磁盘占用率很高,但数据没有向新节点迁移。
vSAN任务列表看不到Rebalance任务,存储视图各主机磁盘利用率差距明显。
等待一段时间后,慢慢开始出现对象重平衡任务,整体进度缓慢。
部分运维手动执行vMotion虚拟机,但是vSAN对象不会跟随虚拟机vMotion迁移,磁盘数据依旧留在旧节点。
vSAN在新主机上线后会自动启动Rebalance,但是不会立刻全速跑,内置限流策略优先保障虚拟机业务IO性能。
自动重平衡是后台低优先级任务,vSAN会监控集群负载,如果虚拟机业务读写压力大,会主动降低重平衡带宽甚至暂停任务,避免业务IO卡顿。
两节点扩容到三节点,集群从2副本模式,对象需要重新计算放置位置,大量组件需要重建、迁移,对象数量越多耗时越长。
自动rebalance不会追求瞬时完全均衡,只控制各主机磁盘占用差值达到阈值后停止,不会100%完全抹平利用率差异。
注意:虚拟机vMotion只迁移虚拟机内存与运行状态,不会移动vSAN磁盘对象,vMotion完成磁盘数据依旧留在原主机磁盘组。
环境大小不同耗时差异巨大:小集群几小时,大量虚拟机、几十万对象环境,耗时1天以上属于正常区间。
重要提醒:不要在业务高峰期强制全速重平衡,大量对象迁移会抢占磁盘IO,业务虚拟机容易出现延迟升高、卡顿。优先选择业务低峰窗口执行扩容操作。
方式一:vCenter图形界面观察Rebalance进度
vCenter菜单 → vSAN → 监控 → 重新平衡。
查看待重新平衡对象数量、正在迁移对象、已完成比例。
如果待均衡对象持续不为零,但是任务迟迟不动,代表集群业务负载高,自动策略限流。
方式二:PowerCLI手动触发vSAN重平衡
Connect-VIServer vcenter-fqdn #获取vSAN集群对象 $vsanCluster = Get-Cluster "你的vSAN集群名称" #手动触发集群级别rebalance Start-VsanClusterRebalance -Cluster $vsanCluster
方式三:ESXi主机SSH查看vSAN对象重平衡状态
#查看vSAN集群重平衡任务状态 vsantool rebalance get #查看待迁移对象统计 vsantool object stats
手动触发之后,只是启动重平衡任务,默认依旧会遵循IO限流保护,不会无限制占用带宽。如果需要调整重平衡IO上限,可修改vSAN高级参数,生产谨慎修改。
| 影响因素 | 说明 | 优化建议 |
|---|---|---|
| 集群对象总数量 | 虚拟机越多、快照越多,vSAN对象组件数量越大,迁移耗时成倍增加 | 扩容前清理无用快照,减少对象数量 |
| 磁盘介质性能 | SATA SSD性能弱,重平衡速度远低于NVMe SSD | 尽量统一磁盘硬件规格 |
| 业务实时IO负载 | 业务读写高,vSAN自动压低重平衡带宽保护业务 | 扩容、重平衡安排夜间低峰窗口 |
| 重平衡高级参数 | 可调整并发迁移对象数量,调大可以提速,但业务风险上升 | 不建议随意修改默认值 |
| 网络带宽 | vSAN流量网络拥塞,对象组件迁移速度被网卡限制 | 保障vSAN专用网络,万兆及以上网络 |
两节点扩容第三台主机,优先选择业务低峰执行,磁盘组创建完成之后,不要急于做其他变更,给vSAN留出自动均衡时间。
区分概念:vMotion迁移虚拟机不等于迁移vSAN磁盘对象;磁盘数据均衡依靠vSAN Rebalance,不是虚拟机热迁移。
自动rebalance慢属于保护机制,不是故障;只有vSAN出现告警、待均衡对象长期不下降,才需要手动干预。
扩容完成持续观察vSAN监控‑重新平衡页面,待待均衡对象降为0,才算扩容的数据迁移全部结束。
不要随意修改vSAN高级参数提高重平衡并发,业务高峰期调高参数极易引发业务虚拟机IO延迟抖动。
扩容前后记录各主机磁盘利用率,方便对比确认均衡是否完成。
Q:新增主机之后,我不手动触发,vSAN会不会永远不做rebalance?
A:不会,会自动执行,只是后台优先级低,业务忙的时候会暂停,慢慢完成,不会跳过重平衡。
Q:Rebalance运行的时候,能不能开启新虚拟机?业务虚拟机是否会停机?
A:业务虚拟机不会停机,对象迁移在线完成;但是IO延迟会有一定上升,业务敏感系统尽量避开重平衡窗口。
Q:已经手动Start‑VsanClusterRebalance,为什么进度依旧很慢?
A:手动触发只是启动任务,默认依旧开启IO限流保护,不会全速跑,受磁盘、网络、业务负载共同限制。
Q:vSAN集群磁盘利用率差异多大算正常?
A:vSAN不追求完全相等,百分之几‑十几的磁盘占用差距,重平衡完成后也会存在,不属于故障。
总结:vSAN集群扩入第三台主机会自动执行rebalance,但为保护业务IO默认执行速度保守,耗时几小时到1天属于正常现象。可以通过vCenter界面或者PowerCLI手动触发重平衡;扩容尽量安排业务低峰,不建议随意调大并发参数,等待待均衡对象归零代表数据迁移全部完成。