Ситуация: на одном из физических серверов установленных в дата центре начал помирать винт, сервак ESXi — и каждом винте стоит операционка ESXi дабы можно было в случае выхода из строя одного, загрузиться с другого. KVM к сожалению отсутствует и быстро накатить систему на новый винт непосредственно на сервере нет возможности (да и нет возможности его вырубать в принципе для данной операции — сервак продакшен с множеством проектов на нём).
Систему поставили локально на аналогичный по конфигурации комп но на другой материнской плате, всё бы ничего но потом этот сервер так же уходит в этот дата центр и начинаются коллизии по сетке.
Пока доступен один ESXi — второй не видно!
После «разборок» — выяснилось, что старый сервер с неродной системой подхватил для виртуального свитча MAC адрес чужой материнской платы (сетевухи).

Решение проблемы
vmk0 management network MAC address is not updated when NIC card is replaced or vmkernel has duplicate MAC address (1031111) .

В 2х словах — врубаем ssh на гипервизоре (гугл в промощь), заходим и консольно выполняем
esxcfg-advcfg -s 1 /Net/FollowHardwareMac
ребутим сервер

Потом довольно долго ждём (почему не знаю, но пока ждал чуть не поседел, т.к. для физического доступа к серверу в дата центр нужно много согласований и до поднятия рабочих проектов пройдут сутки а то и поболе).

P.S.
Консольно посмотреть маки помогут следующие команды:
# esxcfg-nics -l (физические порты)
# esxcfg-vswitch -l
# esxcfg-vmknic -l (виртуальные — вот тут у меня и было разногласие с физическими)
посмотреть настройку, которую поменяли
esxcfg-advcfg -g /Net/FollowHardwareMac