Проблемы с дисковой производительностью на ESXi
Летом 2022 коллеги начали массово жаловаться на нестабильность работы стендов. В процессе изучения была обнаружена проблема с производительностью дисковой подсистемы, которая проявляется только при большой нагрузке.
В логах на хостах были такие записи:
2022-06-27T17:37:29.743Z cpu1:36774)lsi_mr3: mfi_TaskMgmt:254: Processing taskMgmt virt reset for device: vmhba2:C2:T0:L0
2022-06-27T17:37:29.743Z cpu1:36774)lsi_mr3: mfi_TaskMgmt:258: VIRT_RESET cmd # 328727984
2022-06-27T17:37:29.743Z cpu1:36774)lsi_mr3: mfi_TaskMgmt:262: ABORT
Сразу уточню, что используется виртуализация VMware vSphere 6.
Версия драйвера который был установлен на моих ESXi хостах
lsi-mr3 6.605.08.00-7vmw.600.1.17.3029758
Драйвер lsi_mr3 заполняет журналы ОС виртуальным сбросом (VIRT_RESET), ожиданиями ввода-вывода ( fusionWaitForOutstanding ). ОС выдает виртуальные запросы на сброс (VRR) на локальные устройства хранения, что заставляет драйвер контроллера RAID прерывать все операции ввода-вывода, а это в свою очередь может привести к отключению VMFS при большом количестве VRR.
Решается все установкой свежей версии драйвера, но возможно потребуется обновление прошивки RAID контроллера.
Ссылки по проблеме: