メモリ128GB化でフリーズするESXi

2023/9/10 ESXi, 故障・修理

最近まで3年程度、ESXi 7.0 U2cでメモリ64GB環境が安定稼働し続けてた。。。

NASのVMで、ZFS効果からメモリ圧迫していた状況にメスを入れるべく、3年以上ぶりにサーバのケースを開けて32GB✕4の128GBに換装することにした。

メモリ量変わっただけでESXiがフリーズ？！

しかし、換装後1日半でパープルスクリーン、その後もvmnicが死んで全VMがダウンという悲惨な状況のまま1週間さまよった。サーバが不安定になるのはいつも人災(汗。。。

当初は換装したメモリが怪しいと睨んでたけれど、Memtest86+を実行しても問題無しという結果。

騙しだまし1週間経過したけれど、他サーバのESXiが問題なくアクセスできるためこれはメモリ自体でなくESXi側の問題か？！と考え、半信半疑でパッチアップデートを試みることに。

VMware ESXi Release and Build Number History | virten.net
www.virten.net

最初はNICのvibだけアップデートしてみるかと思ったものの、これを機に全部アップデートしちゃえ汗　と思い立つ。すると、3年以上のブランクで膨大なパッチが挙がるあがる。。。

# esxcli software sources vib list --depot=/vmfs/volumes/datastore/VMware-ESXi-7.0U3n-21930508-depot.zip
Name Version Vendor Creation Date Acceptance Level Status
----------------------------- ------------------------------------- ------ ------------- ---------------- ------
bnxtroce 216.0.58.0-23vmw.703.0.50.20036589 VMW 2022-06-30 VMwareCertified Update
bnxtnet 216.0.50.0-44vmw.703.0.50.20036589 VMW 2022-06-30 VMwareCertified Update
tools-light 12.1.5.20735119-21422485 VMware 2023-03-10 VMwareCertified Update
trx 7.0.3-0.95.21930508 VMware 2023-06-15 VMwareCertified New
esx-dvfilter-generic-fastpath 7.0.3-0.95.21930508 VMware 2023-06-15 VMwareCertified Update
vdfs 7.0.3-0.95.21930508 VMware 2023-06-15 VMwareCertified Update
esxio-combiner 7.0.3-0.95.21930508 VMware 2023-06-15 VMwareCertified New
cpu-microcode 7.0.3-0.95.21930508 VMware 2023-06-15 VMwareCertified Update
esx-xserver 7.0.3-0.95.21930508 VMware 2023-06-15 VMwareCertified Update
esx-base 7.0.3-0.95.21930508 VMware 2023-06-15 VMwareCertified Update
vsan 7.0.3-0.95.21930508 VMware 2023-06-15 VMwareCertified Update
native-misc-drivers 7.0.3-0.95.21930508 VMware 2023-06-15 VMwareCertified Update
vsanhealth 7.0.3-0.95.21930508 VMware 2023-06-15 VMwareCertified Update
esx-ui 2.9.2-21141530 VMware 2023-01-18 VMwareCertified Update
gc 7.0.3-0.95.21930508 VMware 2023-06-15 VMwareCertified Update
bmcal 7.0.3-0.95.21930508 VMware 2023-06-15 VMwareCertified New
crx 7.0.3-0.95.21930508 VMware 2023-06-15 VMwareCertified Update
qfle3 1.0.67.0-22vmw.703.0.20.19193900 VMW 2022-01-11 VMwareCertified Update
qfle3f 1.0.51.0-22vmw.703.0.20.19193900 VMW 2022-01-11 VMwareCertified Update
qcnic 1.0.15.0-14vmw.703.0.20.19193900 VMW 2022-01-11 VMwareCertified Update
qfle3i 1.0.15.0-15vmw.703.0.20.19193900 VMW 2022-01-11 VMwareCertified Update
qedentv 3.40.5.53-22vmw.703.0.20.19193900 VMW 2022-01-11 VMwareCertified Update
qedrntv 3.40.5.53-18vmw.703.0.20.19193900 VMW 2022-01-11 VMwareCertified Update
nmlx4-core 3.19.16.8-2vmw.703.0.20.19193900 VMW 2022-01-11 VMwareCertified Update
nmlx4-en 3.19.16.8-2vmw.703.0.20.19193900 VMW 2022-01-11 VMwareCertified Update
nmlx4-rdma 3.19.16.8-2vmw.703.0.20.19193900 VMW 2022-01-11 VMwareCertified Update
nmlx5-core 4.19.16.11-1vmw.703.0.20.19193900 VMW 2022-01-11 VMwareCertified Update
nmlx5-rdma 4.19.16.11-1vmw.703.0.20.19193900 VMW 2022-01-11 VMwareCertified Update
atlantic 1.0.3.0-8vmw.703.0.20.19193900 VMW 2022-01-11 VMwareCertified Update
brcmfcoe 12.0.1500.2-3vmw.703.0.20.19193900 VMW 2022-01-11 VMwareCertified Update
elx-esx-libelxima.so 12.0.1200.0-4vmw.703.0.20.19193900 VMware 2022-01-11 VMwareCertified Update
elxiscsi 12.0.1200.0-9vmw.703.0.20.19193900 VMW 2022-01-11 VMwareCertified Update
elxnet 12.0.1250.0-5vmw.703.0.20.19193900 VMW 2022-01-11 VMwareCertified Update
esx-update 7.0.3-0.95.21930508 VMware 2023-06-15 VMwareCertified Update
loadesx 7.0.3-0.95.21930508 VMware 2023-06-15 VMwareCertified Update
lsuv2-hpv2-hpsa-plugin 1.0.0-3vmw.703.0.20.19193900 VMware 2022-01-11 VMwareCertified Update
i40en 1.11.1.31-1vmw.703.0.20.19193900 VMW 2022-01-11 VMwareCertified Update
iavmd 2.7.0.1157-2vmw.703.0.20.19193900 VMW 2022-01-11 VMwareCertified Update
icen 1.4.1.20-1vmw.703.0.50.20036589 VMW 2022-06-30 VMwareCertified Update
igbn 1.4.11.2-1vmw.703.0.20.19193900 VMW 2022-01-11 VMwareCertified Update
lsuv2-intelv2-nvme-vmd-plugin 2.7.2173-1vmw.703.0.20.19193900 VMware 2022-01-11 VMwareCertified Update
ionic-en 16.0.0-16vmw.703.0.20.19193900 VMW 2022-01-11 VMwareCertified New
irdman 1.3.1.22-1vmw.703.0.50.20036589 VMW 2022-06-30 VMwareCertified Update
iser 1.1.0.1-1vmw.703.0.50.20036589 VMW 2022-06-30 VMwareCertified Update
ixgben 1.7.1.35-1vmw.703.0.20.19193900 VMW 2022-01-11 VMwareCertified Update
lpfc 14.0.169.26-5vmw.703.0.50.20036589 VMW 2022-06-30 VMwareCertified Update
lpnic 11.4.62.0-1vmw.703.0.20.19193900 VMW 2022-01-11 VMwareCertified Update
lsi-mr3 7.718.02.00-1vmw.703.0.20.19193900 VMW 2022-01-11 VMwareCertified Update
lsi-msgpt2 20.00.06.00-4vmw.703.0.20.19193900 VMW 2022-01-11 VMwareCertified Update
lsi-msgpt35 19.00.02.00-1vmw.703.0.20.19193900 VMW 2022-01-11 VMwareCertified Update
lsi-msgpt3 17.00.12.00-1vmw.703.0.20.19193900 VMW 2022-01-11 VMwareCertified Update
lsuv2-lsiv2-drivers-plugin 1.0.0-12vmw.703.0.50.20036589 VMware 2022-06-30 VMwareCertified Update
mtip32xx-native 3.9.8-1vmw.703.0.20.19193900 VMW 2022-01-11 VMwareCertified Update
ne1000 0.9.0-1vmw.703.0.50.20036589 VMW 2022-06-30 VMwareCertified Update
nenic 1.0.33.0-1vmw.703.0.20.19193900 VMW 2022-01-11 VMwareCertified Update
nfnic 4.0.0.70-1vmw.703.0.20.19193900 VMW 2022-01-11 VMwareCertified Update
nhpsa 70.0051.0.100-4vmw.703.0.20.19193900 VMW 2022-01-11 VMwareCertified Update
ntg3 4.1.9.0-5vmw.703.0.90.21686933 VMW 2023-04-28 VMwareCertified Update
lsuv2-nvme-pcie-plugin 1.0.0-1vmw.703.0.20.19193900 VMware 2022-01-11 VMwareCertified Update
nvme-pcie 1.2.3.16-2vmw.703.0.85.21424296 VMW 2023-03-11 VMwareCertified Update
nvmerdma 1.0.3.5-1vmw.703.0.20.19193900 VMW 2022-01-11 VMwareCertified Update
nvmetcp 1.0.0.1-1vmw.703.0.35.19482537 VMW 2022-03-11 VMwareCertified New
nvmxnet3-ens 2.0.0.22-1vmw.703.0.20.19193900 VMW 2022-01-11 VMwareCertified Update
nvmxnet3 2.0.0.30-1vmw.703.0.20.19193900 VMW 2022-01-11 VMwareCertified Update
lsuv2-oem-dell-plugin 1.0.0-1vmw.703.0.20.19193900 VMware 2022-01-11 VMwareCertified Update
lsuv2-oem-hp-plugin 1.0.0-1vmw.703.0.20.19193900 VMware 2022-01-11 VMwareCertified Update
lsuv2-oem-lenovo-plugin 1.0.0-1vmw.703.0.20.19193900 VMware 2022-01-11 VMwareCertified Update
pvscsi 0.1-4vmw.703.0.20.19193900 VMW 2022-01-11 VMwareCertified Update
qflge 1.1.0.11-1vmw.703.0.20.19193900 VMW 2022-01-11 VMwareCertified Update
qlnativefc 4.1.14.0-26vmw.703.0.20.19193900 VMware 2022-01-11 VMwareCertified Update
rste 2.0.2.0088-7vmw.703.0.20.19193900 VMW 2022-01-11 VMwareCertified Update
sfvmk 2.4.0.2010-6vmw.703.0.20.19193900 VMW 2022-01-11 VMwareCertified Update
smartpqi 70.4149.0.5000-1vmw.703.0.20.19193900 VMW 2022-01-11 VMwareCertified Update
lsuv2-smartpqiv2-plugin 1.0.0-8vmw.703.0.20.19193900 VMware 2022-01-11 VMwareCertified Update
vmkata 0.1-1vmw.703.0.20.19193900 VMW 2022-01-11 VMwareCertified Update
vmkfcoe 1.0.0.2-1vmw.703.0.20.19193900 VMW 2022-01-11 VMwareCertified Update
vmkusb 0.1-8vmw.703.0.85.21424296 VMW 2023-03-11 VMwareCertified Update
vmw-ahci 2.0.11-1vmw.703.0.20.19193900 VMW 2022-01-11 VMwareCertified Update
vmware-esx-esxcli-nvme-plugin 1.2.0.44-1vmw.703.0.20.19193900 VMware 2022-01-11 VMwareCertified Update

# esxcli software sources profile list -d /vmfs/volumes/datastore/VMware-ESXi-7.0U3n-21930508-depot.zip
Name Vendor Acceptance Level Creation Time Modification Time
----------------------------- ------------ ---------------- ------------------- -----------------
ESXi-7.0U3n-21930508-standard VMware, Inc. PartnerSupported 2023-07-06T00:00:00 2023-07-06T00:00:00
ESXi-7.0U3n-21930508-no-tools VMware, Inc. PartnerSupported 2023-07-06T00:00:00 2023-06-15T12:39:40

# esxcli software profile update -d /vmfs/volumes/datastore/VMware-ESXi-7.0U3n-21930508-depot.zip -p ESXi-7.0U3n-21930508-standard
...
# reboot

その後、24時間以上経っても安定稼働してる。

これはもう、メモリでなくESXiの問題だったようだ。。。

3年分のリリースノートを途中まで眺めてて疲れた。分かったら、追記しようと思う。

sponsored links

write: よし。