Esxi ошибка при установке

Пот установке или обновлении хостов VMware ESXi до 6.7 или 7.x на хостах со старыми моделями процессоров, может появится ошибка Unsupported CPU.

VMB: 611:
Unsupported CPU: Intel family 0x06, model 0x1a, stepping 0x5
Intel(R) Xeon(R) CPU E5520 @ 2.27GHz
See http://www.vmware.com/resources/compatibility

При чистой установке ESXi ошибка выглядит так:

Error:
CPU_SUPPORT_ERROR: The CPU in this host is not supported by ESXI 6.7.0. Please refer ti the VMware Compatibility Guide (VCG) for the list of supported CPUs.

Эта проблема возникает при установке ESXi на сервера с моделями CPU, которые VMware считает устаревшим. В данный момент эта проблема относится к процессорам Intel 6 поколения ( Intel Family 6 ) на микроархитектуре Westmere (выпускались начиная с 2010).

• WSM-EP, Westmere-EP (2C) – шестиядерные Core i7-990X, Core i7-980X, Xeon 36xx, Xeon 56xx
• WSM-EX, Westmere-EX (2F) – десятиядерные E7-x8xx-series

В частности, я столкнулся с этой проблемой на сервере HP ProLiant DL380 G6 с Intel Xeon E5520.

Для запуска ESXi на серверах со старыми моделями процессоров, нужно добавить в меню загрузки ESXi параметр “allowLegacyCPU=true”.

Для этого нажмите при загрузке Shift+O и выполните команду:

<ENTER: Apply options and boot>
> cdromBoot runweasel allowLegacyCPU=true

Однако этот параметр будет действовать только до следующей перезагрузки хоста ESXi. Поэтому нужно добавить его в файл boot.cfg. Этот файл находится в корне одного из системных разделов.

Подключитесь к хосту ESXi по SSH и найдите файл boot.cfg:

# find / | grep boot.cfg

В моем случае я нашел два таких файла (/bootbank/boot.cfg и /altbootbank/boot.cfg), поэтому отредактировал оба. Нужно добавить опцию allowLegacyCPU=true в параметре kernelopt. Например, у меня получился такой файл:

bootstate=0
title=Loading VMware ESXi
timeout=5
prefix=
kernel=b.b00
kernelopt=autoPartition=FALSE allowLegacyCPU=true
modules=jumpstrt.gz --- useropts.gz --- features.gz --- k.b00 --- uc_intel.b00 --- uc_amd.b00 --- uc_hygon.b00 --- procfs.b00 --- vmx.v00 --- vim.v00 --- tpm.v00 --- sb.v00 --- s.v00 --- bnxtnet.v00 --- bnxtroce.v00 --- brcmfcoe.v00 --- brcmnvme.v00 --- elxiscsi.v00 --- elxnet.v00 --- i40en.v00 --- i40iwn.v00 --- iavmd.v00 --- igbn.v00 --- iser.v00 --- ixgben.v00 --- lpfc.v00 --- lpnic.v00 --- lsi_mr3.v00 --- lsi_msgp.v00 --- lsi_msgp.v01 --- lsi_msgp.v02 --- mtip32xx.v00 --- ne1000.v00 --- nenic.v00 --- nfnic.v00 --- nhpsa.v00 --- nmlx4_co.v00 --- nmlx4_en.v00 --- nmlx4_rd.v00 --- nmlx5_co.v00 --- nmlx5_rd.v00 --- ntg3.v00 --- nvme_pci.v00 --- nvmerdma.v00 --- nvmxnet3.v00 --- nvmxnet3.v01 --- pvscsi.v00 --- qcnic.v00 --- qedentv.v00 --- qedrntv.v00 --- qfle3.v00 --- qfle3f.v00 --- qfle3i.v00 --- qflge.v00 --- rste.v00 --- sfvmk.v00 --- smartpqi.v00 --- vmkata.v00 --- vmkfcoe.v00 --- vmkusb.v00 --- vmw_ahci.v00 --- crx.v00 --- elx_esx_.v00 --- btldr.v00 --- esx_dvfi.v00 --- esx_ui.v00 --- esxupdt.v00 --- tpmesxup.v00 --- weaselin.v00 --- loadesx.v00 --- lsuv2_hp.v00 --- lsuv2_in.v00 --- lsuv2_ls.v00 --- lsuv2_nv.v00 --- lsuv2_oe.v00 --- lsuv2_oe.v01 --- lsuv2_oe.v02 --- lsuv2_sm.v00 --- native_m.v00 --- qlnative.v00 --- vdfs.v00 --- vmware_e.v00 --- vsan.v00 --- vsanheal.v00 --- vsanmgmt.v00 --- xorg.v00 --- imgdb.tgz --- state.tgz
build=6.7.0-1.25.18828794
updated=1

Однако может появится другая ошибка, когда вы попытаетесь запустить виртуальную машину на таком хосте ESXi.

Failed to power on virtual machine on xxx. This host doesn’t support virtualizing real mode. The intel VMX Unrestricted Guest feature is necessary to run this virtual machine on an Intel Processor.

Для решения этой проблемы, нужно добавить специальный параметр в конфигурационный vmx файл виртуальной машины:

1. Выберите ВМ -> Edit
2. Перейдите в VM Options -> Advanced -> Edit Configuration
3. Нажмите Add parameter и добавьте строку monitor.allowLegacyCPU = true
4. 
5. После этого вы сможете включить виртуальную машину.

When you try to install ESXi 7.0 or 8.0 on a system with a 12th Gen Intel CPU, the installation fails with a purple diagnostics screen:

HW feature incompatibility detected; cannot start

Fatal CPU mismatch on feature «Hyperthreads per core»
Fatal CPU mismatch on feature «Cores per package»
Fatal CPU mismatch on feature «Cores per die»

When you try to power on Virtual Machines on 13th Gen Intel CPUs, ESXi crashes with the following PSOD:

GP Exception 13 in world

This problem is caused by the new architecture of Intel CPUs which are equipped with different types of cores — Performance-cores and Efficient-cores. With vSphere 7.0 Update 2, the kernel parameter cpuUniformityHardCheckPanic has been implemented to address the issue. This article explains the manual and automated methods to properly implement the kernel option.

This article is valid for:

• ESXi 8.0 and later
• ESXi 7.0 Update 2 and later

Manual Method

The parameter needs to be set prior to installation and the first boot of ESXi.

1. When ESXi installation starts, press SHIFT+O to edit boot options.
2. Append cpuUniformityHardCheckPanic=FALSE
   
3. Press ENTER
4. Install ESXi
5. When the installation is finished, reboot the system and press SHIFT+O to edit the boot options again.
6. Append cpuUniformityHardCheckPanic=FALSE and press ENTER
7. To make the kernel option permanent, run the following command on your ESXi host:

   # esxcli system settings kernel set -s cpuUniformityHardCheckPanic -v FALSE
   

8. For 13th Gen Intel CPUs (Raptor Lake), you also have to enable kernel option ignoreMsrFaults to prevent PSOD during VM startups. (Credit to William Lam for providing a solution for the PSOD Issue)

   # esxcli system settings kernel set -s ignoreMsrFaults -v TRUE

This setting allows ESXi to work with different P-Cores and E-Cores, present in 12th Gen Intel CPUs.

Automated Kickstart Method

If you prefer an automated approach, you can also use a scripted kickstart installation to fix the issue for you. In this example, I’m installing ESXi 8.0 using a USB flash drive on an Intel 12th Gen Pro NUC.

1. Create a bootable USB flash drive using the ESXi ISO (See this article for instructions).
2. On the flash drive, open the /efi/boot/boot.cfg file with an editor and add the following options to the kernelopt= line: ks=usb:/KS.CFG cpuUniformityHardCheckPanic=FALSE
   This will instruct the ESXi installer to perform a scripted installation from the /KS.CFG file.
3. As ESXi will not be able to boot without the kernel option and thus does not reach the %firstboot section, you have to manipulate the installed ESXi on the USB flash drive post-installation but before the first reboot. This happens in the %post section.  Create the /KS.CFG file with the following content (fix parameters to match your environment):

   vmaccepteula
   install --firstdisk=usb --overwritevmfs
   
   network --bootproto=static --ip=192.168.0.26 --netmask=255.255.255.0 --gateway=192.168.0.1 --hostname=esx12.virten.lab --nameserver=192.168.0.1
   rootpw VMware1!
   
   %post --interpreter=busybox
   
   /bin/mcopy -o -i /dev/disks/mpx.vmhba32\:C0\:T0\:L0\:5 ::BOOT.CFG /tmp/BOOT.cfg
   /bin/sed -i '/kernelopt/s/$/ cpuUniformityHardCheckPanic=FALSE/' /tmp/BOOT.cfg
   /bin/mcopy -o -i /dev/disks/mpx.vmhba32\:C0\:T0\:L0\:5 /tmp/BOOT.cfg ::BOOT.CFG
   /bin/reboot
   
   %firstboot --interpreter=busybox
   
   # Enable SSH
   vim-cmd hostsvc/enable_ssh
   vim-cmd hostsvc/start_ssh
   
   # Enable ESXi Shell
   vim-cmd hostsvc/enable_esx_shell
   vim-cmd hostsvc/start_esx_shell
   
   # Suppress Shell warning
   esxcli system settings advanced set -o /UserVars/SuppressShellWarning -i 1
   
   # Disable CPU Uniformity Check
   localcli system settings kernel set -s cpuUniformityHardCheckPanic -v FALSE 
   
   # Ignore general protection faults as a result of rdmsr and wrmsr instructions
   localcli system settings kernel set -s ignoreMsrFaults -v TRUE
   # SSH Key
   cat > /etc/ssh/keys-root/authorized_keys <<EOF
   ssh-rsa AAAAB3N[...] yourname
   EOF
   
   # NTP
   esxcli system ntp set -s pool.ntp.org
   esxcli system ntp set -e 1
   

4. Insert the flash drive into your System and power it on. The installation should start automatically and after a couple of minutes, you should be able to access the system with SSH or UI.
5. Please note that the %firstboot section is not applied when Secure Boot is enabled, which is the default for most systems. Consider disabling Secure Boot for the full kickstart pleasure, or run these commands manually. Secure Boot does not affect the %post section, so the mcopy and sed magic will work.

Alternative Option — Disable Performance or Efficient Cores

If you do not want to change kernel options, you can also disable P or E cores to completely get rid of the non-uniform core configuration. For performance, I recommend disabling Efficient Cores. Make also sure to enable Hyperthreading.

1. Make sure to get the latest BIOS version for your NUC
2. Power On the NUC
3. Immediately press F2 to enter BIOS
4. Navigate to Power, Performance and Cooling and set External Ambient Temperature Tolerance to User Defined
5. Navigate to Power, Performance and Cooling > Performance > Processor
6. Set Active Efficient Cores to 0
7. Press F10 to Save and Exit

Всем привет.

Потребовалось по работе установить гипервизор VMware ESXi 6.7 на не серверную машину.

Записав образ на флэшку и начав установку, я увидел вот такую ошибку:

Странно, но в системном блоке целых 2 сетевые карты. Что ж, осталось погуглить.

Решение далее, а так же ссылки на файлы в конце заметки…

Как оказалось, в установочном образе ограниченное количество драйверов, да и те для серверного железа. Что бы понять какие драйвера мне нужны, я загрузился с внешнего диска  (Ubuntu 18.04) и выполнил команду:

результатом стал вывод оборудования:

Можно, конечно, применить фильтр grep для отображения только сетевых карт, но это как кому надо.

ШАГ 1. Скачаем “ESXi Customizer” (на момент заметки версия 2.7.2). Ссылка.

ШАГ 2. Драйвера для сетевой карты.

Далее, на сайте vibsdepot.v-front.de в разделе “List of currently available ESXi packages” необходимо найти нужную сетевую карту. В моём случае это

• net55-r8168: Updated driver for Realtek 8168/8111/8411/8118 based NICs

Переходим и в Direct Download links качаем всё что надо.

ШАГ 3. Добавление драйверов в образ.

Здесь всё просто. Запускаем скачанный из шага 1 ESXi-Customizer-v2.7.2.exe, переходим в созданный им каталог ESXi-Customizer-v2.7.2\ и там запускаем ESXi-Customizer.cmd.

В открывшемся окне программы выбираем:

Все опции предельно ясны, но поясню на всякий случай:

Как только всё это будет указано, смело жмём Run!

После успешного завершения появится вот такое окно

а в папке появится новый образ диска.

! Если требуется добавить несколько драйверов, то шаг 3 надо повторить для каждого отдельно !

Записываем новый образ на флэшку и производим установку.

Ссылки:

оригинал статьи | сохраненная копия

файлы

If you found an error, highlight it and press Shift + Enter or to inform us.

Dear Community,

       Please bare with me, for I am new to hypervisor operation(s). As such, I may make simple mistakes along the way. I purchased a Dell Precision T7500 from a 3rd party recently, with the following specifications:

• CPU :: (1x6crs.) Intel Xeon X5650
• RAM :: (6x2GB) 12GB DDR3

                   NOTE :: 3 active memory channels

• GPU :: (1x) nVIDIA GeForce GTX 550 Ti

                   (1x) nVIDIA GeForce GT 520

• SFX :: (1x) Creative ‘SoundBlaster’ Audigy 2
• STR :: (1x) 4TB HDD

                  (1x) 500GB HDD

                  (1x) 320GB HDD

In addition to this, I should be receiving a CPU/RAM riser and a 2nd (identical) CPU in the mail in a few days/weeks. In that case, I’ll have 2 of the same CPU in this workstation instead of one — and that will be the only thing changing. During the installation, I attempted to install ESXi to the 4TB HDD, to no avail. Here is a video of how my installation went:

ESXi Install Attempt :: Part I — YouTube

The final error that I arrive at is:

• Unable to successfully execute ‘tryFormatDevice’ after 3 tries

I’ve searched across Google, and have only arrived at one possible solution:

Expand the LUN (size?) from 8GB to 16GB.

Possibly related topic: ESX 6.5 is unable to format a partition when installing on iSCSI.

But, how does one expand/extend LUN? Is it in BIOS? Is it something that must be performed in the installer? Please help.