Настройка хранилища iscsi vmware esxi vmotion

Установка VMware ESXi

Приступим к делу.

Скачиваем дистрибутив ESXi с сайта VMware (требуется регистрация), где сразу же регистрируем бесплатный ключ для использования как Freeware-продукта — лишним в хозяйстве не будет. Без ключей ESXi работает в полнофункциональном режиме как коммерческая версия 60 дней — после, в отсутствии ключа до первой перезагрузки. Пишем образ на CD — на момент написания текста, для загрузки доступна версия 6 гипервизора ESXi.

После того, как вы определились с выбором режима работы хоста (RAID, Sata AHCI) с жестким диском, выставляем нужное в настройках BIOS и загружаем сервер с установочного CD-диска. В моем случае использован стандартный эконом-вариант поставки сервера, потому привод был использован внешний через USB.

Рис. 01

Запускаем установщик

Рис. 02

Рис. 03

Принимаем условия лицензии

Рис. 04

Рис. 05

Выбираем диск (массив) для установки

Рис. 06

Раскладку клавиатуры

Рис. 07

Уставливаем пароль для пользователя root

Рис. 08

Рис. 09

Еще раз подтверждаем переразметку жесткого диска (старые данные на диске будут уничтожены!)

Рис. 10

For VMware vSphere Windows Version

Server and Storage Network Settings

Server Network Settings
Role	IP	Description
ESXi host	192.168.217.1	VMware ESXi host
Data Network 1	10.10.10.1	10G Data port 1 in ESXi host
Data Network 2	10.10.20.1	10G Data port 2 in ESXi host

Storage Network Settings
Setting	Value	Description
SCA Management IP	192.168.217.61	Management IP of controller A
SCA Ethernet1 IP	10.10.10.61	Data port 1 IP of controller A
SCA Ethernet2 IP	10.10.20.61	Data port 2 IP of controller A
SCB Management IP	192.168.217.62	Management IP of controller B
SCB Ethernet1 IP	10.10.10.62	Data port 1 IP of controller B
SCB Ethernet2 IP	10.10.20.62	Data port 2 IP of controller B
Pool allocate to SCA	Pool1	RAID6 pool at controller A

With the information listed in the above table, assuming a 100GB LUN is deployed on ES dual controller A (SCA), it can be mounted using the following steps on the ESXi host.

Add iSCSI Targets on VMware ESXi Hosts

Step 1: Log in to vSphere Client and select a host from the inventory panel. Go to the “Configuration” tab and click “Storage Adapters” in the Hardware panel. Click “Add…” on the top right of the window to add a storage adapter.

Step 2: A new software iSCSI adapter will be added to the Storage Adapter list. Select the new software iSCSI adapter on the list and click “Properties”.

Step 3: Ensure the adapter is enabled. If not, click “Configure…”, check «Enabled» and click “OK”.

Step 4: After enabling the adapter, you must set up target discovery addresses so that the iSCSI adapter can determine which storage resource on the network is available. Go to the “Dynamic Discovery” tab and click “Add…” to add the data ports’ IP addresses of both controllers. Then go to the “Static Discovery” tab to view the names and IP addresses of these targets.

Step 5: Click “Close” to close the Properties window. The “Rescan” window will appear. Click “Yes”.

Note:
If CHAP is enabled in the QES NAS iSCSI Target, you should have the same configuration in “CHAP…” in the “Add Send Target Server” window.

Step 6: You can now find the corresponding iSCSI device for the added iSCSI adapter.

Configure the Path for iSCSI Connection

Step 7: Right-click on an iSCSI disk and select “Manage Paths…”

Step 8: Select “Fixed (VMware)” from the “Path Selection” drop-down menu as the path selection policy. Then click “Change” to apply the changes.

Step 9: Specify the preferred path by right-clicking the path you want to assign as the preferred path and select “Preferred”. Then click “OK” to save your settings and exit the dialog box.

Note:
For better iSCSI performance, select the path or Ethernet port which belongs to the Storage Controller that owns the iSCSI LUN. In our example, we chose ports (10.10.10.61/10.10.20.61) which belong to SCA on which Pool 1 was created.

The data port shows below the Target name.

Create a VMFS Datastore in the vSphere Client

Before creating datastores, use the “Rescan” function for the adapters to discover newly added storage devices.

Step 10: Go to the “Configuration” tab and click “Storage” in the Hardware panel. Then click “Datastores” > “Add Storage”.

Step 11: Select “Disk/LUN” as the Storage Type and click “Next”.

Step 12: Select the iSCSI device to use for your datastore and click “Next”.

Step 13: The “Current Disk Layout” page presents the information about this iSCSI disk and its space usage. Confirm the settings and click “Next”.

Step 14: Enter a name for the datastore and click “Next”.

Step 15: Adjust the capacity values and click “Next”. By default, the entire space on the storage device is available.

Step 16: Review the datastore configuration information and click “Finish”.

Step 17: The newly-created datastore on the iSCSI-based storage device will be listed.

Using iSER Protocol with ESXi

In addition to traditional iSCSI, ESXi supports the iSCSI Extensions for RDMA (iSER) protocol. When the iSER protocol is enabled, the iSCSI framework on the ESXi host can use the Remote Direct Memory Access (RDMA) transport instead of TCP/IP.

The traditional iSCSI protocol carries SCSI commands over a TCP/IP network between an iSCSI initiator on a host and an iSCSI target on a storage device. The iSCSI protocol encapsulates the commands and assembles that data in packets for the TCP/IP layer. When the data arrives, the iSCSI protocol disassembles the TCP/IP packets, so that the SCSI commands can be differentiated and delivered to the storage device.

iSER differs from traditional iSCSI as it replaces the TCP/IP data transfer model with the Remote Direct Memory Access (RDMA) transport. Using the direct data placement technology of the RDMA, the iSER protocol can transfer data directly between the memory buffers of the ESXi host and storage devices. This method eliminates unnecessary TCP/IP processing and data coping, and can also reduce latency and the CPU load on the storage device.

In the iSER environment, iSCSI works exactly as before, but uses an underlying RDMA fabric interface instead of the TCP/IP-based interface.

How to access VMFS Datastore from Linux, Windows, and ESXi

Now let’s take a look at how our Support Engineers access the data stored on the VMFS database of the ESXi host.

If the ESXi host crashes, but the local disk (disks) of the server are still functional, then it is always possible to copy the virtual machine files (both data drives and configuration files) from VMFS datastore and run VM on a different server (even on VMware Workstation or Hyper-V). The main problem is that the common operating systems (Windows and Linux) by default do not recognize the partition with the VMFS file system, because they do not have a VMFS driver.

Let’s see the different ways of accessing data on the VMFS datastore.

How to Mount VMFS file system on Linux (Ubuntu)

First, we connect to a physical disk with the VMFS file system to the computer (server) with Ubuntu.

In order to access the data on the VMFS volume, we have to install a special third-party vmfs-tools package. This package allows accessing VMFS from non-ESXi hosts. It is possible to access data on this partition in read-only mode.

We run the below command to install the package.

#apt-get install vmfs-tools

Next, to install package dependencies, we run the below command.

#apt-get install vmfs-tools

After the package is installed, we need to create a mount point in which the VMFS partition will be mounted:

#mkdir /mnt/vmfs

The next step is to look into the partitions on the disks. Creates a number of service partitions when installed in addition to the partition for virtual machine files (VMFS partition).

If the ESXi version is 4 or earlier, or a VMFS storage has been updated from VMFS 3 to VMFS 5, and its size doesn’t exceed 2TB, then we can display the list of disks and partitions by executing below command.

#fdisk -l

As a result of the above command, we found VMFS partition is /dev/sdb3

Now we only have to mount a partition with the VMFS storage:

#vmfs-fuse /dev/sdb3 /mnt/vmfs

Then list the contents of the mounted partition:

#ls -all /mnt/vmfs

Now we see all the virtual machine files on the VMFS storage that is available in read-only mode. It means that we can now copy the directories and/or individual files of the necessary virtual machines to a separate drive and run them on another ESXi host.

Access VMFS Volume from Windows

In order to connect the VMFS volume and access virtual machine files from Windows, we’ll need a special Java driver – Open Source VMFS Driver. This driver requires Java version 6 or later. It allows mounting VMFS volumes in read-only mode.

• First, we download Open Source VMFS Driver (fvmfs_r95_dist.zip and unpack it to any directory (e.g., C:vmfs).
• Next, we can check the operation of the java-application fvmfs.jar by running the below commands. cd vmfsjava -jar fvmfs.jar
• Next, we determine the number of HDDs containing VMFS storage that is connected to the Windows computer. We can find the disk number in the Disk Management Console or using diskpart (in our example, the connected disk has the index 1 – Disk1. For fvmfs driver, this disk has the following name: \.PhysicalDrive1).
• Then we try to get information about this disk: java -jar fvmfs.jar \.PhysicalDrive1 info
• After that, we share this disk with WebDAV: java -jar fvmfs.jar \.PhysicalDrive1 webdav
• Then mount the shared disk: net use * http://localhost:50080/vmfs
• A new disk that contains VMFS datastore available for reading should appear in the system;

However, we don’t close the console window while working with files on the VMFS storage.

Mounting an existing VMFS Datastore on a new ESXi host

As we saw earlier in both of the above cases, third-party VMFS drivers for Linux and Windows do not allow working with VMFS 6.0. Therefore, the best way to access data on a VMFS partition of a failed server is to connect its disks to a new ESXi server.

The new ESXi host must correctly identify the attached VMFS datastore and then we will be able to access the files on it.

Here are the steps that we follow to connect an existing VMFS storage to a new ESXi host without formatting it:

• First, we connect to the new ESXi server using the vSphere Web Client;
• Next, we connect the drive to the new server and run Storage rescan;
• Then we go to the Configure >> Datastores section and select Create a new datastore item;
• After that, we select the storage type: Disk or LUN;
• In the list of available devices, we select the connected drive (LUN) with the VMFS storage;
• Then we select the connection mode. Select Keep the existing signature item;
• We click the Finish button.
• We go to the host’s storage section. Here we select the connected storage. Its contents can be displayed by clicking on the
• Datastore browser button;
• Finally, now we can find the necessary vmx files, register them on the host, and immediately start the critical virtual machines.

Add iSCSI disk and configure it as datastore

We’re coming to the very end of the configuration – everything has been configured and the last step is to create a datastore on the iSCSI disk.

Click on storage pane and choose Adapters and click on Configure iSCSI, on the new windows choose to enable iSCSI, and type in the dynamic address field type in the IP of Windows machine, confirm.

After that head on to Datastores tab and choose Add Datastore to create new VMFS datastore, point it to the Windows datastore and create your datastore.

That’s it, you can use newly created datastore as it was the locally attached disk.

ESXi adding iSCSI disk and creating datastore

Networking ^

First, we need to add a VMkernel network interface card (NIC) to our system so the ESXi host can connect to the remote storage device. To do so select Networking > VMkernel NICs > Add VMkernel NIC.

Add a VMkernel NIC

We will also add a new port group. Please name the port group accordingly. In my example, I named it simply iscsi. Note that our storage system is on another subnet.

Create a new port group

The result should look like the screenshot below:

Add a VMkernel NIC for the iSCSI connection

But that’s not all. Before we go further, we need to make sure that:

• At the vSwitch level: Both physical NICs connected to the ESXi hosts are active.
• At the port group level: A single NIC is set as active. The other one is set as unused.

Navigate to Networking > Virtual Switches > select vSwitch0 > Edit settings, expand the NIC teaming section and make sure both NICs are marked as active. If for some reason one of the NICs isn’t active, please select the NIC and click the Mark as active button.

NIC teaming at the vSwitch level

We also need to override the failover order at the port group level because by default, the port group inherits the setting from our vSwitch. First, navigate to Networking > Port groups TAB, select the iscsi port group > Edit settings > expand the NIC teaming section and then make sure to select Override failover order – Yes. Use the correct NIC for iSCSI storage traffic (vmnic1 in our case).

Override failover order on the iSCSI port group

Next, do the same for the Management Network and the VM network, and now, only select vmnic0.

Override failover order on the Management and VM network port groups

Настройка сети для iSCSI трафика в VMWare ESXi

Сначала нужно создать отдельный VMkernel сетевой интерфейс, который будет испоьзоваться ESXi хостом для доступа к iSCSI хранилищу. Перейдите в раздел Networking -> VMkernel NICs -> Add VMkernel NIC.

Кроме vmk порта нужно сразу создать новая группа портов (New port group). Укажите имя для этой группы – iSCSI и назначьте статический IP адрес для вашего интерфейса vmkernel.

Теперь перейдите в настройки вашего стандартного коммутатора vSwitch0 (Networking -> Virtual Switches). Проверьте, что второй физический интерфейс сервера vmnic1 добавлен в конфигурацию и активен (если нет, нажмите кнопку Add uplink и добавьте его).

Проверьте в секции Nic Teaming что оба физических сетевых интерфейса находятся в статусе Active.

В результате ваш ESXi хост будет использовать для доступа к вашему iSCSI LUN только один интерфейс сервера.

Настройка программного iSCSI адаптера в VMWare ESXi

По умолчанию в ESXi отключен программный адаптер iSCSI. Чтобы включить его, перейдите в раздел Storage -> Adapters. Нажмите на кнопку Software iSCSi.

Измените iSCSI enable на Enabled.

Затем в секции Dynamic targets добавьте IP адрес вашего iSCSI хранилища и порт подключения (по-умолчанию для iSCSI трафика используется порт TCP 3260). ESXi просканирует все iSCSI таргеты на этом хосте и выведет их в списке Static Targets.

Сохраните настройки

Обратите внимание, что на вкладке Storage -> Adapters появился новый HBA vmhba65 типа iSCSI Software Adapter

Если вы не видите список iSCSI таргетов на СХД, можно продиагностировать доступность iSCSI диска через консоль ESXi.

Включите на ESXi хосте SSH и подключитесь к нему с помощью любого SSH клиента (я использую встроенный SSH клиент Windows 10)

С помощью следующей команды можно выполнить проверку доступности вашего iSCSI хранилища (192.168.13.10) с указанного vmkernel порта (vmk1) :

В этом примере iSCSI хранилище отвечает на ping.

Теперь нужно проверить, что на хранилище доступен iSCSI порт TCP 3260 (в этом примере 192.168.13.60 это IP адреса интерфейса vmk1):

Проверьте, что на хосте включен программный iSCSI:

Если нужно, включите его:

Также можно получить текущие параметры программного HBA адаптера iSCSI:

When to use iSCSI port binding

This is where iSCSI Port Binding comes in to play. If you have an ESXi host that has multiple vmk adapters sitting on the same subnet, you can bind the software iSCSI initiators (vmk adapters) to the physical NICs (vmnics). This allows multiple iSCSI connections on multiple NICs residing on the same subnet to transmit and handle the traffic properly.

So the general rule of thumb is:

• One subnet, iSCSI port binding is the way to go!
• Two or more subnets (multiple subnets), do not use iSCSI Port Binding! It’s just not needed since all vmknics are residing on different subnets.

Additional Information

Here’s two links to VMWare documentation explaining this in more detail:

• VMware – Multi-homing on ESXi/ESX (2010877)
• VMware – Considerations for using software iSCSI port binding in ESX/ESXi (2038869)

For more information on configuring a vSphere Distributed Switch for iSCSI MPIO, click here!

And a final troubleshooting note: If you configure iSCSI Port Binding and notice that one of your interfaces is showing as “Not Used” and the other as “Last Used”, this is most likely due to either a physical cabling/switching issue (where one of the bound interfaces can’t connect to the iSCSI target), or you haven’t configured permissions on your SAN to allow a connection from that IP address.

Preface

We are proceeding under the assumption that if you have gotten this far you can write the operating system installer ISOs to a USB thumb drive. Installing operating systems is pretty trivial. We will, however, lead you to all of the necessary official documentation in order to accomplish that goal. If you are a Windows user, the easiest way to do create an installer USB drive would be to use Rufus.

The latest ISO of the TruNAS CORE BETA can be found here and documentation from iXsystems on how to install TrueNAS Core can be found here.

Once we have installed our operating system, all that needs to be done is to give each our server an IP address in the 10.99.10.0/24 subnet. For the sake of this article, I have given TrueNAS Core the IP 10.99.10.11.  Documentation from iXsystems on how to do initial setup in TrueNAS Core can be found here.

The latest ISO of VMware ESXi can be found for free online here. Documentation from VMWare on how to install ESXi can be found here. For the sake of this article, I have given ESXI the IP 10.99.10.10. Documentation from VMWare on how to set the management IP in ESXI can be found from VMWare here.

Удаленная установка ESXi через iLO

Для начала, нам необходимо попасть в эту самую Integrated Remote Console.

Попав в неё, если сервер выключен, мы увидим следующую картину:

Power Switch и Virtual Drives понадобятся нам для дальнейшей настройки сервера

После того как мы попали в iLO Integrated Remote Console, нам необходимо подключить к серверу, скачанный ранее образ ESXi

Нажимаем на Virtual Drives и на пункт Image File. В меню выбора файла выбираем образ ISO ESXi который необходимо установить.

Далее остается только включить сервер и начать установку

Нажимаем на пункты Power Switch => Momentary Press и ждем пока сервер загрузится в установщик ESXi. Сразу после включения сервер начнет проверять оперативную память. Если у вас на сервере её много, этот процесс может занять продолжительное время. На моем тестовом сервере ~256 Gb оперативной памяти и этот процесс занимает около минуты.

После того как ваш будущий гипервизор радостно поприветствовал вас на своем первом экране, нажимаем Enter

Нажав F11, принимаем условия

Видим что на стенде есть логический раздел и флешка SanDisk. Выбираем SanDisk и жмем Enter

Установщик выдаст предупреждение о том что вся информация на диске будет стёрта, готовы ли вы к этому и т.д. Нажимаем OK.

Нас просят выбрать раскладку клавиатуры. Я всегда оставляю US Default

На следующем шаге нас попросят ввести пароль от гипервизора

Внимание! Этот пароль понадобится нам для всех дальнейших действий с гипервизором, поэтому его надо запомнить!. Указываем два раза наш пароль, и нажимаем Enter, открывается окно окончательного подтверждения

Нажимаем F11

Указываем два раза наш пароль, и нажимаем Enter, открывается окно окончательного подтверждения. Нажимаем F11

После того как мы нажали F11, осталось только дождаться когда установка ESXi будет завершена. По окончании нам нужно будет извлечь установочный образ из виртуального привода, перейдя по пути Virtual Drives => Image File. Нажатие на этот пункт снимет галочку и установочный образ больше не будет использоваться при загрузке. После всего нажимаем Enter, сервер уходит в ребут, загружает гипервизор, который в свою очередь получает по DHCP локальный адрес, куда можно будет подключиться по http.

Для авторизации на новеньком гипервизоре, нужно будет указать в качестве логина root, а в качестве пароля, тот что мы задавали в процессе установки.

Установка esxi 6.5, с правильной настройкой

Добрый день! Уважаемые читатели и гости, крупнейшего IT блога Pyatilistnik.org. Продолжаем с вами изучать технологии виртуализации и различные гипервизоры. В прошлый раз мы с вами рассматривали установку гипервизора ESXI 5.5, данная версия хорошая, но уже имеет обновленную версию 6.5 или 6.7. Сегодня я подробно рассмотрю, как производится установка Esxi 6.5 с последующей, начальной настройкой, которая вам позволит получить хост виртуализации, готовый к вводу в эксплуатацию со всеми последними возможностями. В следующих статьях, я покажу алгоритм перехода с 5.5 на 6.5 и выше.

Включение Multi-Writer VMDK через SSH

1. Выключите виртуальную машину.
2. Войдите на хост ESXi по ssh, на котором расположена виртуальная машина.
3. Перейдите к конфигурационному файлу виртуальной машины ( VM_name.vmx) (расположенному в /vmfs/volume/datastore_name/vm_name).
4. Всегда рекомендуется создать резервный файл .VMX перед внесением изменений в файл конфигурации виртуальной машины. Вы можете создать резервную копию с помощью команды ( CP VM_name.vmx VM_name.VMX.bak )
5. Откройте и отредактируйте исходный .vmx-файл с помощью текстового редактора, такого как редактор VI. Введите «i», чтобы начать вносить изменения.
6. Добавьте эту запись в конец .vmx-файла: SCSI0: 1.sharing = «multi-writer» , для каждого диска отдельная запись
7. Закройте и сохраните файл .vmx, используя (: wq)

НА CentOS 7 посмотреть общие диски можно командой cat VM_Name.VMX | grep multi-writer. Надеюсь, что я подробно и доступно объяснил, о общих кластерных дисках, используемых в VMware ESXI. С вами был Иван Семин, автор и создатель портала Pyatilistnik.org.

Creating the Distributed vSwitch

The first step, if you haven’t already done so is creating the distributed vSwitch. Under the networking tab, right-click on your datacenter, choose distributed virtual switches and then “New…”

Name it whatever. I am going to use iSCSI to make it easier to identify from my others.

The next screen choose your version, basically whatever the minimum version of the hosts participating in your DvSwitch is the version you should choose. I’ll go with 6.5.0.

Now the number of uplinks. This is how many physical NICs each host will be contributing to this distributed switch. For redundancy, I will use 2. I will give the port group the name iSCSI-PG1.

Finish the wizard.

Now you will see a new DvSwitch created, with an uplink object and your port group(s).

Now depending on how many physical NICs you mean to add to your iSCSI initiator configuration dictates how many port groups you need. This is due to the fact that your vmkernel adapters, when used with iSCSI, must be connected to one and only one physical NIC. In DvSwitches, this vmkernel port inherits the physical NIC configuration of the port group. Therefore, for each NIC, add one port group. I plan on using two NICs, so I need to create one more port group (since the first wizard creating.

Right-click the DvSwitch and choose “Distributed Port Group”, then “New Distributed Port Group”…

Give the PG a name and accept the defaults (unless you know you need changes):

If you have a special VLAN you can add it here.

And done:

Ограничения общих дисков VMware ESXI

Без некоторых нюансов все же не обошлось, хочу выделить некоторые ограничения при использовании общих дисков:

Самое главное, что у вас пропадет возможность производить миграцию виртуальной машины, обычный vMotion и Storage vMotion (Подробнее https://kb.vmware.com/s/article/1003797)

Например, при попытке сделать Storage vMotion вы получите ошибку:

Virtual machine is configured to use a device that prevents the operation: Device ‘SCSI controller 1’ is a SCSI controller engaged in bus-sharing

Если нужно будет мигрировать, то придется выключать виртуалку.

Вы не сможете на живую произвести расширение дисков, при попытке вы получите вот такую ошибку:

The disk extend operation failed: The virtual disk requires a feature not supported by this program. Hot-extend is currently supported only for VMFS flat virtual disks without snapshots opened in persistent mode.

Если вы вдруг разметите оба диска в NTFS на двух хостах и попытаетесь на них писать, создав на одном одну папку, а на втором вторую, то хосты эти папки не увидят, каждый свою, учтите, это вам не общий диск с синхронизацией файлов, Multi-Writer VMDK именно нужен для кластеризации.

Why an iSCSI datastore in the home lab?

As a quick overview of why I want/need an iSCSI datastore in the home lab, in addition to other storage technologies such as VMware vSphere and local datastores, it all comes down to options. Having the traditional iSCSI storage available to my vSphere hosts gives me additional options to move workloads around and even as a target possibly for VM replicas.

It will also provide a good backup storage technology in case I have an outage on my main vSAN cluster. Also, I have always liked SANs NASs and other storage technologies. So, it is great to have this to play with, in the home lab environment once again.