Установка Qlogick QLE7430 в CentOS 7

Доброго времени друзья! Добавлю небольшую заметку о том как установить и настроить Infiniband с сетевой картой Qlogick QLE7430 в CentOS 7. В большинстве случаев все достаточно просто, устанавливаем группу пакетов «Infiniband Support», запускаем RDMA, и настраиваем конфигурацию сети. Но с некоторыми версиями ядра Linux, например с 4.18.0 могут возникнуть проблемы, а именно отсутствие драйвера ib_qib, для этого потребуется установка пакета OFED (MLNX_OFED) с сайта NVideo, который включает данный драйвер.

Установка

Просмотр кода CONSOLE

yum -y groupinstall "Infiniband Support"
yum -y install infiniband-diags perftest gperf

Удаление

Просмотр кода CONSOLE

yum -y groupremove "Infiniband Support"

Запуск RDMA services

Просмотр кода CONSOLE

systemctl start rdma
systemctl enable rdma

Конфигурация ib0

Просмотр кода CONSOLE

vi /etc/sysconfig/network-scripts/ifcfg-ib0

Просмотр кода TEXT

DEVICE=ib0
TYPE=infiniband
BOOTPROTO=static
IPADDR=192.168.4.62
NETMASK=255.255.255.0
NETWORK=192.168.4.0
BROADCAST=192.168.4.255
ONBOOT=yes
NM_CONTROLLED=no

Просмотр кода CONSOLE

systemctl restart network

Для подключения server to server

При подключении без использования коммутатора, чтобы инициализировать карты, также нужно установить службу opensp (достаточно на одном сервере):

Просмотр кода CONSOLE

sudo yum install opensm

И включить порт:

Просмотр кода CONSOLE

ibportstate -D 0 1 enable

Проверяем статус:

Просмотр кода CONSOLE

ibstat

Скорость работы PCIE

Просмотр кода CONSOLE

lspci -vvv -s 0000:01:00.0 | grep -i "LnkCap\|LnkSta"

Скорость работы сети IB

Устанавливаем на оба сервера iperf3:

Просмотр кода CONSOLE

yum install iperf3

Понимаем сервер:

Просмотр кода CONSOLE

iperf3 -s

Подключаемся клиентом к серверу (и наблюдаем за скоростью работы сети):

Просмотр кода CONSOLE

iperf3 -c 10.0.0.2

OFED (MLNX_OFED)

(в моем случае не помогло, перешел на ядро 3.10)

Проверка наличия драйвера ib_qib:

Просмотр кода CONSOLE

sudo modprobe ib_qib
ibv_devinfo

Если драйвера нет, скачиваем пакет по ссылке https://network.nvidia.com/products/infiniband-drivers/linux/mlnx_ofed/, указав свою версия Linux. При этом версию пакета OFED для Centos 7 лучше выбрать старую, например 4.9 или 5.1.

Просмотр кода CONSOLE

tar -xzf MLNX_OFED_LINUX-4.9-0.1.7.0-rhel7.9-x86_64.tgz
 
cd MLNX_OFED_LINUX-4.9-0.1.7.0-rhel7.9-x86_64
 
sudo ./mlnxofedinstall --add-kernel-support --force
 
reboot

В ходе компиляции и установки может потребоваться установка зависимостей, об этом сообщит программ установки.

П.С., Оба устройства поднимаются из коробки на ядре 3.10.0-1160.71.1.el7, т.к. ядро имеет их встроенную поддержку.