CentOS7 ovs(Open vSwitch)+DPDKのビルドとネットワーク設定方法

CentOS7によるovs(Open vSwitch)+DPDKのビルドとネットワーク設定方法について記載しました。
前回記事にDPDKを実装しました。
当初はOvSもDPDKもrpmビルドしたものをインストールするところまではOKだったのですが、いざ仮想マシンからトラフィックを流すと上手く流れず・・・だったので、ソースからビルドしました。

1.構成

1-1.環境

筐体                             : ProLiant DL360e Gen8
System ROM                       : P73 01/22/2018
NIC                              : Intel X540-AT2
OS                               : CentOS7.6(1810)
Kernel                           : 3.10.0-957.el7.x86_64
Installed Environment Groups     : Server with GUI
Add-Ons for Selected Environment : Virtualization Client, Virtualization Hypervisor, Virtualization Tools 
ovs                              : 2.10.90
DPDK                             : 18.11

2020/08/09追記
以下のOvS Versionにて動作確認を行ったところ、一部手順が変わっていたため、「2020/08/09追記」として追記します。

ovs                              : 2.13.0
DPDK                             : 19.11.2

1-2.全体の流れ

事前準備
DPDKソースビルド
OvSソースビルド
OvS+DPDKのネットワーク設定
仮想マシンのvirsh edit

2.事前準備

2-1.qemu-kvm-evのインストール

CentOS7のqemu-kvmですと、vHostUserClientに対応していないため、qemu-kvm-evを事前にインストールしておきます。

yum -y install centos-release-qemu-ev
sed -i -e "s/enabled=1/enabled=0/g" /etc/yum.repos.d/CentOS-QEMU-EV.repo
yum --enablerepo=centos-qemu-ev -y install qemu-kvm-ev
systemctl restart libvirtd
/usr/libexec/qemu-kvm -version

qemu-evリポジトリファイルのインストール
qemu-evリポジトリの常時無効化*1
qemu-kvm-evのインストール
libvirtd再起動
qemu-kvmのVersion確認

2-2.qemu-kvmの実行ユーザをrootへ変更

qemu-kvmの実行ユーザをqemu→rootに変更します。

vi /etc/libvirt/qemu.conf

user = "root"　　#コメントを外す
group = "root"　 #コメントを外す

viで/etc/libvirt/qemu.confを開き、上記ユーザとグループの行をコメントアウト。

2-3.必要なパッケージのインストール

yum -y install libpcap-devel numactl-devel

2020/08/09追記

yum -y install libcap-ng-devel python3

2-4.HugePageとIOMMUの有効化

sed -i -e "/GRUB_CMDLINE_LINUX=/s/\"$/ default_hugepagesz=1G hugepagesz=1G hugepages=16\"/g" /etc/default/grub
sed -i -e "/GRUB_CMDLINE_LINUX=/s/\"$/ intel_iommu=on iommu=pt pci=realloc\"/g" /etc/default/grub
grub2-mkconfig -o /etc/grub2.cfg
reboot

hugepageの有効化
iommuの有効化*2
grubに設定反映
再起動

2-5.HugePageの確認とマウント

grep Huge /proc/meminfo

出力例
# grep Huge /proc/meminfo
AnonHugePages:    135168 kB
HugePages_Total:      16
HugePages_Free:       16
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:    1048576 kB

vi /etc/fstab

最終行に以下を追記
nodev  /mnt/huge_1GB hugetlbfs pagesize=1GB    0 0

HugePageの割り当て状況確認
HugePageの永続化マウント

2-6.vfio-pciの設定

echo "vfio-pci" > /etc/modules-load.d/vfio-pci.conf
echo "options vfio_iommu_type1 allow_unsafe_interrupts=1" > /etc/modules-load.d/iommu.conf

vfio-pciの永続化設定
vfio-pciのiommu利用の永続化

2-6’.uio_pci_generic設定

vfio-pciが利用できない場合は、uio_pci_genericを使用します。

echo "uio_pci_generic" > /etc/modules-load.d/uio_pci_generic.conf

uio_pci_genericの永続化設定

ここまでの準備が整ったら一旦再起動してください。

reboot

3.DPDKソースビルド

3-1.ビルド環境準備

ビルド環境の準備をします。

cd /usr/src/
wget http://fast.dpdk.org/rel/dpdk-18.11.tar.xz
tar xf dpdk-18.11.tar.xz
export DPDK_DIR=/usr/src/dpdk-18.11
cd $DPDK_DIR

ディレクトリ移動
ソースのダウンロード
ソースのtarファイルを解凍
パスのエクスポート
ディレクトリ移動

2020/08/09追記

cd /usr/src/ && \
wget http://fast.dpdk.org/rel/dpdk-19.11.2.tar.xz && \
tar xf dpdk-19.11.2.tar.xz && \
export DPDK_DIR=/usr/src/dpdk-stable-19.11.2 && \
cd $DPDK_DIR

3-2.ビルド

ソースからビルドします。

export DPDK_TARGET=x86_64-native-linuxapp-gcc
export DPDK_BUILD=$DPDK_DIR/$DPDK_TARGET
make install T=$DPDK_TARGET DESTDIR=install

パスのエクスポート
パスのエクスポート
ビルド＆インストール

多少時間は掛かりますが、最後の方は以下のような出力がでれば正常にビルドが完了しています。

  INSTALL-APP dpdk-test-eventdev
  INSTALL-MAP dpdk-test-eventdev.map
Build complete [x86_64-native-linuxapp-gcc]
================== Installing install/
Installation in install/ complete

4.OvSソースビルド

4-1.ビルド環境準備

ビルド環境の準備をします。

cd /usr/src
git clone https://github.com/openvswitch/ovs.git

ディレクトリ移動
git cloneにてソースのダウンロード

4-2.ビルド

ソースからビルドします。

cd /usr/src/ovs
./boot.sh
./configure --with-dpdk=$DPDK_BUILD
make && make install

ディレクトリ移動
boot.sh実行
configure実行
ビルド＆インストール

2019/12/28 追記
上記のmakeでエラーとなる場合は以下で実施してみてください。

cd /usr/src/ovs
./boot.sh
./configure --with-dpdk=$DPDK_BUILD CFLAGS="-g -O2 -msse4.1" && \
make && make install

上記のうち、$DPDK_BUILDは以下のパスとなります。

/usr/src/dpdk-18.11/x86_64-native-linuxapp-gcc

DPDKビルドの流れで記載しているため、$DPDK_BUILDをそのまま記載していますが、configure実行時にNo such file or directoryが表示されるようであれば、上記の絶対パスを以下のように記載して実行ください。

./configure --with-dpdk=/usr/src/dpdk-18.11/x86_64-native-linuxapp-gcc

多少時間は掛かりますが、最後の方は以下のような出力がでれば正常にビルドが完了しています。

make[3]: Leaving directory `/usr/src/ovs'
make[2]: Leaving directory `/usr/src/ovs'
make[1]: Leaving directory `/usr/src/ovs'

2020/08/09追記
4-1と4-2を合わせて以下の手順でインストールしてください。

cd /usr/src && \
wget https://www.openvswitch.org/releases/openvswitch-2.13.0.tar.gz && \
tar zxvf openvswitch-2.13.0.tar.gz

cd /usr/src/openvswitch-2.13.0 && \
./boot.sh && \
./configure --with-dpdk=$DPDK_BUILD CFLAGS="-Ofast -msse4.2 -mpopcnt" && \
make && make install

5.OvS+DPDKのネットワーク設定

5-1.全体構成

f:id:metonymical:20190106225241j:plain
前回記事の構成図と比較してください。
グレーアウト＆斜体文字になっているのが前回設定した箇所です。
今回は(1)～(6)の黒文字になっている箇所を設定していきます。

5-2.全体の流れ～概要～

DPDKにバインド：(1)(2)
Bridge作成：(3)
Bond作成：(4)
vHostUserClientポート作成：(5)
仮想マシンの設定：(6)

5-3.コマンド投入前準備1

コマンド投入前には以下のようにパスを通しておいてください。*3

vi /root/.bash_profile

PATH=$PATH:$HOME/bin:/usr/local/share/openvswitch/scripts:/usr/src/dpdk-18.11/usertools
export PATH

2020/08/09追記

vi /root/.bash_profile

PATH=$PATH:$HOME/bin:/usr/local/share/openvswitch/scripts:/usr/src/dpdk-stable-19.11.2/usertools
export PATH

5-4.コマンド投入前準備2

OvSを起動後、DPDK周りの詳細設定を追加しておきます。

ovs-ctl --system-id=random start
ovs-vsctl --no-wait set Open_vSwitch . other_config:dpdk-init=true
ovs-vsctl --no-wait set Open_vSwitch . other_config:dpdk-socket-mem=1024,1024
ovs-vsctl --no-wait set Open_vSwitch . other_config:vhost-iommu-support=true
ovs-vsctl --no-wait set Open_vSwitch . other_config:pmd-cpu-mask=0x33
ovs-vsctl --no-wait get Open_vSwitch . other_config

OvSサービスの開始
DPDKの初期化
NUMA毎のメモリ設定(単位MB)
PMD-CPUマスクの設定
設定内容の確認

上記のうち、dpdk-init=true以外はチューニングパラメータなので、設定しなくてもとりあえずは動きます。

5-5.全体の流れ～コマンドのみ～

以下のコマンドを投入していきます。
やりたいことが既に決まっている方は、構成図とコマンドの内容を見るだけでもよいと思います。

1.DPDKにバインド
(1)
dpdk-devbind.py --status
dpdk-devbind.py --bind=vfio-pci ens1f0
(2)
dpdk-devbind.py --bind=vfio-pci ens1f1
dpdk-devbind.py --status

2.Bridge作成
(3)
ovs-ctl --system-id=random stop
ovs-ctl --system-id=random start
ovs-vsctl add-br ovsbr0 -- set bridge ovsbr0 datapath_type=netdev

3.Bond作成
(4)
ovs-vsctl add-bond ovsbr0 bond0 dpdk0 dpdk1 \
 vlan_mode=trunk trunks=11,300-304 \
 bond_mode=balance-tcp lacp=active other_config:lacp-time=fast \
 -- set Interface dpdk0 type=dpdk options:dpdk-devargs=0000:08:00.0 \
 -- set Interface dpdk1 type=dpdk options:dpdk-devargs=0000:08:00.1

4.vHostUserClientポート作成
(5)
mkdir -p /usr/local/openvswitch/
touch /usr/local/openvswitch/vhuc0

ovs-vsctl add-port ovsbr0 vhuc0 \
 vlan_mode=access tag=300 \
 -- set Interface vhuc0 type=dpdkvhostuserclient \
 options:vhost-server-path=/usr/local/openvswitch/vhuc0

5.仮想マシンの設定
(6)
virsh edit Guest3

  <currentMemory unit='KiB'>1048576</currentMemory>
  <memoryBacking>
    <hugepages>
      <page size='1048576' unit='KiB' nodeset='0'/>
    </hugepages>
  </memoryBacking>
  
  <cpu mode='host-passthrough' check='none'>
    <numa>
      <cell id='0' cpus='0' memory='1048576' unit='KiB' memAccess='shared'/>
    </numa>
  </cpu>

  <interface type='vhostuser'>
    <source type='unix' path='/usr/local/openvswitch/vhuc0' mode='server'/>
    <model type='virtio'/>
  </interface>
※
青=追記,緑=置換

2020/08/09追記
仮想マシンのメモリは8GB、Hugepageは1GBとすることで、どこがどこに対応しているのかわかるように記載しました。
また、最新の公式DocではCPU Pinningを実施していましたので、それに合わせています。
加えて「cpuset」を意図的に0-3から10-13に変えることにより、vCPUとPinningされる実際のCPUコアがどこに対応するかをわかるように記載しました。
さらに付け加えると、OvS-DPDKで使用しているCPUコアと被らないようにする意図もあります。*4

5.仮想マシンの設定
(6)
virsh edit Guest3

  <currentMemory unit='KiB'>8388608 </currentMemory>
  <memoryBacking>
    <hugepages>
      <page size='1048576' unit='KiB' nodeset='0'/>
    </hugepages>
  </memoryBacking>
  <vcpu placement='static'>4</vcpu>
  <cputune>
    <shares>8192</shares>
    <vcpupin vcpu='0' cpuset='10'/>
    <vcpupin vcpu='1' cpuset='11'/>
    <vcpupin vcpu='2' cpuset='12'/>
    <vcpupin vcpu='3' cpuset='13'/>
    <emulatorpin cpuset='10-13'/>
  </cputune>

  <cpu mode='host-model' check='partial'>
    <model fallback='allow'/>
    <numa>
      <cell id='0' cpus='0-3' memory='8388608' unit='KiB' memAccess='shared'/>
    </numa>
  </cpu>

  <interface type='vhostuser'>
    <source type='unix' path='/usr/local/openvswitch/vhuc0' mode='server'/>
    <model type='virtio'/>
  </interface>
※
青=追記,緑=置換

6.DPDKにバインド

Kernel上で動作しているX540をDPDK上で動作されるようにバインドします。
(1)
dpdk-devbind.py --status
dpdk-devbind.py --bind=vfio-pci ens1f0
(2)
dpdk-devbind.py --bind=vfio-pci ens1f1
dpdk-devbind.py --status

[root@c765 ~]# dpdk-devbind.py --status

Network devices using kernel driver
===================================
0000:02:00.0 'I350 Gigabit Network Connection 1521' if=eno1 drv=igb unused=vfio-pci,uio_pci_generic *Active*
0000:02:00.1 'I350 Gigabit Network Connection 1521' if=eno2 drv=igb unused=vfio-pci,uio_pci_generic
0000:02:00.2 'I350 Gigabit Network Connection 1521' if=eno3 drv=igb unused=vfio-pci,uio_pci_generic
0000:02:00.3 'I350 Gigabit Network Connection 1521' if=eno4 drv=igb unused=vfio-pci,uio_pci_generic
0000:08:00.0 'Ethernet Controller 10-Gigabit X540-AT2 1528' if=ens1f0 drv=ixgbe unused=vfio-pci,uio_pci_generic
0000:08:00.1 'Ethernet Controller 10-Gigabit X540-AT2 1528' if=ens1f1 drv=ixgbe unused=vfio-pci,uio_pci_generic

[root@c765 ~]# dpdk-devbind.py --bind=vfio-pci ens1f0
[root@c765 ~]# dpdk-devbind.py --bind=vfio-pci ens1f1
[root@c765 ~]# dpdk-devbind.py --status

Network devices using DPDK-compatible driver
============================================
0000:08:00.0 'Ethernet Controller 10-Gigabit X540-AT2 1528' drv=vfio-pci unused=ixgbe,uio_pci_generic
0000:08:00.1 'Ethernet Controller 10-Gigabit X540-AT2 1528' drv=vfio-pci unused=ixgbe,uio_pci_generic

Network devices using kernel driver
===================================
0000:02:00.0 'I350 Gigabit Network Connection 1521' if=eno1 drv=igb unused=vfio-pci,uio_pci_generic *Active*
0000:02:00.1 'I350 Gigabit Network Connection 1521' if=eno2 drv=igb unused=vfio-pci,uio_pci_generic
0000:02:00.2 'I350 Gigabit Network Connection 1521' if=eno3 drv=igb unused=vfio-pci,uio_pci_generic
0000:02:00.3 'I350 Gigabit Network Connection 1521' if=eno4 drv=igb unused=vfio-pci,uio_pci_generic

バインドされると、X540がNetwork devices using DPDK-compatible driverに表示されます。

今回利用するドライバはvfio-pciですが、uio_pci_genericでも利用可能です。
利用したい場合は、以下のように変更すればOKです。

dpdk-devbind.py --bind=uio_pci_generic ens1f0

また、vfio-pciを利用するにあたり、ProLiant DL360G8を使用している方はRMRR設定が必要になる場合があります。
以下のサイトを参考にしてみてください。
DPDK and RMRR Compatibility Issues on the HP Proliant DL360e G8 | www.jimmdenton.com
https://support.hpe.com/hpsc/doc/public/display?sp4ts.oid=7271259&docId=emr_na-c04781229&docLocale=ja_JP

7.Bridge作成

念のため、ovsの再起動をした後、Bridge作成を行ってください。
(3)
ovs-ctl --system-id=random stop
ovs-ctl --system-id=random start
ovs-vsctl add-br ovsbr0 -- set bridge ovsbr0 datapath_type=netdev

[root@c765 ~]# ovs-ctl --system-id=random stop
Exiting ovs-vswitchd (20081)                               [  OK  ]
Exiting ovsdb-server (20063)                               [  OK  ]
[root@c765 ~]# ovs-ctl --system-id=random start
Starting ovsdb-server                                      [  OK  ]
Configuring Open vSwitch system IDs                        [  OK  ]
Starting ovs-vswitchd Zone 0: name:, len:0x35840, virt:0x17ffb35c0, socket_id:0, flags:0
physical segments used:
  addr: 0x140000000 iova: 0x140000000 len: 0x40000000 pagesz: 0x40000000
Zone 1: name:, len:0x80180, virt:0x17ff25800, socket_id:0, flags:0
physical segments used:
  addr: 0x140000000 iova: 0x140000000 len: 0x40000000 pagesz: 0x40000000
Zone 2: name:, len:0x980, virt:0x17fca4ac0, socket_id:0, flags:0
physical segments used:
  addr: 0x140000000 iova: 0x140000000 len: 0x40000000 pagesz: 0x40000000
Zone 3: name:, len:0x80180, virt:0x17fc14880, socket_id:0, flags:0
physical segments used:
  addr: 0x140000000 iova: 0x140000000 len: 0x40000000 pagesz: 0x40000000
Zone 4: name:, len:0x980, virt:0x17f993b40, socket_id:0, flags:0
physical segments used:
  addr: 0x140000000 iova: 0x140000000 len: 0x40000000 pagesz: 0x40000000
                                                           [  OK  ]
Enabling remote OVSDB managers                             [  OK  ]
[root@c765 ~]# ovs-vsctl add-br ovsbr0 -- set bridge ovsbr0 datapath_type=netdev

正常にBridgeが作成されると上記のような出力となります。
ちなみに、name:, len:0x80180, virt:0x17ff25800, socket_id:0, flags:0といった出力より、X540の各ポート*5に対してメモリの割り当て行っているようです。

8.Bond作成

ovsbr0上にアップリンクポート*6を追加し、Bondを組みます。また、TrunkとLACPの設定も同時に追加します。
(4)
ovs-vsctl add-bond ovsbr0 bond0 dpdk0 dpdk1 \
vlan_mode=trunk trunks=11,300-304 \
bond_mode=balance-tcp lacp=active other_config:lacp-time=fast \
-- set Interface dpdk0 type=dpdk options:dpdk-devargs=0000:08:00.0 \
-- set Interface dpdk1 type=dpdk options:dpdk-devargs=0000:08:00.1
ovs-vsctl show

[root@c765 ~]# ovs-vsctl add-bond ovsbr0 bond0 dpdk0 dpdk1 \
>  vlan_mode=trunk trunks=11,300-304 \
>  bond_mode=balance-tcp lacp=active other_config:lacp-time=fast \
>  -- set Interface dpdk0 type=dpdk options:dpdk-devargs=0000:08:00.0 \
>  -- set Interface dpdk1 type=dpdk options:dpdk-devargs=0000:08:00.1
[root@c765 ~]# ovs-vsctl show
8daaa733-f6ef-4b67-a1a9-581875f33420
    Bridge "ovsbr0"
        Port "ovsbr0"
            Interface "ovsbr0"
                type: internal
        Port "bond0"
            trunks: [11, 300, 301, 302, 303, 304]
            Interface "dpdk0"
                type: dpdk
                options: {dpdk-devargs="0000:08:00.0"}
            Interface "dpdk1"
                type: dpdk
                options: {dpdk-devargs="0000:08:00.1"}
    ovs_version: "2.10.90"
[root@c765 ~]#

上記のように追加されていればOKです。

FullTrunkにしたい場合は、以下の行を削除してください。

vlan_mode=trunk trunks=11,300-304 \

スイッチ側の仕様でLACPが組めない場合、以下のように修正してください。

 bond_mode=balance-tcp lacp=active other_config:lacp-time=fast \
　↓
 bond_mode=balance-slb \

9.vHostUserClientポート作成

ovsbr0上にダウンリンクポート*7を追加します。
先にSocketファイルとなるvhuc0を作成し、その後ovsbr0にポートを追加します。
(5)
mkdir -p /usr/local/openvswitch/
touch /usr/local/openvswitch/vhuc0

ovs-vsctl add-port ovsbr0 vhuc0 \
vlan_mode=access tag=300 \
-- set Interface vhuc0 type=dpdkvhostuserclient \
options:vhost-server-path=/usr/local/openvswitch/vhuc0

ovs-vsctl show

[root@c765 ~]# mkdir -p /usr/local/openvswitch/
[root@c765 ~]# touch /usr/local/openvswitch/vhuc0
[root@c765 ~]# ovs-vsctl add-port ovsbr0 vhuc0 \
>  vlan_mode=access tag=300 \
>  -- set Interface vhuc0 type=dpdkvhostuserclient \
>  options:vhost-server-path=/usr/local/openvswitch/vhuc0
[root@c765 ~]# ovs-vsctl show
8daaa733-f6ef-4b67-a1a9-581875f33420
    Bridge "ovsbr0"
        Port "ovsbr0"
            Interface "ovsbr0"
                type: internal
        Port "bond0"
            trunks: [11, 300, 301, 302, 303, 304]
            Interface "dpdk1"
                type: dpdk
                options: {dpdk-devargs="0000:08:00.1"}
            Interface "dpdk0"
                type: dpdk
                options: {dpdk-devargs="0000:08:00.0"}
        Port "vhuc0"
            tag: 300
            Interface "vhuc0"
                type: dpdkvhostuserclient
                options: {vhost-server-path="/usr/local/openvswitch/vhuc0"}
    ovs_version: "2.10.90"

上記のように追加されていればOKです。
ちなみに、vlan_mode=access tag=300としましたが、tag=300のみでも自動的にaccessポートにしてくれます。
また、trunkポートにしたい場合は、Bond設定で投入した「vlan_mode=trunk trunks=11,300-304」を参考に置換してください。

10.仮想マシンの設定

virshで仮想マシンの設定を編集します。
これにより、以下3点を実施します。
・仮想マシン上でHugePageを利用可能にする
・仮想マシンに対してCPUのパススルー機能を有効化する
・vHostUserにてNICを追加する
(6)
virsh edit Guest3

<interface type='vhostuser'>
<source type='unix' path='/usr/local/openvswitch/vhuc0' mode='server'/>
<model type='virtio'/>
</interface>
※
青=追記,緑=置換

[root@c765 ~]# virsh edit Guest3

  <currentMemory unit='KiB'>1048576</currentMemory>
  <memoryBacking>
    <hugepages>
      <page size='1048576' unit='KiB' nodeset='0'/>
    </hugepages>
  </memoryBacking>
  
  <cpu mode='host-passthrough' check='none'>
    <numa>
      <cell id='0' cpus='0' memory='1048576' unit='KiB' memAccess='shared'/>
    </numa>
  </cpu>

  <interface type='vhostuser'>
    <source type='unix' path='/usr/local/openvswitch/vhuc0' mode='server'/>
    <model type='virtio'/>
  </interface>
※
青=追記,緑=置換

xmlファイルのため、virsh editで開くと、最初はどこを編集していいか探したり、迷ったりすると思いますが、通常のviエディタと同様に編集可能なため、「cpu mode」などで検索すればすぐに見つかると思います。
あと、vhostuserですが、mode=serverとなっています。以前はmode=clientだったのですが、現在はmode=serverが推奨されています。*8

2020/08/09追記

[root@c765 ~]# virsh edit Guest3

  <currentMemory unit='KiB'>8388608 </currentMemory>
  <memoryBacking>
    <hugepages>
      <page size='1048576' unit='KiB' nodeset='0'/>
    </hugepages>
  </memoryBacking>
  <vcpu placement='static'>4</vcpu>
  <cputune>
    <shares>8192</shares>
    <vcpupin vcpu='0' cpuset='10'/>
    <vcpupin vcpu='1' cpuset='11'/>
    <vcpupin vcpu='2' cpuset='12'/>
    <vcpupin vcpu='3' cpuset='13'/>
    <emulatorpin cpuset='10-13'/>
  </cputune>

  <cpu mode='host-model' check='partial'>
    <model fallback='allow'/>
    <numa>
      <cell id='0' cpus='0-3' memory='8388608' unit='KiB' memAccess='shared'/>
    </numa>
  </cpu>

  <interface type='vhostuser'>
    <source type='unix' path='/usr/local/openvswitch/vhuc0' mode='server'/>
    <model type='virtio'/>
  </interface>
※
青=追記,緑=置換

11.仮想マシンの起動

仮想マシンを起動して疎通確認を行ってみてください。

virsh start Guest3

起動時にPermission Denyなどのエラーが出力される場合があります。
その場合、「2-2.qemu-kvmの実行ユーザをrootへ変更」を参照し、Qemuの実行ユーザが確実にrootとなっていることを確認してください。
その上で、

systemctl restart libvirtd.service

を実行し、それでもダメなら、ホストOSを再起動してみてください。

以上です。

12.最後に

以下のサイトを参考にさせて頂きました。
Bitbucket
Ubuntu Xenial (16.04) でOpen vSwitch+DPDKな環境を作る(vHost User Clientモード編) - 仮想化通信

今回は、下図の右側(OVS with DPDK)を構築しました。
f:id:metonymical:20181224102833j:plain
また、ovsの設定方法についても踏み込んで解説を入れたので、ある程度好きな構成を組めるところまでは網羅できているのではないかと思います。なお、仮想マシン側のネットワーク設定については、過去記事を参考にして頂ければと思います。

次はLXC/LXDコンテナでvHostUserClientモードで接続できないか、もう少し調べてみたいと考えています。

*1:常時qemu-evリポジトリを参照しに行かれるのがイヤだったので設定を入れましたが、別に構わないという方は不要です。

*2:IOMMUについては、DL360G8特有の設定(RMRRの設定)があるため、途中で補足を入れます。

*3:.bash_profileに追記した場合は、ログアウト＆ログインを忘れずに

*4:明示的に被らないようにするためには、pmd-cpu-maskの設定をきちんと実施する必要があります。詳細は過去記事の「7.補足その1：ReactorMaskについて」を参照ください。

*5:0000:08:00.0とか0000:08:00.1はPCIのBus Slot Function番号に該当します

*6:DPDK上で稼働しているX540のens1f0とens1f1

*7:仮想マシンが接続されるポート

*8:詳細は、 Data Plane Development Kit vHost User Client Mode with Open vSwitch*に記載されています。

Metonymical Deflection

ゆるく日々のコト・たまにITインフラ

CentOS7 ovs(Open vSwitch)+DPDKのビルドとネットワーク設定方法

1.構成

1-1.環境

1-2.全体の流れ

2.事前準備

2-1.qemu-kvm-evのインストール

2-2.qemu-kvmの実行ユーザをrootへ変更

2-3.必要なパッケージのインストール

2-4.HugePageとIOMMUの有効化

2-5.HugePageの確認とマウント

2-6.vfio-pciの設定

2-6’.uio_pci_generic設定

3.DPDKソースビルド

3-1.ビルド環境準備

3-2.ビルド

4.OvSソースビルド

4-1.ビルド環境準備

4-2.ビルド

5.OvS+DPDKのネットワーク設定

5-1.全体構成

5-2.全体の流れ～概要～

5-3.コマンド投入前準備1

5-4.コマンド投入前準備2

5-5.全体の流れ～コマンドのみ～

6.DPDKにバインド

7.Bridge作成

8.Bond作成

9.vHostUserClientポート作成

10.仮想マシンの設定

11.仮想マシンの起動

12.最後に

1.構成

1-1.環境

1-2.全体の流れ

2.事前準備

2-1.qemu-kvm-evのインストール

2-2.qemu-kvmの実行ユーザをrootへ変更

2-3.必要なパッケージのインストール

2-4.HugePageとIOMMUの有効化

2-5.HugePageの確認とマウント

2-6.vfio-pciの設定

2-6’.uio_pci_generic設定

3.DPDKソースビルド

3-1.ビルド環境準備

3-2.ビルド

4.OvSソースビルド

4-1.ビルド環境準備

4-2.ビルド

5.OvS+DPDKのネットワーク設定

5-1.全体構成

5-2.全体の流れ ～概要～

5-3.コマンド投入前準備1

5-4.コマンド投入前準備2

5-5.全体の流れ ～コマンドのみ～

6.DPDKにバインド

7.Bridge作成

8.Bond作成

9.vHostUserClientポート作成

10.仮想マシンの設定

11.仮想マシンの起動

12.最後に

5-2.全体の流れ～概要～

5-5.全体の流れ～コマンドのみ～