やっと入ったInfiniband。そこで早速使ってみたい。
まずはこんな感じで確認してみる。
[root@localhost ~]# lsmod | grep ib
ib_ucm 12120 0
ib_ipoib 122881 0
ib_cm 42214 3 ib_ucm,rdma_cm,ib_ipoib
ib_uverbs 61976 2 rdma_ucm,ib_ucm
ib_umad 12562 4
mlx5_ib 123388 0
mlx5_core 100354 1 mlx5_ib
mlx4_ib 195533 0
ib_sa 35753 5 rdma_ucm,rdma_cm,ib_ipoib,ib_cm,mlx4_ib
ib_mad 43632 4 ib_cm,ib_umad,mlx4_ib,ib_sa
ib_core 117637 12 rdma_ucm,ib_ucm,rdma_cm,iw_cm,ib_ipoib,ib_cm,ib_uverbs,ib_umad,mlx5_ib,mlx4_ib,ib_sa,ib_mad
ib_addr 7796 3 rdma_cm,ib_uverbs,ib_core
ipv6 334740 56 ip6t_REJECT,nf_conntrack_ipv6,nf_defrag_ipv6,ib_ipoib,mlx4_ib,ib_addr
mlx4_core 320610 2 mlx4_en,mlx4_ib
compat 27701 17 rdma_ucm,ib_ucm,rdma_cm,iw_cm,ib_ipoib,ib_cm,ib_uverbs,ib_umad,mlx5_ib,mlx5_core,mlx4_en,mlx4_ib,ib_sa,ib_mad,ib_core,ib_addr,mlx4_core
うん、なんか色々ある。で、必要なのは、ib_ipoibでIPOverIBをするには必要。これがあればOKなはず。
次に、IPなどの設定。これはethernetのカードと同じ形で設定する。
[root@localhost ~]# more /etc/sysconfig/network-scripts/ifcfg-ib0
DEVICE=ib0
#HWADDR=80:00:00:48:FE:80:00:00:00:00:00:00:00:02:C9:03:00:0F:42:5B
TYPE=InfiniBand
#UUID=1785aca6-3f3d-4f28-ab01-a7224be0295e
ONBOOT=yes
#NM_CONTROLLED=yes
BOOTPROTO=static
BROADCAST=192.168.2.255
IPADDR=192.168.2.10
NETMASK=255.255.255.0
NETWORK=192.168.2.0
#IPV6INIT=no
#USERCTL=no
コメントアウトしているのは、なぜかHWADDRなどが変わってしまっていて、うまく認識されないから。正しく書いてあげれば大丈夫なはず。
こんな感じで相手側も設定すれば、後はPingなどでテストしてみる。
速度が知りたかったので、とりあえず、CentOSのDVDをダウンロードしておいて、それをSCPしてみた。
CentOS-6.6-x86_64-bin-DVD1.iso 20% 925MB 44.2MB/s 01:18 ETA
んーっと、44.2MB/sってことは、8倍すると約350Mbpsってことだ。…遅くね？
iperfで測ってみたけど、3.95Gbpsだった、、、、ん？遅くね？
Developers Complain 