InfiniBandについて語るスレ

1 ：不明なデバイスさん：2011/05/16(月) 22:25:36.24 ID:uoQmaZZN.net

InfiniBand(IB)について語るスレ
普通に買うと高いけど、ebayなどで安価なHCAやスイッチを購入可能です。

主要ベンダ
http://www.mellanox.com/
http://www.qlogic.com/

規格・管理ソフト等
http://www.openfabrics.org/

使用可能OS
Windows・Linux・vSphere Server・Solaris・HP-UX・AIX

参考
http://www.atmarkit.co.jp/fnetwork/tokusyuu/51ib01/01.html
http://ja.wikipedia.org/wiki/InfiniBand

2 ：不明なデバイスさん：2011/05/16(月) 22:25:52.29 ID:uoQmaZZN.net

用語
HCA(HostChannnelAdapter)
　ホストに刺す物理インターフェイス
SM(SubnetManager)
　InfiniBandネットワークでは必須。ないと動かない
IPoIB(IP over IB)
　InfiniBand上でIPネットワークをカプセル化するためのプロトコル
RDS(Reliable Datagram Sockets)
　InfiniBandネイティブでUDPの変わりに使用するプロトコル
SDP(Socket Direct Protocol)
　InfiniBandネイティブでTCPの変わりに使用するプロトコル
SRP(SCSI RDMA Protocol)
　InfiniBand上のSCSIコマンドをカプセル化して使用するためのプロトコル
MPI(Message Passing Interface)
　メモリ分散型の並列計算をサポートするためのライブラリ。

3 ：不明なデバイスさん：2011/05/16(月) 22:26:05.45 ID:uoQmaZZN.net

必須ソフト等
・P2Pネットワークで組む場合には、OpenSM等のSubnetManagerが必須。
・スイッチを使用する場合でも、SubnetManagerが組み込み出ない場合には
　OpenSM等を動かす必要がある。
・OpenSMはLinux・Windows用が提供されている。

ドライバ等
Windows・Linux
HCAメーカが配布してるパッケージでインストールするのと、
OFEDが配布しているパッケージでインストールするのがある。
メーカ配布のパッケージもOFEDのパッケージが元になってる。

vSphere Server
Mellanoxの場合はメーカの配布しているドライバを使用する。

Solaris・HP-UX・AIX
OSに標準でドライバが入っている。

※注意点
ファームウェアのバージョンによって対応ドライバが変わったりするので注意。

4 ：不明なデバイスさん：2011/05/16(月) 22:29:11.58 ID:uoQmaZZN.net

IBスレが見あたらなかったので適当にまとめてたててみました。
ebayで探すと安いのは$20くらいからあるので10GbE導入するよりは安そうなんですが
iSCSI用に個人で使ってる人とか居ませんか？
個人じゃない方も大歓迎ですが

5 ：不明なデバイスさん：2011/05/16(月) 23:28:26.78 ID:uoQmaZZN.net

InfiniBandのベンチ結果
SDR IPoIB
http://blog.systemworks.co.jp/?p=456
DDR iSER
http://blog.systemworks.co.jp/?p=492

色々条件が違うので単純に比較は出来ませんが

6 ：不明なデバイスさん：2011/05/16(月) 23:30:44.66 ID:6iU56ni9.net

おうち用に使ってます。

IBって10GbEみたいに繋いで終了じゃないので、そこが取っつきにくいのかな？
あと、HPC関連がメインだったので他の用途だとあんまりつかわれてなかったのが大きいかも
ネタ的にほとんどでてこなかったし

7 ：不明なデバイスさん：2011/05/16(月) 23:36:27.73 ID:0yxGtDwI.net

10GbE欲しいけど価格から躊躇してる人間としてはちょっと興味がある。
前提知識が全くないんだがiSCSIやるのに何を購入して何をセットアップすりゃいいの？

8 ：不明なデバイスさん：2011/05/17(火) 00:03:37.09 ID:jzL2nqJU.net

>7
うちでiSCSIテストしたときは、クライアント二台だったんだけど
ハードはカードとケーブルだけでいける。
ソフトとドライバは、カードメーカかOFEDから落とせばおっけー。
OpenSMってソフト動かさないと実際にはIBネットワークには繋がらないので、
そのへん注意ね。

ただ、安いカードだとIPoIBの上でiSCSIが動くのでパフォーマンスがそれなりにおちる。
高いカードだと色々ハード側で処理してくれるのでそんなにパフォーマンス落ちないんだけどね。

で、うちはiSCSIの変わりにSRPってプロトコル使うようにした。
TargetにOpenSolaris使ったらWindowsのinitiatorから繋がらなかったけど、Linuxを使ってやったら繋がった。

ちなみに、OSは何使うんでしょ？

9 ：不明なデバイスさん：2011/05/17(火) 00:14:03.80 ID:37nTlESG.net

InfiniBand興味あるけど、日本語の文献が少ないのがネックだな。

用語集に追加
RDMA(Remote Direct Memory Access)
　リモートDMA。あるPCからリモートのPCへのDMA転送を行うこと
iSER(iSCSI Extensions for RDMA)
　iSCSIのデータ転送をRDMAにて行うことによって速度を向上させる。

10 ：不明なデバイスさん：2011/05/17(火) 00:21:52.00 ID:9sMttnxG.net

>>8
TargetはOpenSolarisでInitiatorはLinux(KVM)、ESXiあたりかな。
ひとまずKVMが使えればいいとおもってます。

カードとケーブルか・・・価格帯もピンキリですかね。

11 ：不明なデバイスさん：2011/05/17(火) 01:08:04.82 ID:jzL2nqJU.net

>>10
その構成だったらOpenSolarisがカード選ぶので、そこを気をつけて。
うちは、全部MellanoxのMHEA28-XTC購入してたんですが、Solarisのドライバが対応してなくてはまりました。

ESXiはMellanoxのIBカードは対応してるので大丈夫。
LinuxもOEFDのソフトがあるディストリだったら大丈夫かと。
メーカ純正のドライバじゃないとまずいって話だったら、RHELかSLSとかになっちゃいますが

カードですが、現行のモデルのものはやっぱり高いです。
ケーブルはCX4(旧)とQSFP(新)の二種類ありますが、値段はそんなに変わらないかと。
自分買ったのはeBayの国際配送してくれる業者から買いましたが、新品カード一枚$50と中古3mケーブル1本$25くらいでした。
新しめのカードだと、IBだけじゃなくて10GbEが喋れたりすのですが、OEM物の安いので$150くらいでしたね。
あと、新しいIB環境のソフトで動かそうとすると、ファームのバージョンによっては動いてくれなかったりするので、
カードのファームとIB環境のソフトは推奨の物を使用するようにした方がよいです。(各ホスト単位の話です)

自分がテストしてみた事ならネタ吐き出してきますので。

12 ：不明なデバイスさん：2011/05/17(火) 01:21:46.19 ID:jzL2nqJU.net

資料的な物


CISCOのInfiniBandについての説明

http://www.cisco.com/japanese/warp/public/3/jp/service/manual_j/snv/sfs7/sfsemug/appendixA/9161_04_appendixa.shtml

HPのIBでのRDMAプロトコルの説明

http://h50146.www5.hp.com/products/servers/proliant/whitepaper/wp049_060331/p03.html

UbuntuでのInfiniband環境構築

ttp://www.sepia-days.org/20110104.html

13 ：不明なデバイスさん：2011/05/17(火) 02:31:39.12 ID:mxJmm7VE.net

最近、某通販でMellanox MHGA28-1TCの中古が2万円ちょっとで出ていたので3枚衝動買いした。
Dual port HCAなので3台をcable 3本で直結すればswitchなしでそれぞれ通信できる予定。

14 ：不明なデバイスさん：2011/05/17(火) 02:33:47.34 ID:mxJmm7VE.net

Cableがまだ届かないので遊べない(-_-;
探した中でHPの10Gbase-CX4用(444477-B22)が安そうだったので購入。
10Gbase-CX4用だったらSDR Infinibandは確実にokなはず、
20GbpsのDDRでも多分動くと思うけど、届いて動作確認できたらまた書き込みマス。

15 ：不明なデバイスさん：2011/05/17(火) 12:41:06.69 ID:AGSIiUzQ.net

おおお、ebayでHCAを個人輸入しようか迷っていたところにタイムリーなスレが。
月末あたりにIYHしちゃいそうだ。

16 ：不明なデバイスさん：2011/05/17(火) 13:08:18.90 ID:5Mvxlyak.net

結構送料が掛かるから集団IYHしたいなー（チラッチラッ

17 ：不明なデバイスさん：2011/05/17(火) 16:01:46.63 ID:jzL2nqJU.net

MellanoxのInfiniBandのカードで調べたことの個人的なまとめ

Infinihost
PCI-Xの世代のカード。eBayで$60くらいか

InfiniHost III Ex
PCIe Gen1 世代のDualPortカード。eBayで安いのは$50くらいから
型番は MH*A28
最初の*がEはSDR、GはDDR。
※メモリ付きはSolaris系で動作可。なしは動かず。

InfiniHost III Lx
PCIe Gen1 世代のSinglePortカード。eBayで安いのは$40くらいから
型番は MH*S18 MHES14
最初の*がEはSDR、GはDDR。
※Solaris系では動かず。

18 ：不明なデバイスさん：2011/05/17(火) 16:37:04.34 ID:jzL2nqJU.net

MellanoxのInfiniBandのカードで調べたことの個人的なまとめ2


ConnectX
PCIe Gen2 対応が入る。eBayで$160くらいから
型番はMH*H**
最初の*がEはSDR、GとRはDDR、JとQはQDR。
RとQはコネクタがQSFPなので注意。それ以外はCX-4の形状。
二番目の*が1は1ポート、2は2ポート
最後の*が8はPCIe Gen1、9はPCIe Gen2。
この世代からは、10GbEも喋れたり FCoCも喋ったりで何でもあり。

ConnectX-2
PCIe Gen2 対応。eBayで$400くらいから
型番はMH*H*9A MH*H*9B MH*H*9C
ConnectXの型番の最後にAだのBだのが付いてたらConnectX-2。
チップのプロセスが変わって省電力・小サイズになってる模様。


型番の-以下三桁の意味
一桁目 Xはメモリなし、1が128M、2が256M、3が512M
二桁目 ブラケットの大きさ SはLowProfile、Tは普通のサイズ
三桁目 RoHSの対応なので（ｒｙ

19 ：不明なデバイスさん：2011/05/17(火) 19:36:14.30 ID:5Nao61Kt.net

ESXiとoi直結して使いたいんだが、oiなどsolaris系で動くSMてあるのかな？
スイッチは高いしなによりうるさそうで。８ポートぐらいで静かなのあればそれでもまあいいんだけど。

20 ：不明なデバイスさん：2011/05/17(火) 20:51:14.84 ID:jzL2nqJU.net

>>19
残念ながら今のところSolaris系で動くSMはないみたい
スイッチも安いやつだとSM入ってないのばっかりですわ

21 ：不明なデバイスさん：2011/05/17(火) 23:28:58.84 ID:OXLsK0bK.net

これIsilonのハブになってるアレのことでつか?

22 ：不明なデバイスさん：2011/05/18(水) 01:00:28.29 ID:cgorjo85.net

>>21
そうでつ。

ちなみにどちらのInfiniband Switchが付いてきました？
うちはシスコだったけど、最近変わったそうなので。

23 ：不明なデバイスさん：2011/05/18(水) 01:24:36.29 ID:49SoN4a9.net

TopSpin 120 (CISCOSFS 7000 )はSM付いてるみたい
Voltaireо Grid SwitchTM ISR 9024 は不明
FlextronicsのシリーズはSMはなし
Mellanoxの高いのはSMがオプションでつけれる感じ

24 ：不明なデバイスさん：2011/05/18(水) 03:39:58.13 ID:awUL+Jz8.net

>>18
これらはsolarisいけるの？

おもしろそうではあるが、自宅はESXiとoiのNFSに全部集約してしまったからSMが鬼門すぎるなあ・・・
8ポートのSM無しスイッチ買って、SM用にlinux1台立ち上げるのが自宅サーバで出来る範囲かな

25 ：不明なデバイスさん：2011/05/18(水) 09:15:36.04 ID:49SoN4a9.net

>>24
うちではSolarisでConnectX使ってるけどIBは動いてる
ただSolarisだと、ドライバがIB以外の機能にいまのところ対応してなかったはず。

ごめん、誤解ある書き方だったね。
そういう構成だったらスイッチなくても動くよ。

PC1 -- PC2 -- PC3

PC2にDualポートのカードいるけど。
って繋ぎ方で動く筈。

使ってるOSがうちと一緒だから、週末にでも実験してみるよ。

26 ：不明なデバイスさん：2011/05/18(水) 11:48:33.87 ID:FWkokymc.net

>>22
うちはCiscoでしたよ。

27 ：不明なデバイスさん：2011/05/19(木) 00:24:20.45 ID:BcvamnEz.net

http://wikis.sun.com/download/attachments/216507438/David-InfiniBandSolarisDay.pdf
SolarisのInfinibandサポート状況

OpenSMをポーティングしてるって書いてあるね。
ReleaseはTBDになってるけど。

28 ：不明なデバイスさん：2011/05/19(木) 08:09:35.22 ID:kAmay8pb.net

> この世代からは、10GbEも喋れたり FCoCも喋ったりで何でもあり。

ってのがわからんけど、物理層が同じだからファーム書き換えると
10GbEになったりIBになったりするってこと？それともシリーズ内に
10GbEのHCAやIBのHCAがあるってだけ？

29 ：不明なデバイスさん：2011/05/19(木) 17:10:10.14 ID:nBF1lFc5.net

>>28

ドライバで10GbEやIBになる。
2ポートあると、片方はIBでもう一つは10GbEとか出来る。
ただし、対応してるOSが限定されている。
Windows、Linux、ESX(ESXi)しか対応してない。

Solarisは対応準備中だったはず。
http://opensolaris.org/jive/thread.jspa?threadID=132304

ファーム違いで10GbEのみボードもある。

30 ：不明なデバイスさん：2011/05/19(木) 20:32:24.76 ID:/NhMJPL1.net

あらおもしろい

31 ：不明なデバイスさん：2011/05/19(木) 20:41:18.70 ID:kAmay8pb.net

じゃあIBが勝とうが10GbEが勝とうが、勝つのはMellanoxですか。
どっちが勝つか判らんうちから安心して買えると言うのは強いなぁ。

32 ：不明なデバイスさん：2011/05/19(木) 21:03:17.16 ID:/NhMJPL1.net

さすがにebayでも$20レベルのものはシングルポートか

33 ：不明なデバイスさん：2011/05/20(金) 00:36:05.08 ID:c4daKf1Z.net

>>31

10GbEは実際に試してないからわからないけど、マニュアル読むと動くみたい。
あと、コネクタの変換アダプタが必要ですが。
http://www.mellanox.com/content/pages.php?pg=products_dyn&product_family=78&menu_section=36

>>32

安いのはシングルポート、IB機能だけになるよ
IBの機能だけでいいのだったら安いので十分。

ConnectXがいい人は、OEMのメーカのやつだと安くでてたりするのでそっちを狙うのもありかな

34 ：不明なデバイスさん：2011/05/20(金) 09:15:01.43 ID:GBq4tJE5.net

個人で中古のciscoルータやスイッチ買うような人間が、ちょっと手を伸ばしやすいIB スイッチはFlextronocs sdr 8port なのかな。もちろんSubnet Managerは別途手当てとして。

35 ：不明なデバイスさん：2011/05/20(金) 15:48:03.16 ID:QfWu1eCb.net

>>34

買いやすいのは、言われてるようにFlextronicsのF-X430066ですね。
国内じゃ定価40万位するけど、海外だと$700切るくらい。

F-X430060使ってるけど、1Uサーバのファンが全開で回ってる位の騒音だしてるので
ぶっちゃけ24ポートのはお勧めしないｗ

8ポートのでもファンは付いてるみたいだけど、どの位の音するのかな？
使ってる人いたら是非レポートをｗ

36 ：不明なデバイスさん：2011/05/20(金) 15:55:28.61 ID:gkIMASDV.net

>>35
やっぱりそうなのね。
個人で検証したいのでsdrレベルで一式揃えようかと画策してたり。送料とか込みでサーバ抜いて10万ぐらいあれば環境が整うのか。

37 ：不明なデバイスさん：2011/05/20(金) 20:32:59.58 ID:Lvj8lyIq.net

>>35

職場でF-X430066使ってる。
HPの2U鯖(DL380G6)と一緒のラックに入っているが、
特にF-X430066がうるさい感じはしない。
単体で音を聞けば確かに音はするが、
そんなにひどくないように思う。

38 ：不明なデバイスさん：2011/05/20(金) 20:42:50.54 ID:Lvj8lyIq.net

ついでに書くと、QSFPのConnectX-2(MHQH29CのHP向けOEM)とF-X430066を
CX4-QSFPのhybrid cableで繋いで問題なく使えてる。もちろん10Gbpsだけど。

F-X430066は中身MellanoxのInfiniscaleでfirmwareもMellanoxからでているぐらいなので、
見てくれは怪しいけど(?)普通に動く。

39 ：不明なデバイスさん：2011/05/20(金) 23:41:49.92 ID:YrxIPrqk.net

>>37
家にラック置くとあまりのうるささにびっくりするぜ？
マシンルームだとそこら中でファンが回りまくってるからわからないけど

40 ：不明なデバイスさん：2011/05/21(土) 02:07:56.19 ID:JoUxFHPP.net

>>37

使ってる人から書き込みが。
意外とうるさくないですか？
F-X430066って小径ファンが三つはいってるので、爆音なのかなとも思ってたんですが。

>>39
1GbEのスイッチがL3 Switchなのでかなり音がするなーと思ってたんですが、
今回入れた、F-X430060は、それをかき消してくれるような存在感ですｗ

ブックマークにあったIB関連の資料

日本語資料

しーごさんところ
http://www.viops.jp/ibday02-BASIC-xsigo.pdf

あるてらさんところ
http://www.altima.co.jp/products/mellanoxtechnologies/mellanox_techinfo.html

MSのHPCでの資料
http://technet.microsoft.com/ja-jp/library/dd391828%28WS.10%29.aspx


英語資料

OpenSMでのルータ設定
https://wiki.chpc.utah.edu/display/CHPC/Ember+Cluster+OpenSM+Configuration+Notes

41 ：不明なデバイスさん：2011/05/22(日) 23:59:22.02 ID:WIbvPNze.net

37です

>>39 , >>40
職場の奴は専用のサーバー室じゃなくて事務所の一角でつかっています。
そのため、極力静かな鯖ということでHPのDL380(+防音ラック)を選んでいたりします。
DL380G6は調べてもらえば分かりますが動作時28dBAの音圧レベルです。
これと比べて大したことないので大きめに見積もってもF-X430066は
30dbA〜35dbAぐらいじゃないでしょうか。
Z800 WorkstationのDVD読み取り中騒音が36dbAという数字で、
確かにDVDが全開で回っているのよりはF-X430066の方がマシと思えます。

42 ：不明なデバイスさん：2011/05/23(月) 00:00:35.88 ID:WIbvPNze.net

>>41 続き

音の質からして、F-X430066のfanは割と低回転で回っているようで
メンテナンスで6台の鯖すべてを落とすと、IB switchの音が聞こえてくる
(防音ラックの前後扉開放状態で)という程度です。
爆音というレベルではないですがさすがに静かな自宅に置くとなると
多少耳障りかもしれません。

43 ：不明なデバイスさん：2011/05/23(月) 00:17:16.39 ID:YyCzI+YK.net

Linuxで使っているので何点か情報提供。

(1)
Redhat Enterprise Linuxの場合、OFED相当のRPM packageが用意されているので
OFEDを別途入れなくてもInfinibandを使うことができる(ちょっと古いけど)。
ただ、RHEL<=5.4はbugがあるのかMPIがちゃんと動かなかった。
RHEL 5.5, 5.6, 6.0ではRHEL付属のpackageで問題なく動いている。

(2)
LinuxでNFS/RDMAを使おうと思っている人は期待しない方がよい。
大きなfileを書き込んだりするとNFS clientが止まってしまう。
OFED 1.5.2以降で安定性の問題からNFS/RDMAが外されてしまっているので、
開発元でも動きが怪しいのは認識されているっぽい。
そのうちまともに使えるようになるといいな。
NFS over IPoIB に関しては安定して動いている(が遅い)。

44 ：不明なデバイスさん：2011/05/23(月) 00:37:21.14 ID:YyCzI+YK.net

(3)
RHEL 5.6 & 6.0の環境でConnectX-2のfirmwareを2.7.0から2.8.0にしたら
opensmがちゃんと動かない状態になった。
具体的には、rebootしたhostがあってもopensmが状態変更を検知できないのか、
reboot後にlink-upしないままになってしまう。
opensm.confで"force_heavy_sweep TRUE"にするとちゃんと動いているようにみえるが、
これが正しい解なのかはよくわからない。

45 ：不明なデバイスさん：2011/05/23(月) 09:14:45.81 ID:jrVmGyIB.net

自宅でCisco SFS7000Pと
Mellanox MHGH28-XTCを使用しております。

SFS7000Pのファン交換をやってみましたのでご報告します。
今回採用したファンは以下の物となります。
http://www.ainex.jp/products/cfy-40.htm

交換自体は難しくないのですが、注意点があります。
工場出荷時に搭載されているTopSpinOS2.70だと
ブート時にエラー検出し、LEDが橙点灯となります。
その状態でTopSpinOS2.90に上げたところ、
エラー検出されず、LEDは緑点灯となりました。

以上、ご報告まで！

46 ：不明なデバイスさん：2011/05/23(月) 18:41:12.73 ID:vKvabkkR.net

なんという濃い情報スレ。
これはブックマークせざるを得ない。

47 ：不明なデバイスさん：2011/05/23(月) 18:44:33.14 ID:m2QhIic8.net

濃すぎる位だなｗ

うちも、ストレージ用に使ってみたいが、
今は先立つものが無い（泣

48 ：不明なデバイスさん：2011/05/23(月) 19:22:30.56 ID:fivYbFgl.net

あやうくIB-HBAをいくつかとIBSWを買ってしまいそうになるヤバスレ

49 ：不明なデバイスさん：2011/05/24(火) 00:57:03.14 ID:vePc/kCe.net

25です。

週末に25で書いた接続をテストしてみたんですが、カードがまずいのかOSがまずいか
わからないだけど、上手く動かなかった。動かなかったのは、NexentaCore 3.01 と
OpenSM動かしてるLinuxの間。
普段はIB Swichで動かしてるけど、そっちだと問題なしなので、カードとPCを追加で
確保して環境を変えてチャレンジしてみます。
Solaris + ESXi + SMマシンって構成のSwitchless運用の需要がありそうなので、
何とか動かしてみたいんだけど。

別でDebian sid + Windows 2008 R2 のケーブル直接続での、IPoIB・SRP接続
は普通に動いた。

自分が動かした SRP Terget はSCSTだったので標準パッケージになってないから、
自前でビルドしてインストール。
あと、Debian sidの入ってるOFEDのパッケージだと1.4.1と、ちょっと古いのでDebian OEFDの
サイトから、1.5.2のパッケージの元を引っ張ってきて、自前でpackage ビルドしてインストール
したけど、テスト環境のLinuxのDiskが遅いので150MB/sでSRPは頭打ち。
ネット上で見てると、SSDのRAID0で1GB/sとか出てるみたいだけど。

50 ：不明なデバイスさん：2011/05/26(木) 23:54:59.37 ID:NnZG8Yuz.net

14です。

ようやくCX4 cable(HP 444477)届いた。
国内在庫がなかったのか半月ほど入荷に時間がかかった。
これだけかかるならeBay個人輸入の方が安くて良かったかも。

思惑どおり10Gbase-CX4用cableでDDR IB 20Gbpsの通信可能。
まあ、1mの短いやつだからDDRでもokなだけで、
長いとSDR IB 10Gbpsまでしか無理かもしれないけど。

※信号線1対あたりの伝送速度は
SDR IB 2500Mbps < 10Gbase-CX4 3125Mbps < DDR IB 5000Mbps

51 ：不明なデバイスさん：2011/05/27(金) 00:16:16.14 ID:6SzE5UYA.net

RDMAのプログラミングってどうやってみんなやってるの？
排他制御関係の文献ってしりませんか？

52 ：743：2011/05/27(金) 18:53:44.86 ID:t1meQjEb.net

サンプルコード様に頼り切りの世界。
大学のHPC方面の人なら夢で書けるレベルなんだろうな。

53 ： 忍法帖【Lv=18,xxxPT】 ：2011/05/27(金) 23:41:15.16 ID:QkWBmJAU.net

RDMAはDBやクラスタアプリから利用するものであって
直接叩くものではないと思っていた
ツールキット開発者さんですか？

54 ：不明なデバイスさん：2011/05/31(火) 00:44:46.36 ID:TL6QVeno.net

ツールキットは作ってないけど、RDMAのゼロコピー性とか、
リモートのメモリに直接アクセスできる機能は
使えるんじゃないかと思って試行錯誤してますよ。

55 ：不明なデバイスさん：2011/05/31(火) 13:52:55.91 ID:YaCOyw5G.net

なんぞこれ
http://www.slideshare.net/syoyo/diy-infiniband-networking

てか、ここの住人？

56 ： 忍法帖【Lv=2,xxxPT】 ：2011/05/31(火) 21:12:08.30 ID:aHkwviVG.net

>>55
4CPUで済む用途ならIB奢るより4CPUサーバを調達した方が管理運用に手間がかからなそう

57 ：不明なデバイスさん：2011/05/31(火) 22:28:52.09 ID:vhMeOsQy.net

>>56
DYIだからねw
某テレビ局のCG作成室にもIB転がってたし、
CG屋さんてけっこう高速I/F知ってるみたい

58 ： 忍法帖【Lv=2,xxxPT】 ：2011/05/31(火) 22:40:43.81 ID:aHkwviVG.net

組立テスト管理工数に掛かる人件費を限りなくゼロと査定すればIBいいね
マザーCPUもメモリもトータルで安価だし
まるでどっかの原発みたいだなｗ

59 ：不明なデバイスさん：2011/06/01(水) 00:14:08.66 ID:HxBFG9mg.net

>>54
排他制御どうしてるのですか？直接メモリにアクセスできるのはいいけど
メモリのアドレス勝手に変わってしまうし。かと言って、CASじゃ無理だし
どうすればいいの？

60 ：不明なデバイスさん：2011/06/01(水) 11:13:49.40 ID:/Gb6XrGK.net

>>43
NFS over IPoIBって安定して動いてますか？

NFS/RDMA同様と大容量を送ろうとすると、
NFSclientがハングアップする現象に遭遇しておりますが＞＜；；；

61 ： 忍法帖【Lv=3,xxxPT】 ：2011/06/01(水) 12:02:09.17 ID:nVcMMHmM.net

LinuxのNFS()

62 ：不明なデバイスさん：2011/06/01(水) 18:08:27.45 ID:FD6RSKjP.net

このスレ、過疎ってるかと思ったら勢いあってワロタｗｗｗ

63 ：不明なデバイスさん：2011/06/02(木) 10:36:59.30 ID:t8C/X1f7.net

eBay見てると安いのだと$40とかであるのな
日本でも気軽にこの値段で手に入れば自作マシンで遊びで使えるのに

64 ：不明なデバイスさん：2011/06/02(木) 20:12:58.75 ID:rIFcC7xE.net

こんないいスレあったのか

自分はMHEA28-1TCを3枚で、Windows Server 2008 R2をiSCSIターゲットにしてESXi動かしてます
やっぱりCOMSTAR使いたい！

QlogicのFCoE CNAもあるんだけど、こっちはこっちで光トランシーバが高い

65 ：不明なデバイスさん：2011/06/02(木) 23:09:17.53 ID:gAmt3Mh7.net

ブロックアクセスだと今はSRPが安定してるね。
パラメータさえ決まれば問題なく動く。
iSERはMellanoxのVSAでないとまともに動かないと思われ。

GlusterFSのRDMAアクセス試してみた人いる？
マニュアル見ると割と簡単に構築できそうだけど。
Lustreは一般ユースでは駄目ぽ、あれは完全に計算クラスタ用途だった。

66 ：不明なデバイスさん：2011/06/03(金) 23:07:56.17 ID:sPzjPH3p.net

>>60

NFSv4 TCP なら安定して動いています。
環境はx86_64, RHEL5.6 (ただしkernelだけRHEL6の2.6.32-71を使用)、
Mellanox MHQH29C firmware 2.8.0 です。

HPC用途なので数GBの計算結果がまとめて書き出しされたりしていますが、
hang upしたりといったことは起こっていません。

67 ：不明なデバイスさん：2011/06/04(土) 07:51:45.99 ID:2zicZIpD.net

>>66
ありがとうございます。
こちらもNFSv4 TCPなんですけどねぇ。

Firmware2.7から2.8にあげるか思案中です。
OSのカーネルもあげてみようかしら。

こちらもHPCで、いくつかのノードから20GB程度のファイルを
複数送信しようとすると、いくつかハングアップって感じです＞＜；；；

68 ：不明なデバイスさん：2011/06/16(木) 10:12:26.34 ID:o/wylCt6.net

ESXiのデータストア用にZFSなストレージサーバ組みたいけど、
ZFSとSMを両立するのって難しいのかな。

69 ：不明なデバイスさん：2011/06/16(木) 18:12:16.57 ID:BEzIFhGo.net

>>68
自分もやってみたんですがSolarisのSMが見当たらないのでどうにもなりませんでした
システムワークスさんのツイートに触発されてSolaris11でSRPターゲットを作り、Hyper-V Serverで接続したときは300MB/sを超えるスピードを出したので
ぜひESXiホストにも使いたいと思ってるんですが

70 ：不明なデバイスさん：2011/06/16(木) 18:49:05.95 ID:o/wylCt6.net

>>69
やっぱりSolarisにSMが無いのがネックになりますか、残念です。

ESXiに各種鯖を統合、HDDはSolarisに集約、という具合にして両者をIBで直結させたら
非常にスマートかなぁと妄想してたのですけど。
ESXi単体では難しい各種アラートの処理や、UPSとの連携をSolarisに担当させたりして。

IB使うなら CentOS辺りが無難なのかな。
ただそうなるとRAIDZが…う〜む...

71 ：不明なデバイスさん：2011/06/17(金) 22:39:57.10 ID:yRMUcWUs.net

IPoIB使うと、InfiniBandの利点の低レイテンシも損なわれたりする？

72 ：不明なデバイスさん：2011/06/17(金) 23:06:54.98 ID:EbdMWyYy.net

そういったことをこまこまと試したいので手元にブツが欲しいのさ

73 ：不明なデバイスさん：2011/06/19(日) 20:40:20.10 ID:jN7m8XFB.net

ebayで買った中古のF-X430066のスイッチが届いたんでレポ。
ちなみにかなりうるさい。これは自室に置いておくのは躊躇する。ML115が全開でファンがまわってるときと変わらない。
あと、ファームの更新もi2c経由でしか出来ないのかな。mlxburnで更新しようとしたけど駄目って言われる。

74 ：不明なデバイスさん：2011/06/19(日) 20:55:44.17 ID:GCXklOT4.net

常にML115全開並ってのは凄いな。掃除機クラスか。

75 ：不明なデバイスさん：2011/06/19(日) 21:42:18.05 ID:4bdRaneo.net

消費電力３０Wとか書いてあるけど、爆音なのか？
分解してファンはずしちゃえ。

76 ：不明なデバイスさん：2011/06/19(日) 23:34:45.44 ID:jN7m8XFB.net

>>74
確認でML115全開と聞き比べたけど、それよりかは静かだったよ。
リビジョンが何種類かあるので、上の方で書かれてる方のように最近のは静かになってるのかも

>>75
小径ファンが3つ付いてる状態なので、取っ払うのは流石に怖いｗ

暫く運用してみて、温度的にファン交換可能そうなら交換してみるか・・・

77 ：不明なデバイスさん：2011/06/20(月) 23:00:50.14 ID:OGPYHtLA.net

F-X430066割とコンパクトでいいなぁ…と思ったんだけど
やっぱりSMはない…よね？

78 ：不明なデバイスさん：2011/06/20(月) 23:46:23.98 ID:Npj7EgJt.net

>>77
残念ながら、SMはついてないですね。

79 ：不明なデバイスさん：2011/06/21(火) 00:24:21.32 ID:vUI3pKms.net

MellanoxのサイトにConnectX-3のページがいつの間にか出来てるね。

FDR(56Gbps)のPCIe Gen3対応か・・・。
お値段どのくらいででてくるんだろう

80 ：不明なデバイスさん：2011/06/25(土) 07:17:30.12 ID:NL9OWVZg.net

人いないなぁ...

eBayで安く手に入るとは言っても さすがにニッチすぎるか、家庭内IB。

81 ：不明なデバイスさん：2011/06/25(土) 10:52:21.00 ID:vpPpvWLJ.net

まだ入手してないしな

82 ：不明なデバイスさん：2011/06/25(土) 11:15:27.34 ID:PGof8tnT.net

とりあえず、IPoIB と nfs over rdma を3台くらい
試したいんだけど、どの SW とどの HCA 買えばいいかを
しりたいな
予算全部で10万ぐらい、solaris と linux で試す予定

83 ：不明なデバイスさん：2011/06/25(土) 15:32:40.86 ID:my+ve5G+.net

>>82
個人的なお勧めは

SWはF-X430066。
Linux用カードは、基本何でも動くので気にしない。
Solarisはカード選ぶので、MellanoxのConnectX系かInfiniHost III Exのメモリ付きで。

上の構成だとebayの中古で買えば10万はかからないかと。
国内は物が少なすぎて微妙っすね。

うちで動作確認したカード
Windows・・・MHEA28-TXC,MHGA28-XTC,MHES18-XTC,MHGS18-XTC,MHEA28-1TC,MHGH29-XTC,MHQH19-XTC,MHQH19B-XTC
Linux・・・MHEA28-TXC,MHGA28-XTC,MHES18-XTC,MHGS18-XTC,MHEA28-1TC,MHGH29-XTC,MHQH19-XTC,MHQH19B-XTC
OpenSolaris・・・MHEA28-1TC,MHGH29-XTC,MHQH19-XTC,MHQH19B-XTC

ファームのバージョンとかドライバの組み合わせによっては動かない事のがあるので注意

84 ：不明なデバイスさん：2011/06/25(土) 16:06:14.35 ID:4SqyV/vi.net

乙すぎる。

実質、この人一人でスレ回ってるんじゃなかろうか。

85 ：不明なデバイスさん：2011/06/30(木) 23:37:48.88 ID:rLhDp1ew.net

ちとスレ違いかもしれんが、海外通販の
コツみたいのはありますか？
ボードはなんとか国内で揃えられたんだが
ケーブルが安く揃えられん・・・

86 ：不明なデバイスさん：2011/07/01(金) 00:52:26.92 ID:af7NYHX5.net

国内だとCX4とかQSFPのケーブルは安くはないですね。
自分は中古をebayの業者から購入して、転送サービス使ってカードとケーブルをまとめて日本に発送ってやりました。
個別に買ったのだと、中国から3mのケーブルで一本あたり送料込みで$30くらいでした。
ケーブルがごついので長くなればそのぶん重量が増えるますのでご注意を。

87 ：不明なデバイスさん：2011/07/02(土) 17:44:49.37 ID:R9lYTKS4.net

とあるスレみてたらInfinibandという言葉が出てきたので何ぞや？
と思い調べてみたら興味を持ちました。

Infiniband環境を構築するにあたり疑問点
・スイッチのSM有無によるメリットデメリット
・非力なPCにDDRやQDRのHCA搭載した場合のデメリット（CPU負荷が高くなりすぎるので他の作業ができなくなるなど）

88 ：不明なデバイスさん：2011/07/02(土) 21:15:59.88 ID:ZQOVkE/d.net

>>87

スイッチにSMある場合のメリットは、SMの専用サーバが不要。
SMサーバのLinuxもしくはWindowsが不要。
SolarisとかESXiみたいにSMが乗っからない環境だけで構築できるのがメリット。
デメリットは、OpenSMだと色々拡張されていってるけど、スイッチのSMだとその機能拡張が
すぐには使えないのがデメリット

非力なPCってのがどのくらいか解らないけど、参考程度に
PC二台でのIPoIB計測結果。
PC1 Xeon X3430 X3420チップセット OpenSolaris 134b
PC2 Athlon X2 5000+ MCP55チップセット Linux Debian OFED 1.5.2
PC1のカードは、ConnectX使用。
PC2のカードは、InfiniHostExとConnectXの二種類で計測
接続はSDRのSW挟んでます。
iperf -w 128k -N での計測結果

PC2がInfiniHostExの場合
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 2.26 GBytes 1.94 Gbits/sec

PC2がConnectXの場合
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 4.79 GBytes 4.11 Gbits/sec

チューニングは全くしていない状態の結果です。

89 ：不明なデバイスさん：2011/07/02(土) 21:35:23.88 ID:R9lYTKS4.net

>>88
丁寧な説明ありがとうございます。
一応以下の条件で組んでみようかと思っています。
[台数]　4台
[O　S]　全部Windows
[CPU]　Xeon搭載が1、他はAtomやらZacateの非力自作
[条件]
XeonPCは消費電力高すぎるのでたまにしか使用せず
メイン使用はZacatePC（常時稼動可）、他は未使用時電源断

↑の場合だとスイッチのSM有無はあまり関係なさそうですね？
SM無スイッチ+1ポートHCAx4（1台SM用サーバー化）という構成でお財布と相談してみようと思います。

90 ：不明なデバイスさん：2011/07/02(土) 22:30:47.34 ID:ZQOVkE/d.net

>>89
Windows OnlyだとSM無しの安いSWで十分ですね。
カードサイズがほとんどPCIe x8なので刺さるかご注意を。
MHES14だけがPCIe x4です。

91 ：不明なデバイスさん：2011/07/02(土) 23:41:56.97 ID:RVtffYdX.net

>>88
ConnectX同士でつないだときの速度がぱないな
DDRやQDRなら、OpenSM使って間にSW挟まずにConnectX同士を直結した場合は
もっと速くなるんでしょうか？

92 ：不明なデバイスさん：2011/07/03(日) 03:16:49.02 ID:DH3OQKCt.net

>>91

現在運用中だから、今度サーバ再構成するときにでもConnectX同士でテストしてみるよ。
ただ、うちの環境は遅すぎる気がしてますがｗ

93 ：不明なデバイスさん：2011/07/07(木) 18:41:19.59 ID:Jz1twUW9.net

FreeBSD CurrentにOFED1.5.3が入ってたのでInfiniBandが動くか試してみたけどダメだった orz
OFED有効にした userland と kernelのコンパイルは通ったけど、ドライバがロードできなかったよ

94 ：不明なデバイスさん：2011/07/09(土) 03:21:39.93 ID:Na6r7+An.net

このスレに触発されて買っちゃった・・・
MHGA28-XTC、送料込みで2個 16,000円

ケーブルってSASで使ってたケーブルがそのまま使えるんでしょうか？
SASで使ってたやつはスクリュー型だけどそれはおいて置くとして。

95 ：不明なデバイスさん：2011/07/09(土) 15:11:50.11 ID:jT0RsmWp.net

>>94
お、どこで買ったの？
結構安くね？

96 ：不明なデバイスさん：2011/07/09(土) 15:29:40.79 ID:3U6rQuQD.net

>>94
MHGA28がそのお値段なら安いですね。

ケーブルなんですが、SASのケーブルだとDDRではリンクできなかったりするかも。
あと、カード側のラッチの固定部分とスクリューのネジ部分が干渉してつかない可能性が

別の話題ですが、ケーブルついでに、
10GbE-CX4のケーブルとInfiniBandのCX4ケーブルだとこういう違いがあったりします
http://www.gore.com/en_xx/products/cables/copper/networking/cx4/cx4_faqs.html

97 ：不明なデバイスさん：2011/07/10(日) 17:25:40.63 ID:894QQ/qI.net

CX4のケーブル買いたいンだけど、海の向こうじゃ半端なく安いな。
goreの5mでも\2000切るんだけど。

んで、送料で\4000取られる・・・3本だと送料\7000とか言われる

98 ：不明なデバイスさん：2011/07/10(日) 17:32:15.54 ID:KOanqNFR.net

ならば1000本単位ぐらいで買えば一本あたりの送料は安くなるんじゃね？

99 ：不明なデバイスさん：2011/07/10(日) 18:31:22.86 ID:ZWi46bTu.net

>>97
スピアネットとかで転送しても安くならない？

100 ：不明なデバイスさん：2011/07/10(日) 19:47:26.35 ID:EE1BGMqP.net

>>97

自分がCX-4の2mケーブルをebayで買った業者だけど、ご参考に

http://cgi.ebay.com/ws/eBayISAPI.dll?ViewItem&item=160479235633

震災の時期に被ったので到着まで一週間くらいかかったけど

101 ：不明なデバイスさん：2011/07/11(月) 00:50:43.66 ID:3cmD+WIe.net

>>100
Thanks. 送料安いね、そこ。
ただ、SAS用のケーブルってDDRでも大丈夫なのかちょっと気になる。短ければ
>50 みたいに行けそうだけど。

102 ：不明なデバイスさん：2011/07/13(水) 22:25:21.89 ID:WWfQMii3.net

ちょっと聞きたいんだけど
X4ってのはまさかマシンの後ろに4本ケーブルが刺さってるってこと？
1本のケーブルに4軸入ってるってこと？
まさか4本刺すわけ…と思ったがケーブルが2本刺さるカードもあるし…とか考えちゃったよ

103 ：不明なデバイスさん：2011/07/13(水) 23:26:14.90 ID:q8ka45Ix.net

>>102
4レーン

104 ：不明なデバイスさん：2011/07/15(金) 23:24:37.59 ID:YIgsY4+t.net

WindowsでOpenSMを開始させようとすると下記エラーが出ます。
原因お分かりになる方いらっしゃいますか？

ローカルコンピュータのOpenSMサービスを開始できません。
エラー 1063：そのサービスは指定時間内に開始要求または制御要求に応答しませんでした。

環境は下記の通り
Windows2003 32bit & 64bit
Qlogic　HCA 7104-HCA-LPX1P

105 ：不明なデバイスさん：2011/07/16(土) 03:02:28.32 ID:2FtEqgxo.net

>>104

後欲しいの情報は入れた、OFEDのバージョンとかがないと解らないです。
Qlogicのメーカ純正のOFED入れたのか、それともOFED本家のバージョン入れたか。

あと、カード自体は認識されてますでしょうか？
OpenSMのバグってか使用で、カードが無い状態だと転けるってのがあった気が。

106 ：不明なデバイスさん：2011/07/16(土) 13:36:48.65 ID:IytOh3Qz.net

カードだけ届いてケーブルがまだ来ない(´・ω・`)ｼｮﾎﾞｰﾝ

しかし、結構な値段がする割には、見た目はしょぼいね。特にメモリなしだと。
しかもこれで10Gbとか20Gb叩き出すとか一体。

10GBaseのnicとか見た目はもっとごついのに。

107 ：sagat：2011/07/17(日) 14:57:53.75 ID:ubaITYh/.net

>>3

>ドライバ等
Windows・Linux
>OFEDが配布しているパッケージでインストールするのがある。

OFEDが配布しているWindows用パッケージってどこからdownloadすればいいんでしょうか？
OFAのページを探しても見つかりませんでした。

108 ：不明なデバイスさん：2011/07/17(日) 18:39:41.38 ID:ckeIgqlU.net

>>107
http://www.openfabrics.org/downloads/Windows/
これじゃないの

109 ：不明なデバイスさん：2011/07/17(日) 18:50:22.92 ID:04RP8GSy.net

>>107

http://www.openfabrics.org/downloads/ のWinOFのしたですね。

Topのページからだとわかりにくいですけど、
メニューのOFED/OFA RECOURSES -> OFED for Linux / OFED for Windows -> Source Code Download
からいけます。

110 ：不明なデバイスさん：2011/07/18(月) 17:12:06.83 ID:hxLwN5/0.net

このスレお見てIBに興味お持ったんですが、Windows間お直接繋ぐような使い方
でも導入に意味はありますでしょうか？WinServer2k8r2とwindows7を繋ぐ予定
です。

IBoIP、SMBという辺りがネックになって10GBaseとそんなに変わらない速度しか
出ないようなら素直に10GBase-TのNIC買った方がいいのかな、とも思ったんで。

111 ：不明なデバイスさん：2011/07/18(月) 18:44:24.11 ID:o2pJezcj.net

>>110
SDRのIBでIPoIBだと10GbEと速度はあまり変わらないはず
ただし価格はだいぶ安い

112 ：不明なデバイスさん：2011/07/18(月) 18:45:08.29 ID:qjg07J1o.net

>>108-109
どっちも一緒じゃない？

>>110
10GbE買うお金があるなら素直に10GbEにしたらいいんじゃないかな
SMBって時点でInfinibandの利点は価格ぐらいしか無い気がする

113 ：不明なデバイスさん：2011/07/20(水) 13:25:44.78 ID:2a+1GaUt.net

>>112
価格面のメリットも薄いと思われ。安い10GBase-CX4なら1万切ってるし。
というか安いカードでWindows間を繋いだら、10GbEどころか1GbEとも差が無い程
度の速度しか出ないよ＞IB

結局SRPとかで繋がないと真価を発揮しない辺りが個人ユーザにイマイチ普及しな
い原因ではないかと。

114 ：不明なデバイスさん：2011/07/20(水) 16:43:45.27 ID:qTBnBHY+.net

個人向けに普及しない理由は個人向けじゃないからだと思うがｗ

115 ：不明なデバイスさん：2011/07/20(水) 20:16:49.60 ID:+DnobmOy.net

InfiniBandで変わるデータセンター内通信（後編） − ＠IT
ttp://www.atmarkit.co.jp/fnetwork/tokusyuu/61ib02/01.html

116 ：不明なデバイスさん：2011/07/22(金) 23:08:03.53 ID:gRX2QWPt.net

COMSTARでSRPターゲット作ってストレージにして、2k8R2つないだら感動的な速度でした
自分が担当している教室のシステムがHPのMultiPoint Server 2011とシンクライアント構成になる予定なので
ストレージの性能が必要だと思い、ストレージを別サーバにしてIB入れてSRP接続できないか提案しているところです

ていうかむしろ俺にやらせろみたいな言い方してるんですがｗ
でもそんな安い10GbEカードあるんですか？

117 ：不明なデバイスさん：2011/07/23(土) 11:39:45.21 ID:1mXU3R0i.net

個人向けに普及、というフレーズはIBとは馴染まないこと馴染まないこと
まあ>>114なんだけど

118 ：不明なデバイスさん：2011/07/24(日) 01:02:30.92 ID:e428/8Uh.net

ESXi 4.1u1での最新Mellanoxドライバの動作検証終わった。
Supported Host Channel AdaptersからInfiniHost系が消えてたので動くかチェックしてみた。
手持ちの、MHEA28-XTC MHGA28-XTC MHES18-XTC MHGS18-XTC MHEA-2TCのIPoIBでの動作は確認した。

119 ：不明なデバイスさん：2011/07/24(日) 15:10:52.04 ID:ju95rzxV.net

乙

120 ：不明なデバイスさん：2011/07/25(月) 01:31:36.35 ID:IkZEl5nQ.net

SRP TargetっていうとどうもCOMSTARばかりが話題になるようですが、誰か
LinuxでSCST使ってる方はいませんか？Mellanoxのメモリ無しのHCAなんで
Solarisという選択肢が無い、、、

121 ：不明なデバイスさん：2011/07/25(月) 02:02:21.96 ID:HsVPxVWL.net

>>120
SCST、テスト動かした事はありますよ。
WindowsとLinuxで接続して動作させてました。
HDDが余ってなかったので二台のHDDをstrip化し、volumeをそのまま使用した環境で
200MB/s弱くらいは出てました。
長時間のテストはしなかったんで安定性については何ともです。

おまけで、機材一緒のままでLinuxのnative ZFS使用して同様の環境作りましたけど、
こっちは40MB/sと一台の時より遅かったです・・・

122 ：不明なデバイスさん：2011/07/25(月) 13:32:02.80 ID:PbQPyy/F.net

やはりこの辺で遊ぶには、OpenIndiana辺りはマトモに管理できるように
練習しとかないとダメですかねぇ。
LinuxとWinServerだけしか普段弄らないので最初のハードルが…

123 ：不明なデバイスさん：2011/07/25(月) 20:48:56.37 ID:RyRRAInK.net

>>122
Linuxとさほど変わらないから、違いだけ調べればいいんじゃね？
SMF、ZFSあたりと、細かい所でRUNLEVEL、NFS、mountコマンド...etcだけ把握するくらいで。

124 ：不明なデバイスさん：2011/07/25(月) 21:03:04.07 ID:QpgtTAbI.net

>>122
自分もCOMSTARを知って初めてOpenSolarisに手を出したのですが
Linuxに慣れているならなんとかなりますよきっと
ZFSの黄色い本はおすすめです

125 ：不明なデバイスさん：2011/07/25(月) 22:02:39.94 ID:PbQPyy/F.net

>>123-124
ああ、こんな独り言にちゃんとしたレスが。有難う。
取り敢えず、ESXiの上にOIインストールして、zfs/COMSTAR使えるように練習するよ！
一段落したらMellanoxのカード買ってみようかな。

126 ：不明なデバイスさん：2011/07/27(水) 22:46:13.43 ID:GbTPRwJZ.net

ヤフオクにCiscoのSFS-HCA-E2S7-A1が出てたんで即行で落札してきた
ebayに比べたら高いんだろうけど

Ciscoの中身はTopspinのはずだからLion Cub SDRとして使えるはず
メモリもついているみたいだしね
ただロープロなんだよな〜

127 ：不明なデバイスさん：2011/07/27(水) 23:52:29.21 ID:GI1f1X31.net

>>126
ebayだと半値だけど、送料だの手間を考えるとヤフオクのが良い気がする。
国内の中古はロープロが多いね。2UとかでHPCやってたとこのがながれてるのかな
過去自分はebayで落札したら、チップがはがされた状態のカードが届いた事がある orz

128 ：不明なデバイスさん：2011/07/27(水) 23:54:09.05 ID:GI1f1X31.net

参考までに、結果の一部省略してます。DDR接続でのベンチの結果
Number of qp's running 1
Number of iterations 5000
Massege size 65536
Mtu : 2048
------------------------------------------------------------------
#bytes #iterations BW peak[MB/sec] BW average[MB/sec]
2 5000 4.49 2.28
4 5000 8.98 4.56
8 5000 17.96 9.13
16 5000 17.96 15.98
32 5000 71.85 36.10
64 5000 143.70 72.48
128 5000 287.41 144.98
256 5000 287.41 276.33
512 5000 574.82 535.71
1024 5000 1149.63 780.73
2048 5000 1149.63 995.09
4096 5000 1149.63 1103.80
8192 5000 1226.27 1193.75
16384 5000 1226.27 1211.56
32768 5000 1226.27 1222.56
65536 5000 1226.27 1224.35
131072 5000 1226.27 1217.37
262144 5000 1138.51 1122.76
524288 5000 1123.30 1109.40
1048576 5000 1122.77 1108.25
2097152 5000 1123.57 1109.81
4194304 5000 1116.78 1109.91
8388608 5000 1117.90 1101.56
------------------------------------------------------------------

129 ：不明なデバイスさん：2011/07/27(水) 23:55:33.38 ID:GI1f1X31.net

SDRだと、こんな感じ
Number of qp's running 1
Number of iterations 5000
Massege size 65536
Mtu : 2048
------------------------------------------------------------------
#bytes #iterations BW peak[MB/sec] BW average[MB/sec]
2 5000 2.25 1.82
4 5000 4.49 3.85
8 5000 8.98 8.05
16 5000 17.96 14.64
32 5000 35.93 26.34
64 5000 71.85 56.59
128 5000 143.70 134.10
256 5000 287.41 245.50
512 5000 574.81 411.93
1024 5000 766.42 667.77
2048 5000 919.70 859.63
4096 5000 919.70 823.72
8192 5000 919.70 895.42
16384 5000 919.70 904.50
32768 5000 931.34 907.27
65536 5000 919.70 914.02
131072 5000 931.34 903.33
262144 5000 929.87 888.43
524288 5000 895.22 888.63
1048576 5000 924.76 891.21
2097152 5000 913.28 889.02
4194304 5000 892.85 888.73
8388608 5000 888.80 888.44
------------------------------------------------------------------

130 ：不明なデバイスさん：2011/07/27(水) 23:57:35.09 ID:GI1f1X31.net

上二つはWindows 7同士でRDMA使った状態での転送速度です。
ご参考までに。

IPoIBだと、tttcpで6Gb/sくらいが限界でした。

131 ：不明なデバイスさん：2011/07/28(木) 00:18:36.64 ID:6P3uh70d.net

おお情報thx
やっぱりピーク性能にはそれなりに差があるもんだね
TopspinのPCI-Xのやつはたまーにヤフオクに出るし2枚あるけど
バスとかメモリ周りで差が出てる感じがする

とりあえず届いたらウチのMicroServerとMX130S1に載せて試してみるよ

132 ：不明なデバイスさん：2011/07/30(土) 14:12:48.29 ID:9Qu0FVow.net

メモリレスなカードって、基本的に安価版でレイテンシとかはやや遅目っていう理解でいいのかな。
コネクション毎の管理情報の上限はメインメモリ使えるから緩いけど、性能は妥協してね、っこと？
ベンチ資料でそんなには変わりませんよとかMellanox出してはいるけど。

まとめるとビデオカードのUMAと同じ、でOK?

133 ：不明なデバイスさん：2011/07/31(日) 13:29:34.33 ID:bIvYWTF/.net

ちょっと教えてほしいんだけど、何度かSolarisにSMが無いって話が出てるけど
たとえばSolarisにDualポートのカードつけて Linux−Solaris−ESXi とつないで
LinuxでSM動かせばSolaris−ESXi間もUPになるの？

134 ：不明なデバイスさん：2011/07/31(日) 18:34:37.74 ID:tEJyCNWX.net

>>132
カードのメモリはバッファになるかと。AMDのビデオで例えるとSidePortメモリかな
昔のカードだと、CPUメモリに書き込みいくと処理追っつかないので、ある程度貯めて書く
最近のメモリ無しカードだと、都度書き込みいっても処理が追いつくのでメモリ無しになってると
レイテンシだけど、SDRスイッチ有り無しでこれくらい変わる
スイッチ無し
#bytes #iterations t_min[usec] t_max[usec] t_typical[usec]
2 1000 2.97 25.27 2.97
4 1000 2.97 12.95 2.97
8 1000 2.97 14.44 3.19
16 1000 2.97 8.28 3.19
32 1000 3.61 8.28 3.82
64 1000 3.61 12.74 3.82
128 1000 3.82 11.68 4.03
256 1000 4.03 15.08 4.25
512 1000 4.46 25.70 4.88
1024 1000 5.95 20.17 6.16
スイッチ有り
#bytes #iterations t_min[usec] t_max[usec] t_typical[usec]
2 1000 2.97 33.34 3.40
4 1000 3.19 10.83 3.40
8 1000 2.76 39.92 3.40
16 1000 2.97 557.46 3.40
32 1000 3.19 285.63 4.03
64 1000 3.19 24.42 4.25
128 1000 3.82 96.84 4.46
256 1000 4.25 319.82 4.88
512 1000 4.88 280.53 5.31
1024 1000 5.73 45.87 6.58

135 ：126：2011/08/01(月) 12:52:14.66 ID:LYGmsPhs.net

特価で買ってきたCiscoのSFS-HCA-E2S7-A1
OpenIndianaにTavorドライバ入れてあっさり動いたよ
やっぱりInfiniHost III Ex(MT25208)と表示された
ヤフオクにまだあるみたい

136 ：不明なデバイスさん：2011/08/02(火) 02:28:09.34 ID:BN0+z2Ml.net

>>135
動作確認乙
物はMHEA28-1TCかMHEL28-1TCな筈だったので動くだろうとは思ってたけど。

こっちは、MEHA28-2TCでSolaris 11 Expressでtavorの動作は確認。
SRPでWindowsと接続しようとしたらやっぱり駄目で迷走中
あと、Solaris 11 ExpressはOFEDのコマンド追加されてるって話だったので
試してみたら、libのバージョンが違うのかumad使ってるコマンドがエラーで動かないですね。

137 ：不明なデバイスさん：2011/08/02(火) 02:55:18.05 ID:14tka3XQ.net

mellanoxのInfiniHostIIIってちょっと熱くなりすぎません？
日本のALPHAのヒートシンクが付いてたりするけど、ちょっと怖いほど高温に
なるんですが。かなり積極的に風を当てないと駄目ですかね。

138 ：不明なデバイスさん：2011/08/03(水) 00:55:42.08 ID:y1JWtZCq.net

確かに発熱は気になるけど、もともと風洞みたいにファンの並んだラックサーバで使う前提設計だったんだろうしなぁ…
MX130S1に突っ込んだやつもかなり熱持ってるけど、アレイコントローラと五分五分なんで
まあその程度で壊れるやわなシロモノではないだろうと割り切ってる

ところで特価のCisco SFS-HCA-E2S7-A1だけど、ESXi4.1u1もMellanoxから落としてきたドライバで余裕でした

139 ：不明なデバイスさん：2011/08/03(水) 16:18:05.52 ID:AJBYXtWy.net

何も考えずにヤフオクの「Cisco SFS-HCA-E2S7-A1」に
入札したけど、ケーブルとかわかってないんだけど。
どうしたらいいんだろう(´・ω・｀)
とりあえず 2台の間を繋ぎたいだけだから、
適当な長さの CX4 のタイプ買えばいいのかな

140 ：不明なデバイスさん：2011/08/03(水) 20:28:52.21 ID:9GEihJbI.net

>>133

その構成でやってみたけど、自分の技量では動かせなかった orz
この辺かなｰって資料は、
http://www.mellanox.com/pdf/MFT/MFT_Windows_user_manual.pdf
のAppendixDが参考になるかな。

>>139
買うならスクリューじゃなくてラッチタイプのCX4ケーブルを買うといいよ。
上の方では10GbE CX-4用のでも動いたって動作報告あったけど

141 ：不明なデバイスさん：2011/08/03(水) 21:49:19.46 ID:y1JWtZCq.net

>>139
SFF-8470というコネクタタイプのSASマルチレーンケーブルでも使えます
というかほとんど同じもの
自分は秋葉原のオリオスペックというお店で買ってきました

142 ：不明なデバイスさん：2011/08/04(木) 08:15:43.63 ID:zLfXnY8+.net

olioは地味にぼったくりだからなぁ

143 ：不明なデバイスさん：2011/08/04(木) 13:56:08.98 ID:S9scllI9.net

ケーブルならOTTOで買えるんじゃないの
前にMHEA28-1TCが置いてあったことがあるし

144 ：139：2011/08/05(金) 21:27:10.66 ID:qsmBFmwN.net

皆さんありがとうございます。
SFF-8470 のケーブルは使ったことがあるので、
イメージが出来ました(｀・ω・´)。
土日にでもケーブル探しに出かけてみます

145 ：不明なデバイスさん：2011/08/05(金) 23:47:22.20 ID:O+9arxti.net

Solaris 11 ExpressのSRP TargetとWindows 7のSRP Initiatorでの接続動作確認。
WindowsのドライバをMellanox純正使わず、OFEDのWinOF 2.3でいけた。

次はSRPブートにチャレンジしてみるつもりだけど、失敗しそうだな。

146 ：不明なデバイスさん：2011/08/08(月) 20:44:41.69 ID:0ivpUn1m.net

ワットチェッカーを手に入れたのでスイッチの無負荷消費電力測ってみた。

F-X430066(8Port) 22W
F-X430060(24Port) 26W

あと、新品のF-X430066はかなり静かでした
自分が買った中古のF-X430066がファンが終了しかけてるだけだっというオチ orz

147 ：不明なデバイスさん：2011/08/12(金) 00:33:13.28 ID:I8VfOrHx.net

個人で買うようなデバイスじゃないだろ。業務用のサーバー用途だろ？

148 ：不明なデバイスさん：2011/08/12(金) 10:16:47.64 ID:kDFd2bwC.net

>>147
自宅の鯖２台を直結してLAN高速化とか、個人でも中々便利

149 ：不明なデバイスさん：2011/08/12(金) 10:32:26.66 ID:G5ROjnAY.net

うん、それは個人用途のレベルを超えていると思うよ

150 ：不明なデバイスさん：2011/08/12(金) 10:41:59.16 ID:x6BXOvGg.net

違法行為じゃあるまいし、個人でどんなパーツ買って使おうが、
他人にとやかく言われる筋合いはないな。

151 ：不明なデバイスさん：2011/08/12(金) 10:53:44.92 ID:HW8W/uhM.net

個人の趣味に業務用だからどーたらとか寝言ほざいてるバカがおる

152 ：不明なデバイスさん：2011/08/12(金) 20:58:56.21 ID:LthufKGa.net

>>149
じゃあ、ファイルサーバーに置いた自炊エロ本のページめくり超高速化のためなら？

153 ：不明なデバイスさん：2011/08/14(日) 02:32:40.79 ID:eeeEG5Sh.net

>>148
その使い方じゃあまり幸せになれない
DDR同士で直結してるけど、netperfで2GB/sしか出ないし、エクスプローラで
のファイル転送に至っては1000Base-Tに毛が生えた程度の速度。

154 ：不明なデバイスさん：2011/08/14(日) 05:07:52.10 ID:Uwh/5Esp.net

2GB/sでれば万々歳だと思うけど。

155 ：不明なデバイスさん：2011/08/14(日) 14:15:46.50 ID:UWMI6Ovp.net

>>153
ドライバをWinOF 2.3に変えて、IPoIBドライバの詳細設定でConnectModeをenableにするともう少しパフォーマンス上がるかも。
うちだと、sleep時にBSOD出るようになっちゃったが。

156 ：不明なデバイスさん：2011/08/15(月) 09:10:08.40 ID:KKs7kM1K.net

>>153
DDRは20Gbpsといっても実質16Gbpsだろ？
それで2GB/sなら完全に出し切ってる。

2Gbpsの間違いなら、SDR直結でももっと出てるので、
性能が出し切れてないような。

157 ：不明なデバイスさん：2011/08/16(火) 20:24:10.48 ID:PTWJ9/Uc.net

2GB/secか
夢がひろがりんぐ

158 ：不明なデバイスさん：2011/08/26(金) 10:44:43.01 ID:nDP7RB3j.net

age

159 ：不明なデバイスさん：2011/09/04(日) 00:06:48.20 ID:45Fw6R6/.net

IPoIBでHyper-V LiveMigration試してみた。

鯖：HP Proliant ML115 G5　[Phenom�U X4 940BE/8GB/160GB] ×2
HCA：MHGS18-XTC
ドライバ：メーカーサイトにあった最新

Hyper-VクラスタのLiveMigration時で平均320MB/S
netperfで計測したら 1.3GB/S位は出ているらしい
マイグレーションはCPUとメモリがネックになってるのかも

メインのクラスタがi7-860 DDR3 16GBなので
@2枚買ってきて、4枚で試してみる予定

160 ：不明なデバイスさん：2011/09/04(日) 01:30:26.98 ID:cFyRtlB5.net

>>159
うお、速い。
ML115 G5でそれだけスピードでるんですね。
うちもDDRだけど、netperfでそこまでスピード出てないです。
ちなみに、ドライバはMellanoxのでしょうか？

161 ：不明なデバイスさん：2011/09/04(日) 06:21:38.13 ID:45Fw6R6/.net

>>160
Mellanoxのサイトから落としてきたやつです。

MLNX_WinOF_VPI-2_1_3_win7_x64

162 ：不明なデバイスさん：2011/09/04(日) 22:28:33.38 ID:45Fw6R6/.net

二枚届いたので、IPoIBでHyper-V LiveMigration試してみた。

鯖：HP Proliant ML110 G6　[i7-860/16GB/160GB] ×4
HCA：MHGS18-XTC
ドライバ：>>159と同じ　MLNX_WinOF_VPI-2_1_3_win7_x64

とりあえず、二台で試した結果

Hyper-VクラスタのLive

163 ：不明なデバイスさん：2011/09/04(日) 22:37:35.17 ID:45Fw6R6/.net

途中で送信してしまった…


二枚届いたので試してみた。

鯖：HP Proliant ML110 G6　[i7-860/16GB/160GB] ×4
HCA：MHGS18-XTC
ドライバ：>>159と同じ　MLNX_WinOF_VPI-2_1_3_win7_x64

とりあえず、2ノード直結で試した結果

Hyper-VクラスタのLiveMigration 380MB/s〜530MB/s 結構幅がある、ML115 G5よりは少し早くなった
netperfで計測したら 80MB/s位とやたら遅い、トラフィックモニタ見ても何か壁に当たってる感じ、ぴったりそこで止まる。

メモリ13GBのゲストOSをLiveMigrationしたときの時間、5回実行して平均。
IPoIB：44秒
GBE：130秒

予想より遅いので色々弄ってみたものの変わらず
今度別のドライバで試してみる。

164 ：不明なデバイスさん：2011/09/08(木) 00:24:23.92 ID:GjXTbwgh.net

ヤフオクVoltaire の10Gスイッチが49800であったので迷わずぽちってしまった。
SM搭載のISR9024S-M
ケーブルも6本CX-4が付属
関税やら運送費考えると、海外から取り寄せるよりおそらく安いかなぁと
今ケーブルとカードいつもより出品されてるので、チェックしてみるといいかもしれない。

カードは大量にあるので、使用感は別途レポート予定です。
NexentastorあたりでのSRPTargetにて環境構築予定
もしかしたらVMにのせてその上で動かすかもしれない。

165 ：不明なデバイスさん：2011/09/08(木) 05:29:32.28 ID:af8CHQGe.net

>>164
うちはSFS7000Dを海外からぽちっと行きましたがなんだかんだで5万くらいでしたね。
SM搭載してるけど、未だにこっちは設定してないですわｗ
マニュアル読んでる最中なので。

丁度テストでNexentaCoreでSRPとiSCSIの環境作ってるのでレポートしますねん。
zfs stripeのシーケンシャルリードで1.2GB/sくらいのストレージが出来たのでｗ
クライアントはWindowsになるかと思いますが。

166 ：不明なデバイスさん：2011/09/10(土) 17:52:05.44 ID:+Gl+1Y5W.net

Solarisの絡みの話になるのでここに書くのはちょっと気が引けるのですが、
Solaris系でSRP Target使いたいけどわからんって人向けに、とりあえず使えるようにする方法書いときます。
当方が使ってる環境がNexentaCoreなので、そこら辺は適時読み替えをお願いします。
SE11とかだと、標準ではsrpのドライバは入ってなかった筈なので、
@solaris:~# pkg search -r srp
INDEX ACTION VALUE PACKAGE
pkg.summary set Sun SRP COMSTAR Port Provider pkg:/driver/network/srpt@0.5.11-0.151.0.1
このドライバ入れてやりましょう。

Sunの使い方のページでみたい人はこっちでどうぞ。
http://wikis.sun.com/display/OSOLDesign/How+to+Enable+the+SRP+Target+Service

InfiniBandのHCAでsrpが認識されているかチェック
root@nexenta:~# cfgadm -al | grep -G ib::srpt
ib::srpt,0 IB-PSEUDO connected configured ok

SRP TargetもCOMSTARの一部なので、ターゲット上げてやる必要があります。
root@nexenta:~# svcs -a | grep srp/target
online 23:55:20 svc:/system/ibsrp/target:default

になってればOK
なってなければ、
root@nexenta:~# svcadm enable -r ibsrp/target
で有効にしてやりましょう。

SRP Targetが動作しているか確認
root@nexenta:~# stmfadm list-target
Target: eui.0002C903000XXXX

つづく

167 ：不明なデバイスさん：2011/09/10(土) 18:11:38.17 ID:+Gl+1Y5W.net

Target: eui.0002C903000XXXX
の、eui.以下の部分ですが、NODE GUIDになっているはずですので、ご確認を。
cfgadm -al | grep hca
で出てくる数値と2C以下のところは一緒な筈です。

たとえばポートが複数あるカードでもtargetとしては一つしか出来ませんのでご注意を

SRP Targetの場合iSCSIの場合と違って自動でTargetが作成されます。
あとは、iSCSIと同様にtarget-groupやviewやluを作成してやれば動作します。

注意事項
VMwareESX等では、そのままInfiniBandのドライバを追加してやれば、SRPのTargetに
接続できますが、Windowsの場合はOFEDの配布している最新の2.3を使用しないと
接続できません。また、うちの環境での話ですが、同一IBネットワーク上にSRP targetが
複数存在している場合には複数同時には使用できませんでした。
使用しないSRP targetのibsrpドライバを無効にしてやると動作はしました。

ちなみに、Windows上で最新のOFEDのドライバを使用しないと接続できないのは、
Solaris自体のバグです。OI最新/SE11でも直ってないみたいなのでだれかバグ報告をｗ
http://src.opensolaris.org/source/xref/nwam/nwam1/usr/src/uts/common/io/comstar/port/srpt/srp.h
で
49 SRP_IO_SUBCLASS = 0x690E
が
49 SRP_IO_SUBCLASS = 0x609E
に修正するだけなんですけどね。

OFEDのドライバ側にSolarisのSRP Targetの場合は間違えた値で処理するように変更が加えられてるので
動作するようです。

168 ：不明なデバイスさん：2011/09/11(日) 08:44:15.26 ID:QOrC8UPf.net

>>165
opensmはトポロジの構成ポリシを選べると聞くけど、SFS-7000のsm設定は
あんまり設定項目自体がないので機能が低いとかあるんですかね？
IBでスイッチングポリシがどう決まるのかイマイチわかってない。

169 ：不明なデバイスさん：2011/09/12(月) 21:33:50.69 ID:pTpZeoUy.net

>>168
自分、そのこら辺まで追っかけれてないので、いまいちよくわかってないのですが、
ファットツリーとトーラスとかのアルゴリズムのお話ですよね？
最近ofwのMLで話題になってた3Dトーラスのアルゴリズムが云々てのがありましたが。

一応、この辺のことなのかなーと言う資料は見つけたので、はっつけときます。
http://www.cisco.com/japanese/warp/public/3/jp/service/manual_j/snv/sfs7/sfsemug/appendixA/9161_04_appendixa.shtml
これの「Subnet Manager のルーティング」って辺りですかね？

170 ：不明なデバイスさん：2011/09/14(水) 10:44:22.16 ID:jclKgVIV.net

それそれ。まだ高速バカハブ状態でしか使ってないので、
routing/partition/virtual-laneをもっと真面目に詰めてみたい。

171 ：不明なデバイスさん：2011/09/15(木) 00:03:58.01 ID:5IxCN9J3.net

すまない、このスレみたらInfinibandなるものが欲しくなってきた！
まだ調べ始めたばかりなんですが、とりあえずHCAとケーブルとSMが
必要なのはわかった！で、最小構成で検証しようとすると…

・SDRかDDRなHCAが2枚
・CX4なケーブルが1本
・Windowsが2台／もしくはLinuxが2台／もしくはWindowsが1台とLinuxが1台

でいずれか一方にOpenSMを入れて、2台をケーブルで直結すれば接続、
どちらかをストレージサーバに見立てて、もう片方をクライアント
にって感じで可能なのかな？

172 ：不明なデバイスさん：2011/09/15(木) 00:06:24.10 ID:5IxCN9J3.net

171だけど、連投疑問ですまない＋いまさらなんだけど >>25 の構成例って

PC1<---+
　　　　|
　　　　+--->P
　　　　　　　C
　　　　+--->2
　　　　|
PC3<---+

・PC1とPC3は1ポートのHCA搭載
・PC2は2ポートのHCA搭載で単なるIBスイッチ兼SMになってる
って理解でおｋ？

173 ：不明なデバイスさん：2011/09/15(木) 04:42:23.32 ID:yVdqg89L.net

Windows2台を直結して使っても大して幸せになれない
現状、SRP targetが動くOpenSolaris系かLinusを1台含めないと大して恩恵はない。

174 ：不明なデバイスさん：2011/09/15(木) 07:30:43.61 ID:c9Wr80wJ.net

Linusか・・・どうやって調達しようか。

175 ：不明なデバイスさん：2011/09/15(木) 22:51:05.27 ID:h2p44VeH.net

>>172
25だけど、ごめんよー単純にそのままだと動かなかった。
Switch less InfiniBandでググれば事例がでてくるけど、
設定の細かいところまでは出てこなくて、動作のさせ方がいまいちわからんままなのよ。

ちなみに、最低限の構成は171の構成で動くよ。

>>173,174
吹いたわｗ

176 ：不明なデバイスさん：2011/09/16(金) 00:09:46.55 ID:5Gp5R8c6.net

171です、ありがとー！
>>173 とりあえず最初は繋げてみるだけって検証かなーと思ってたんで、その後
は、確かにZFSを混ぜた構成を作ってみたいね。

>>175　Switch less InfiniBandのポイントありがとー！ちょっと調べてみる
よ！あと一応2台で最低限動かせるって分かって、助かりました！

>>174 同じく吹いちゃったよｗ

177 ：不明なデバイスさん：2011/09/16(金) 20:57:17.74 ID:5YKcju3m.net

>>167
どっちにしてもSolarisとVMwareESXiの組み合わせじゃSM載せたスイッチ必要なんでしょ？

178 ：不明なデバイスさん：2011/09/17(土) 01:21:48.18 ID:NnPwrZft.net

>>177
そうです。
って、最新のSolaris 11だとOpenSM入ってたりするか見てみるわ。
InfiniBand関係の修正が大量に入ってたので。

179 ：不明なデバイスさん：2011/09/17(土) 07:23:58.22 ID:e9DYcXZA.net

InfiniBandのポートが8個ぐらいとGbEポートが32個ぐらいついたスイッチってないの？

ストレージサーバーをIBでつないで、クライアントをGbEでつなぎたいんだけど

180 ：不明なデバイスさん：2011/09/17(土) 16:38:27.50 ID:AqMmxQix.net

ストレージならIBよりも、FC(FCoE)のほうが一般的じゃないか？

181 ：不明なデバイスさん：2011/09/17(土) 17:28:38.24 ID:cCc0qfdC.net

>>179
そういう製品ある。
ただ、そこまでポート数は多くないけど。
多いやつもあるっちゃーあるが、1Uとかのサイズじゃなくなるよｗ

http://www.servants.co.jp/mellanox/products/gateways/index.html

ちなみにIB/10GbE/FCをブリッジしてくれる。
ただ、お値段は7ケタだったような

182 ：不明なデバイスさん：2011/09/17(土) 17:42:43.38 ID:HZYfwgus.net

エンタープライズはともかく，1Gbps越えのローカルな通信だと
intel の lightpeek とかの方が現実的なコストで出来そうな気も

183 ：不明なデバイスさん：2011/09/17(土) 18:59:30.98 ID:gXeLKjbG.net

>>165
NexentaCoreでinfinitband使う場合、やっぱメラのカードだとメモリ付きじゃ
ないと駄目なんでしょうか？メモリなしのXTCでも行けますか？

184 ：不明なデバイスさん：2011/09/17(土) 21:17:46.55 ID:NnPwrZft.net

>>183
メラノックスの製品で言うと InifiniHostEX・Lxのメモリなしは動きません。
ConnectX系のメモリなしのは普通に動きます。てか、メモリなししかありませんが。

>>179
181だけど、業務での話よね？
よく考えてみたらら、10GbEのカードと10GbEが4ポート使えるスイッチでやるのが現実的かと。
FCoE使うとでは無ければ HP ProCurve Switch 2910al とか、DellのPowerConnect 6224とかで
やると比較的安くはなるけど。

個人だったら、そのクラスの中古を頑張って漁るんだ

185 ：不明なデバイスさん：2011/09/21(水) 23:54:19.23 ID:hITJymLj.net

FreeBSDで物凄いpps性能のスタック作ったとか話聞いたから、そいつにIB-10GbEのルータとかさせたらいいのかも。

DMA機能あるんだからNIC間で勝手にフォーワーディングとか設定できないのだろうか。

186 ：不明なデバイスさん：2011/09/21(水) 23:55:48.70 ID:hITJymLj.net

ConnectX2あたりからそんな機能ないのかな。どうもこの世代から色々断絶があって泣いてる。

187 ：不明なデバイスさん：2011/09/24(土) 02:42:44.94 ID:OVoOXtwQ.net

>>186
ConnectX系だといけそうだけど、BridgeX売ってる関係上やらないんでしょうねー。
BridgeXのチップ自体の単体販売してるけど、PCIeのコントローラ付きで15W弱の
消費電力だったから、PCIeカードにすることも可能な気が。

188 ：不明なデバイスさん：2011/09/24(土) 02:46:26.93 ID:OVoOXtwQ.net

あと、Solaris 11 Early Access版でIBの機能増えてるか試してみた。
残念ながら、OpenSMの機能は未実装だった。
あと、メモリ有りのInfiniHost Exは、動作した。
メモリなしのでも、週末にでも試してみるよ。
(たぶん、OracleがメモリなしのInfiniHostを売ってないので無理だとは思うけど)

189 ：188：2011/09/28(水) 19:40:03.97 ID:ucm47yZS.net

Solaris 11 Early Access 版でも、メモリなしのInfiniHost Exは駄目ですな。
デバイスドライバで認識されないわ。
OpenSolaris 134bとかだと、ドライバのアタッチされて、このカードでは動かないよメッセージでてたんだけど
それすらでなくなってるね。

190 ：不明なデバイスさん：2011/09/30(金) 15:24:34.35 ID:PRUUnQBj.net

SRPとかで使うんじゃなくてIPoIBしか使わない場合、ConnectX世代のカード
だと全然速いんでしょうか。

もしそうなら、10GBaseのNIC買う代わりになるのかなぁ、と思ったんですが。

191 ：不明なデバイスさん：2011/10/01(土) 01:40:33.57 ID:vH/wN4Ss.net

>>190
IPoIBが無茶苦茶速くなるって事も無いかな。
家だと、チューニングなしで1.5倍くらいにはなったけど。

ちなみに、ConnextXは10GbEのNICにもなるよ。
ファーム上げてやらないと駄目だったかもしれないけど。
QSFP->SFP+の変換のアダプタがMellanoxから出てるんで、それ使えばSFP+で接続可能。
国内だと結構良い金額してるけど、海外で買う事に抵抗なければ$50弱くらいで変換アダプタ買えるし

192 ：不明なデバイスさん：2011/10/01(土) 01:43:59.20 ID:vH/wN4Ss.net

肝心のスピード書いてなかった。
InfiniHost ExからConnectXに変えたら 4Gbit -> 6Gbit くらいにはなったよ。

あと、変換アダプタはConnectX-2対応って書いてた気がする。
ConnectXでは動作するかはちょっと解らないので博打になる可能性もあるからご注意を

193 ：不明なデバイスさん：2011/10/05(水) 09:51:57.22 ID:t5R12IRJ.net

connectX世代だと中古漁りでも10gbeカードと大して値段変わらん気がするけど。
10gbeカードもメーカでスピードまちまちなんで、スピードの面で10gbeに期待するのはまちがいかと。

194 ：164：2011/10/07(金) 21:23:33.74 ID:BJUPjlLf.net

ひとまず＞１６６のおかげでOpenIndiana＋napp-itで
SRP Targetの構築はできたけどWindows側のSRP InitiatorのIDの見方が不明
HostGroupとTargetGroupで接続制御したいので、HostのInitiatorIDが確認
できたらなぁと、何かしらのコマンドで見れるのかしら？

eui.xxxx の形式なんだろうけど情報がない＞＜

もしかして、Target作ったときのIDと同じ？
（同じサーバでOS入れ替えて同じカード確認しているので）

わかる人おりますか？

カード：Infinihost�VEx DualPort
OS:Windows2008R2　
WinOF:Ver2.3　SRP Driver導入済み

195 ：不明なデバイスさん：2011/10/07(金) 21:52:15.20 ID:HxWg2i0P.net

>>194

Windows側じゃなくて、OpenIndiana側で良ければ
# stmfadm list-target -v
で、接続しているデバイスは解ると思う。

多分、eui.xxxxxのxxxx部分は、Windows側のNode GUIDじゃないかな？
windows 側から確認したったら、ibstatコマンド叩いて確認すれば解るよ。
0ｘ1234567890123456 形式で表示されるので。

196 ：不明なデバイスさん：2011/10/08(土) 15:03:48.47 ID:d+p2xxZ/.net

Fibre channel のスレ無いのでこのスレでおｋ？

ストレージサーバー5台ぐらいとクライアント(GbE)100台ぐらいをつなぐのに Fibre channel を
考えてるんだけど最近 FCoE を知りました。

FCoE カードがついたストレージサーバーとFC＋CEEのスイッチさえあれば簡単に構築出来るの？

197 ：不明なデバイスさん：2011/10/08(土) 15:28:34.73 ID:S6UWp2fC.net

どう考えてもスレチ
まだSCSIスレの方がマシだと思うが、それでもスレチ認定だろうな

198 ：不明なデバイスさん：2011/10/08(土) 21:32:31.11 ID:GfdeDDww.net

>>196

FCoEなら、こっちのが良いかな
http://hibari.2ch.net/test/read.cgi/hard/1208537897/

199 ：196：2011/10/09(日) 00:47:35.70 ID:egi+JrWx.net

>>197
スマン
でもFCスレって無いんだよなあ

>>198
ありがとう
そちらのスレにポストしてみるよ

200 ：不明なデバイスさん：2011/10/09(日) 15:44:57.09 ID:QU9miVLk.net

>196 ﾃﾗｶﾜｲｿｽ（´・ω・）

563 : 不明なデバイスさん : 2011/10/09(日) 00:47:47.79 ID:egi+JrWx
Fibre channel のスレ無いのでこのスレでおｋ？

564 : 不明なデバイスさん : sage : 2011/10/09(日) 15:36:54.47 ID:cAvJgjP0
>>563
おｋじゃないので、お帰りください

201 ：不明なデバイスさん：2011/10/09(日) 16:39:33.92 ID:0roytR2h.net

メーカー依存話だったら通信技術のメーカースレでやれば良いとは思うがそうでもなさそうだしな

202 ：anonymous：2011/10/11(火) 13:23:07.14 ID:oPjvvx4y.net

FiberChannelのスレ、って昔みた気がするんだけど。通信技術板かな。

203 ：不明なデバイスさん：2011/10/13(木) 03:26:54.15 ID:CT6+S7kD.net

SCST+SRP targetとかtgt(Linux SCSI target framework)+iSERとか試してみたい
けど中々時間が取れない・・・

204 ：不明なデバイスさん：2011/10/13(木) 11:47:00.71 ID:5RgjVfbP.net

おおお

https://docs.redhat.com/docs/en-US/Red_Hat_Enterprise_Linux/6-Beta/html/6.2_Release_Notes/storage.html

>>iSCSI extension for RDMA (iSER) initiator and target
>>iSER initiator and target is now fully supported.
>>Red Hat Enterprise Linux can now function as an iSCSI initiator
>>and storage server in production environments that use
>>InfiniBand and where high throughput and low latency are
>> key requirements.

205 ：不明なデバイスさん：2011/10/23(日) 18:35:14.87 ID:Mgpu9bCC.net

Dual port な HCA を使って冗長構成を取ってる人っています？
資料を探しても Cisco のコンフィギュレーションガイドが出てくるばっかりで。

具体的には ConnectX を積んだ PC ２台を２本の線で直結して、IPoIB でネットワークを作ろうと思ってる。
このときに１本が断線しても通信が続いてくれるのが目標なんだけど・・・・・

206 ：不明なデバイスさん：2011/10/23(日) 23:14:33.00 ID:LQaf9qNz.net

>>205
OSはなんでしょ？
LinuxだったらIPoIBのBondingの設定はMellanoxのマニュアルに載ってたけど。
WindowsやSolarisだとちょっと解らないです。

207 ：不明なデバイスさん：2011/10/24(月) 04:40:36.75 ID:62XHfwnu.net

IBってBondingできるの？！

208 ：不明なデバイスさん：2011/10/24(月) 18:52:44.34 ID:+eooRvaQ.net

>>207
自分はそこまで突っ込んでやってないけどIB自体の冗長構成も出来たはず。
206の話はあくまでIPoIBでの話っす。
ググったらでてきた。アルテマさんのところの資料だけど
http://www.altima.co.jp/products/mellanoxtechnologies/ib-bonding.html

209 ：206：2011/10/24(月) 19:12:45.64 ID:lzrwZgjB.net

>>206
ありがとうございますー！
本当は Open Indiana 同士がいいんだけど、SM をどうしようもないんで
片一方は Linux の予定です。

確かに改めて調べてみたら IPoIB だと Bonding をサポートしてるという話が
ちらちら出てきたので、それを切り口に、もう少し探し回ってみようと思います。

なんか出てきたら報告しますねー

210 ：不明なデバイスさん：2011/10/24(月) 20:46:22.12 ID:+eooRvaQ.net

>>209
OpenIndianaでも多分IPoIBのBondingは出来るんじゃないかな。
その辺できるようにIPoIBのドライバに大分手が入ってるから。
うちはNexentaCoreなのでその恩恵には預かれないけどｗ

211 ：不明なデバイスさん：2011/10/24(月) 21:46:52.65 ID:+eooRvaQ.net

210に追加
http://download.oracle.com/docs/cd/E18476_01/doc.220/e18478/network.htm
を見る限りSolaris11系だと、IPMPでは動くみたいですね。

212 ：不明なデバイスさん：2011/10/30(日) 21:16:46.77 ID:cjjsNR0s.net

WinOF 3.0-RC1 出てるね。
IPoIBがConnected Modeが正式にサポートされてる。
これでWindowsのIPoIBの速度が上がるかな

213 ：不明なデバイスさん：2011/10/30(日) 22:45:55.96 ID:SbwOU+6u.net

Solaris系OSでSRP targetが試してみたくてMHGA28-1TCをポチってしまった。
後悔はしていない。LowProfileのブラケットしか付いていないので送料込み
で90ドル。この瞬間だけは超円高ﾏﾝｾｰ

とりあえず簡単にNexentastorを試したい

214 ：不明なデバイスさん：2011/10/31(月) 00:22:45.24 ID:UoieX4Kj.net

>>213
NexentaStoreだとSRPはWebGUI上から触れないよ
それがあってNexentaCoreにした

215 ：不明なデバイスさん：2011/11/04(金) 02:31:58.35 ID:nUkUdMrc.net

あ、あれ？
FreeBSD-9.0RC1でMHGA28-XTCを認識しない。。。
どういうことなんだ？キバヤシ

216 ：不明なデバイスさん：2011/11/04(金) 10:10:04.86 ID:KuHYChLX.net

>>215
過去に自分がFreeBSD 9.0-current(5月くらいかな)で試したときは、
自分が持ってるInfiniHost系は全滅でした。
当時はConnectX系持ってなかったのでテストできなかったんですが、
移植された方はConnectXのENモードで使ってるっぽい記述を見た記憶があるので、
近々、ConnectXでFreeBSD 9.0に再度チャレンジしてみます。

しかし、ドキュメントが全くないのでどういう状況なのかが全く分からないんですよね

217 ：不明なデバイスさん：2011/11/04(金) 10:50:05.61 ID:w8qmjF1B.net

ソース真理教。

218 ：不明なデバイスさん：2011/11/07(月) 23:25:03.50 ID:mBSUlx73.net

InfiniBand 全然知らないんだけど自宅でクライアント5台とIBを使った鯖をつないでみたい。
ものすごいスピードでIBの鯖のRAIDにアクセスしたい

クライアント達はGbEのハブでつながってるんだけど何があればIBを使った鯖をつなげるんだ？
このスレよんでると10GbEより安くてパフォーマンスがいいんだよね

219 ：不明なデバイスさん：2011/11/08(火) 03:11:48.63 ID:wSYBbrGm.net

>>218

InfiniBandでその台数を繋ぎたかったら、スイッチが必須かも。
ちなみに、iSCSIで接続とかSMBで接続って事だったら、無茶苦茶には速度上がらない。
うちだと、iSCSIで接続すると、シーケンシャルのReadが220MB/s Writeが120MB/sくらい。
SMBは試してないので不明。過去ログ読むと出てるけど。

・クライアントとサーバにIBのHCAカード。
・IBスイッチ
・スイッチとクライアント・サーバを接続するケーブル
ってことろかな？

サーバのOSとかクライアントのOS書いてもらえるともう少し突っ込んだ内容がかけるけど。

10GbEで5台以上接続するとなると、比較的高価なスイッチが必須。カード自体はそこそこのお値段かな。
IBだと、カードがヤフオクで8k円くらい(これもピンキリだが)、スイッチが3万で今は出てるね。
あと、ケーブルは欲しい長さの物があればヤフオクなりで。

ちなみに、個人的に検証したときはTCP/IPのパフォーマンスは、IBより10GbEのが1Gb/sくらい良かった。

220 ：不明なデバイスさん：2011/11/08(火) 13:02:59.07 ID:9HdOCYcY.net

>>219
両方とも Linux (CentOS) です。

>ちなみに、個人的に検証したときはTCP/IPのパフォーマンスは、IBより10GbEのが1Gb/sくらい良かった。

これが気になったんですがIBじゃなくて10GbEで接続した方が管理もスピードも楽って事ですか？
SubnetManager も必要ないし・・・。

221 ：不明なデバイスさん：2011/11/08(火) 14:52:59.02 ID:gi2tiSuM.net

IPoIB が 10GbE より優れてる点はコストぐらいじゃないかな
10G以上で繋ぎたいとか、IP以外(NFS/iSCSI)でも使いたいというときに、
はじめてコスト以外のメリットがあると思う。

ちなみに、今日から（だったっけ？）サービスが始まる
「さくらのクラウド」もIB使ってるらしい。
「さくらのクラウド」を例に見るネットワーク仮想化の設計と実装 ? さくらインターネット研究所
http://research.sakura.ad.jp/2011/10/11/hbstudy27/
# 資料の P.51〜 IB 利用について説明

さくらは @IT とかの記事も書いてたから、かなり IB に
力入れてる印象があるから、あえて使ったのかもしれないが

222 ：不明なデバイスさん：2011/11/08(火) 17:09:31.11 ID:VtaymO8o.net

>>220

219だけど、スピードはSDR(10Gb)接続の場合の話ね。
ConneｃｔX系使って、DDR(20Gb)で接続するとIPoIBの方がパフォーマンス出たよ。
接続は、Solaris Express 11 と Windows 2008 R2 とで900MB/sくらい出た。
Windows側のOFEDは3.0-rc1使ってCMをonにしてる状態だけど。

個人的な意見だけど、一対一だと10GbEの方が楽だと思う。
これが複数の接続になるとコスト的にはIBに軍配上がるかな。
10GbEでフルスループット出るSwitchって、IB Switchに比べると倍以上違うので。

221さんが言われてるに自分も同意です。

>>221

さくらさんの場合は、ConnectX系使ってEoIBまで使ってるのが大きいかと。従来の
Etehrnet部分もIBに全部集約してるので、ケーブリングが単純になるのが大きいんで
しょうね。確かにストレージ系ネットワークもEthernetネットワークも全部IB上で集約する
ってのは合理的だなーと思います。

223 ：不明なデバイスさん：2011/11/08(火) 23:01:08.89 ID:Y+Qguiin.net

また聞きだけど、さくら のストレージはIPoIBのNFSという話を聞いた。

224 ：不明なデバイスさん：2011/11/09(水) 10:30:22.48 ID:/k5Q3TVO.net

>ちなみに、個人的に検証したときはTCP/IPのパフォーマンスは、IBより10GbEのが1Gb/sくらい良かった。
あれ、ベアラスピードは10GBeは10Gbpsだけど、SDRは8Gbpsじゃなかったっけ？
ひょっとしたらIBのほうがプロトコル効率いいのか？？

225 ：不明なデバイスさん：2011/11/09(水) 11:43:23.89 ID:wiWuojdl.net

某オクのCisco IBスイッチ
Paswd解除してやろうと思ったらデフォのままだった…

ちなみに↓のマニュアルの方法でリセットできるようだ
ttp://www.redbooks.ibm.com/redpapers/pdfs/redp4095.pdf

226 ：不明なデバイスさん：2011/11/10(木) 00:48:25.32 ID:M1ZsPNQU.net

>>223
ほうほう、ってことはrNFS使ってるっぽいですね。

>>224
ベアラスピードは書かれてる通りですね。
計測したときは片側がWindowsだったんだけど、当時はConnected Mode対応じゃなかったので
余計に遅かったのもあるかも。手元の環境でIPoIBをiperf使ってチェックしてみたら、現状はこのくらいでてますね。
ちなみにLinux(Sientific6.1) - Solaris Express 11をDDRスイッチかまして接続してる状態です。

------------------------------------------------------------
Client connecting to 192.168.17.7, TCP port 5001
TCP window size: 193 KByte (default)
------------------------------------------------------------
[ 3] local 192.168.17.241 port 60775 connected with 192.168.17.7 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 11.5 GBytes 9.90 Gbits/sec


某オクでCiscoIBスイッチ落札された方向けネタを一つ。
最新のSFS-7000系のTopspinOSは、IBMからおとせれますよーっと。

227 ：225：2011/11/10(木) 01:18:17.69 ID:A9d72Ii/.net

>>226
あんがとー
TopspinOS Release 2.9.0 Update 2 が最新かな？
既にそのVerのようでした

速度についてはレイテンシとオーバーヘッドの点でIBが優位ってとこなんでしょうかね
俺も早く試したいけど、まだHCAが1枚もない・・・

228 ：不明なデバイスさん：2011/11/10(木) 01:53:04.67 ID:M1ZsPNQU.net

>>227
ありゃ、最新ですか。
うちで確認したところ、
OS loaded is TopspinOS 2.9.0 releng #170 06/26/2007 16:40:42
で最新な筈です。

DDRだったら10GbEとほぼ変らないスピード出ると思います。
Windows(WinOF 3.0-RC1) - Solaris Express 11(OS標準ドライバ)のIPoIBで900MB/sはでてますから。
ただ、DDRのカードの出物が少ないのでちょっと手に入れるのが大変かも。
SDRのカードだったらそれなりにオクに出てるんですが・・・。

229 ：不明なデバイスさん：2011/11/10(木) 02:28:42.29 ID:A9d72Ii/.net

ふぅ。ラックにマウント完了・・・

>>228
レス恐縮です。
IPoIBで900MB/sなら10GbEと比べて遜色ないですね
DDRカードが欲しいのでeBay漁ってみようと思います


ちなみに、*BSDなZFS Storage(OS用)とESXiのIB接続、
別筺体のZFS Storage(ファイル鯖)とESXi GuestやClientPCの接続を考えてます。

前者は単にIB Switch<->HCAで良いと思うのですが、
後者はStorageServerに10GbE NICとHCAを挿して、ClientPCは10GbE UplinkがあるGbEエッジスイッチ経由、
ESXi GuestはHCA経由での接続が安上がりかなーと思ってます

IBド素人ながら、はてなさんの構成が激しく気になります

230 ：不明なデバイスさん：2011/11/10(木) 02:34:12.70 ID:A9d72Ii/.net

はてなじゃないや、さくらたんだ。失礼しました。

231 ：不明なデバイスさん：2011/11/10(木) 06:48:37.62 ID:YOghaSxJ.net

はてなたんってDQ45CBのまな板とか並べてたんじゃなかったっけ？
石狩のアレがそう（ブレードじゃない）ならちょっと笑う。

DDRといえばqlogicの9000 DDRがオクに安価で出てるけど、さすがに１枚目はメラのほうがいいだろーなー。

232 ：不明なデバイスさん：2011/11/10(木) 07:12:02.87 ID:dQvOBEfS.net

Solaris 11が正式リリースされたよー
ttp://www.oracle.com/technetwork/server-storage/solaris11/overview/index.html

233 ：不明なデバイスさん：2011/11/10(木) 09:17:57.94 ID:M1ZsPNQU.net

>>229
*BSDでの動作って、今のところ移植された方のBlog見るとConnectX系でそれもETHモードでの動作だけな気がします。
近々、ConnectX積んだPCが空くのでそっちでFreeBSD 9.0をテストしてみる予定ですが。
FreeBSDのInfiniBandの移植ってLinuxKernelの必要なSystemCallをFreeBSDのSystemCallに置き換える層を
作って移植してるんですな。ソース見てて知りました。

>>231
ちょっと前に、ITmediaかなんかでさくらさんとはてなさんの対談が載ってたけど、はてなさん最近はメーカーもののサーバ使う
ようになってるって話が出てた気がします。
Qlogicは、自分持ってないのではっきり言えないんですが、QlogicサイトのWebで見てるとWindowsとLinuxのみのサポート
みたいですね。最新のQDRの物に関しては今のところLinuxのみのサポートみたいで。Windowsにも移植中ってのはOFED
のML見てると書いてありましたが、WinOF3.0に間に合わないかも的なメールが流れてました。

>>232
情報ありがとうございます。
早速ダウンロードしました。仕事終わったら早速インストールしてみますｗ

234 ：不明なデバイスさん：2011/11/10(木) 15:36:02.46 ID:lB6LKqjO.net

>>229
個人的な意見ですけど、DDRで揃えられるつもりなら、InfiniHost系よりもConnectX系をお勧めします。
それもConnectX系でもQSFPのポート方で。CX4のポートのもの(MHGH系)はサポート終了みたいなので。
OEM物でも、自己責任で最新ファームに書き換えできるようになってるので、安ければそれで。
ebayだったら出物がそれなりにあるので、根気よく探せば格安で手に入ると思います。
6月くらいまでは、refurbishedのConnectXが大量に流れてたんですが売れちゃったみたいで、最近はぼつぼつ出てる感じです。
あと、QSFP-CX4のケーブルが意外と値段しますので、その辺りをトータルで見ながら購入されるのがよろしいかと

235 ：不明なデバイスさん：2011/11/10(木) 17:55:16.13 ID:YOghaSxJ.net

でもお高いんでしょう？

236 ：不明なデバイスさん：2011/11/10(木) 21:05:13.98 ID:M1ZsPNQU.net

>>235
今ならなんと$65でって、その値段で先週まででてたんですけどねｗ
定期的に売りに出してる業者がいるからちょっと待てば$100くらいで出てくるかと。
在庫が200枚程あるからまとめ買い交渉受け付けるよって書いてましたが。

237 ：不明なデバイスさん：2011/11/10(木) 23:52:45.40 ID:FSXMY8oa.net

IBoE に対応したスイッチって高いの？

IBoE と GbE を使った鯖、クライアントを混在させたいんだ

238 ：不明なデバイスさん：2011/11/11(金) 00:18:05.51 ID:Xwcef8hc.net

>>237
GbEだったら安い中古のあるんじゃないかな。
eBayで何回か見かけた事ある。
10GbEになると、現行のBridgeXになるから100万越えになっちゃうけど。

239 ：不明なデバイスさん：2011/11/11(金) 00:34:24.53 ID:Buer1oZq.net

>>238
スイッチ自体がGbEまでしか対応してないと IBoE もGiga止まりですよね？

そうなると困るのでせめて IBoE だけは 10GbE でつなげるようなスイッチって無いんですかね？

240 ：不明なデバイスさん：2011/11/11(金) 01:35:28.57 ID:Xwcef8hc.net

>>239
残念ながら、EoIB、FCoIB等のプロトコル変換出来る機械は安いのがないんですよ。
古いものだと238であげたように、GbEしかついてないですし。
LinuxとかでEoIB-10GbEのGatewayが簡単に作れればいいんですけど、
現状ではそういう風になってないんですよね。
あと、EoIBを喋らせようと思うと現状ではEoIBを理解できるGatewayがいないと設定すら
出来ないと思います。ここら辺は、自分も勉強不足なので間違ってるかもしれません。

参考までに、現行品で挙げますが
http://www.xsigo.co.jp/products/io_director.html
http://www.mellanox.com/content/pages.php?pg=products_dyn&product_family=77&menu_section=52#tab-three
どちらも個人で買えるような代物ではないですね・・・

241 ：不明なデバイスさん：2011/11/11(金) 06:44:38.15 ID:xvd3rYLC.net

>>240
ifをbridgeすればいいんじゃない？ linuxならbrctl addif br0 eth0 eth1みたいに。
ただ、スループットは期待できないと思う。貧乏人のルータ、ってやつですな。
>>236
やっす。　connectXは10GBeにもなるからなあ。

242 ：不明なデバイスさん：2011/11/11(金) 17:11:42.84 ID:0f3BvgVE.net

一番安い IBoE 10GbE スイッチっていくらぐらいなんでしょうか？

8ポートぐらいの IBoE スイッチに鯖を４台ぐらいつないで、
IBoEスイッチから10GbEリンクを持ったGbEスイッチをつないで
GbE のクライアントにつなげば比較的安く上がるかな？

243 ：不明なデバイスさん：2011/11/11(金) 17:26:49.47 ID:xvd3rYLC.net

IBoEとEoIBで話がかみあってない気が。
いずれにせよ３桁万円コースだと思うけど。

244 ：不明なデバイスさん：2011/11/11(金) 22:52:14.60 ID:Xwcef8hc.net

>>241
IPoIB - 10GbEのルータは作ってみるつもりです。
間違い無くフルレートは出ないでしょうけどｗ

オークション形式で出てるので、実際はもっと上がる可能性ありますけど、
それでも安いとは思います。普通だと$300くらいからスタートなので・・・

>>242
あー、ごめんなさい。勝手にEoIBと勘違いしてました。
ちょっと調べてみたところIBoE対応製品って比較的最近の物しかないかと思います。
CiscoのNEXUS 5000系は対応してるみたいですが。ポート数が少ないもので
言われてるような機能を持った製品はまだ市場に出てないんではないかと思います。

>>243
ご指摘ありがとうございます。その通りでした(汗)
どちらにしろ、お値段は3桁万円コースですね。

245 ：不明なデバイスさん：2011/11/12(土) 08:57:59.40 ID:JAZFyoDP.net

>>5
systemworks ってFCほとんどあつかってないし、ベンチもないな

なんでIBはやってFCはやらないんだろう・・・

246 ：不明なデバイスさん：2011/11/12(土) 12:18:25.71 ID:hfBB53D+.net

今さらFCでなにするよ。
先進性のあるもの取り上げないと、面白くないしね。

247 ：不明なデバイスさん：2011/11/12(土) 16:12:20.13 ID:JAZFyoDP.net

FCoE とかか？

248 ：不明なデバイスさん：2011/11/12(土) 20:51:33.87 ID:61ogkybw.net

>>245
あそこはHPC屋さんだからFCは殆どやってないのではないかと。

249 ：不明なデバイスさん：2011/11/12(土) 20:57:32.87 ID:oL/AVp5D.net

linux のブリッジだとCPUがネックでろくな性能出ないんじゃないか。
少し前はGbE でもギリギリだったが

250 ：不明なデバイスさん：2011/11/12(土) 21:33:31.95 ID:8K8Rsbn/.net

ブリッジングなら(EoIB)、最近のPCIeならそこそこ性能出るんじゃないかと。でも2G〜3Gbpsぐらいだろうけど。
ルーティングだと(IPoIB)、遅そう。
って実際にやってみればいいんだけど、PCIex8が2本以上あるようなマザーがねーよ。というかショッパイPCしかない。

251 ：不明なデバイスさん：2011/11/12(土) 21:48:14.04 ID:JAZFyoDP.net

>>248
HPCだとネットワークはやらないのか・・・
ネットワーク屋ってのが別にあるのかな？

252 ：不明なデバイスさん：2011/11/12(土) 22:26:57.27 ID:bWVzVMqr.net

HPCで計算機結ぶのにFCなんざ使う理由がない
FCの話がしたいなら他所へ行け

253 ：不明なデバイスさん：2011/11/12(土) 23:09:24.27 ID:oNSrxNQT.net

ストレージとESXiホストそれぞれにDual portなIB HBAを付けて２本の線で２台を接続、
それぞれのリンクを
・ESXiホスト <-(SRP)-> ストレージ
・VMs <-(NFS, IPoIB)-> ストレージ
にして運用する、とかできるのかな

254 ：不明なデバイスさん：2011/11/13(日) 08:06:51.88 ID:Yqxpy+ON.net

SRPだとストレージはsolaris系？
SM搭載スイッチかlinux or windowsでSM立てないとリンク上がらんよ。

255 ：不明なデバイスさん：2011/11/13(日) 19:04:49.47 ID:TC+oayOa.net

はやくSolaris11系かESXi5系でOpenSMが動くといいんだけどなぁ

256 ：不明なデバイスさん：2011/11/13(日) 19:57:39.05 ID:Yqxpy+ON.net

ESXiの設計では、おそらく出ないと思われる。
基本的にホストOSでアプリを動かすようにできてない。
Solaris系は、OF次第じゃないかな。

257 ：不明なデバイスさん：2011/11/13(日) 20:38:58.94 ID:DqZ1whGS.net

>>253
ESXi は SRP に対応してない、というより IB デバイスに対応してないよ。
Mellanox + ESXi だと、Mellanox ドライバが Etherデバイス + FCデバイス にみせかけてくれる。

FCoIB で FCターゲット
IPoIB で NFS
の2択じゃないかな。

258 ：不明なデバイスさん：2011/11/14(月) 00:06:22.29 ID:A3KUkwg6.net

>>253
254さんの言われてるように、ストレージがSolarisだと現状は無理ですね。
LinuxでされるならSCSTをSRP Targetに使えば可能です。
あと、ESXiは5系をつかうとなるとInfiniBand自体が使えないので注意です。
ドライバがまだMellanoxから出てないので。

>>255
FreeBSDも忘れないであげてくださいｗ
調べてみたら、ESXではOpenSM動いてたみたいですね。
ESXiだと256さんが言われてるように、アプリが動かせないので無理じゃないかなーと。

>>256
OFの出来はどうなんでしょうね？
Solaris11でOFEDからかなり移植してるので、コンパイルだけで動いたりしないかなー。

>>257
言われてるように、ESXiは標準ではInfiniBandとSRPとIPoIBには対応してないですね。
ただ、Mellanox配布のOFEDドライバを入れるとSRPとIPoIBのドライバも入るのでSRPは動作します。
実際うちではそれで動いてますから。
http://www.mellanox.com/content/pages.php?pg=products_dyn&product_family=36&menu_section=34
でマニュアルみるとプロトコルの対応状況が書いてあります。今のところFCoIBの対応はしてなかったかと思います。
あとは、rNFSとかも対応してないですね。かなり機能限定されてるドライバなので。

ちなみに書かれてるのって、VMWareのサイトで配ってる以下のMellanoxの10GbEのドライバの方でしょうか？
http://downloads.vmware.com/d/details/dt_esxi50_mellanox_connectx/dHRAYnRqdEBiZHAlZA==
こっちだと、書かれてる内容的に納得なんですが。

259 ：不明なデバイスさん：2011/11/14(月) 00:36:19.45 ID:H+ydeSaH.net

>>258
ご指摘ありがとうございます。

> ちなみに書かれてるのって、VMWareのサイトで配ってる以下のMellanoxの10GbEのドライバの方でしょうか？
おそらくそうです。10GbEの方で見た画面で間違って理解していました。

OFEDドライバも別にあったのですね、というかVMware公式で
配布しているのは10GbEでENが付いている製品用で、
OFEDドライバはENが付かないIB/VPI製品用なのですね。

260 ：不明なデバイスさん：2011/11/14(月) 00:52:08.68 ID:A3KUkwg6.net

>>259
いえいえ、普通はVMware公式に有るとそっちで動くって思うでしょうし。

MellanoxのサイトにVMwareで配布してるものドライバのReleaseNoteがあったので
読んでみたんですが、10GbEドライバで使用できるものの中にはConnectXのENつく
もの以外の製品も有ったので、10GbEのみで使うならConnectX系(VPIが使用可能
な製品)は使えるのではないかと思います。調べてみたら、この辺ややこしいですね(汗)

どうなるか、一回テストしてみるのがよさそうなので環境組んでやってみます。

261 ：不明なデバイスさん：2011/11/14(月) 01:24:40.84 ID:A3KUkwg6.net

OFEDの最新RC版がでてるので、人柱な方はどうぞ

OFED for Windows 3.0 RC2
http://www.openfabrics.org/downloads/Windows/v3.0_RC2

OFED-1.5.4-rc4 for Linux
http://www.openfabrics.org/downloads/OFED/ofed-1.5.4/

262 ：不明なデバイスさん：2011/11/14(月) 02:14:55.28 ID:neCXws3K.net

【SAN,NAS】ストレージ鯖総合【iSCSI,FC,IB,10GbE】
http://hibari.2ch.net/test/read.cgi/hard/1321055812/

263 ：不明なデバイスさん：2011/11/14(月) 06:38:00.74 ID:Exe1zPrl.net

>>260
チップ自体はENも非ENも変わらなくて、ENはPXEとかiSCSIブート用にEEPROM持ってるんじゃないか、と想像してます。

264 ：不明なデバイスさん：2011/11/14(月) 23:13:41.39 ID:A3KUkwg6.net

>>263
チップ自体は一緒ですね。ENはほぼファームが違うだけだと思います。
あとはPCIのデバイスIDとかそこら辺が違うのかな。

で、BootROMはENとVPIのカードでも多分一緒ですね。
これFlexBootととして配布してるのが同じものなので。
VPIカードも書かれてるような、EhternetからのPXEとかiSCSIのBootが可能です。
すごく汎用的に出来てますね。

265 ：不明なデバイスさん：2011/11/15(火) 12:14:16.36 ID:Oz8F4jwP.net

はじめての速度測定。両側：windows 7, Pentium D 2.8GHz, infinihost Lx DDR,直結。
netpipe371_win32_tcpで最高速度が1500Mbps・・・・・・うゎゎゎゎぁぁぁん。
やっぱりそれなりのマシンじゃないと速度でないのね（笑）

266 ：不明なデバイスさん：2011/11/15(火) 12:31:16.56 ID:Oz8F4jwP.net

で同じマシンでmyricom-CX4で接続すると最高速度は2500Mbps。
IBというかIPoIBって意外とCPU喰うん？

267 ：不明なデバイスさん：2011/11/15(火) 13:25:07.63 ID:Oz8F4jwP.net

CPU使用率メモ。infinihostで50%、myricomで40%。one-threadっぽい動きなので50%でサチってる。

268 ：不明なデバイスさん：2011/11/15(火) 20:48:06.44 ID:mXVOpU0d.net

>>267
CPUは何を使ってる？

269 ：不明なデバイスさん：2011/11/15(火) 21:06:44.30 ID:Oz8F4jwP.net

>>268 >>265。
ConnectXが速いのは、オフロード（チップ内処理）してるからでしょうね。

270 ：不明なデバイスさん：2011/11/15(火) 21:12:13.11 ID:RTDTZQao.net

>>268
>>265に(遅くて熱い)Pentium D 2.8GHzと書いてあるねｗ

271 ：不明なデバイスさん：2011/11/15(火) 21:57:41.46 ID:mDQ+OOPG.net

>>265
InfiniHost系なら、上に書いてるWinOF 3.0のRC版を入れるのがお勧め。
Connected Modeが使えるようになって速度が大幅に上がるはず。

っと、これだけだとアレなので、Firm更新してて気づいたネタを書いておこう。
ConnectXはEtherModeだとUDPのオフロードがないみたい。
ConnectX2はUDPオフロードしてくれる。

272 ：不明なデバイスさん：2011/11/15(火) 22:00:31.55 ID:Oz8F4jwP.net

>>271
Connectedでも大して変わらんかったです。SMの仕事がちょっと減る、とかそんなもんかなー。

ConnectXとX2の違い、チップのブローシャ見てる限りはfloating point engineぐらいなんだけど（GPU offloadで使う？）、
微妙に内部のメモリ量とかオフロードエンジンのプログラミング能力とか違いそうですね。

273 ：不明なデバイスさん：2011/11/16(水) 00:22:56.87 ID:ML89bY3o.net

>>272
あらま、変らなかったですか・・・。
DDR接続で InfiniHost Lx の Linux - ConnectX の Solaris 間のIPoIBで10Gb/sくらいでてました。
Linux側がML115 G1のAthlon X2 5000+ で Solaris側がXeon X3460です。

ConnectXとX2でファームが完全に分かれてるから、なんらかハードの差があるんでしょうね。
最初はそんなに差なんてないだろって思ってたんですが、同一環境上のConnectXとConnectX2で
BootMessageでUDPのオフロードが有効にならんよってメッセージが出て驚いたんですがｗ

274 ：不明なデバイスさん：2011/11/16(水) 01:04:24.46 ID:m55q9mhU.net

興味は有るのだが、このスレ濃すぎて何言ってるのかわからん。
みんな本業が運用系のエンジニアって訳じゃないよね。
どうやって基礎知識得たの？

275 ：不明なデバイスさん：2011/11/16(水) 01:57:29.88 ID:ML89bY3o.net

>>274
職場はコンピュータ系とは全く別の業種ですｗ
ネットワーク系のことは全くの趣味ですね。

基礎知識ってInfiniBandのですかね？
自分は元々ネットワークの技術ずっと追っかけしてたので、
最初に幾らか資料読んで、あとは実践でひたすら覚えていってる感じですね。
実質InfiniBandを触りだして半年くらいですから、そんなに詳しいわけでもないんでｗ

InfiniBand自体、技術的には昔からあるんですが、ノウハウの部分があんまり表に出てない
(というか、触ってる人が少ない)ので、自分がやってて貯まったノウハウとかを書込していってる
感じです。後からやろうとしてる人が楽できるように。

276 ：不明なデバイスさん：2011/11/16(水) 02:24:48.45 ID:ML89bY3o.net

MellanoxのOEMもののカード使ってる人向けネタ

最新のファームの適用方法
https://forums.oracle.com/forums/thread.jspa?threadID=1905893
PXEブートとかいらないんだったら、途中のiniファイルの編集は不要。

うちで書換を確認したのは、以下のカード
・VOLTAIRE HCA 410 Ex-D (InfiniHost Lx MHGS18-XTC)
・HP 380298-B21 (InfiniHostEx MHEA28-1TC かな？)
・HP 448397-B21 (ConnectX MHGH28-XTC)
・IBM 44R8728 (ConnectX MHGH29-XTC)

VOLTAIREのカードは、iPXEの最新のBootROMを焼いてみたけど、
PC起動時にiPXEのメッセージが出てくるところまでは確認。

TopSpin(Cisco)のカードは上記方法では出来なかった。
1枚カードがあぼーんしたので注意を orz
とりあえず、IBMのサイトから最初に入ってるイメージよりも新しいFirmは入手できたから
そっちを突っ込んだ。

277 ：不明なデバイスさん：2011/11/16(水) 09:18:14.08 ID:RIs8d0AX.net

>>276
tombstone化してしまいましたか（w
mst statでconfig側のインタフェースぐらい見えてるのなら、flintに強制書き込みモードがあった気がする。

278 ：不明なデバイスさん：2011/11/16(水) 17:09:42.38 ID:dtxIRgpn.net

スパコンとストレージ用途以外の使い道ってあるのかな？

279 ：不明なデバイスさん：2011/11/16(水) 18:41:38.65 ID:ML89bY3o.net

>>278
FCとかEtherとかをIBの上に乗っけれるので、ケーブルが集約出来るのはメリットかな。
さくらさんがIBで組んでるのは上記理由もあるかと。

最新のiPXEのInfiniHost系Memfree用(ExとLx用)のBootROM作ったけど、
人柱になってくれる人いるかな？
自分ところは、BootROMの書込までは出来たんだけど、SAN Bootの環境は
作ってないのでテストできないので実際Boot出来るかは不明なんで

280 ：不明なデバイスさん：2011/11/17(木) 10:20:31.95 ID:AZ3cVfJP.net

EoIBのブリッジかFCoIBのブリッジが必要じゃない？>BoIB
ふつーの人は絶対持ってないような（w

infinihostIIIのファーム覗いてみたけどわけのわからんコード。どこのCPUだろ？全くの独自、ってわけではなさそうだけどなあ。

281 ：不明なデバイスさん：2011/11/17(木) 20:29:16.26 ID:ymMYiwA7.net

>>280
いやいや、ブリッジいらんですｗ
IPoIB iSCSI Boot か SRP Bootになるんでｗ
起動用の環境つくるのが、ちょっと面倒なだけですわ

えらいもんおっかけされてますね。

282 ：不明なデバイスさん：2011/11/18(金) 06:32:18.65 ID:WGcIiuKZ.net

>>281
失礼しました、IPoIB iSCSIでOKなんだ。だったらMS iSCSI target(最近無料化)でもいけるかな。

linux(debian)のnetpipe-mpi使ってMPIoverIBのスループット計りたいんだけどやり方さっぱりわからん。

283 ：不明なデバイスさん：2011/11/18(金) 21:24:16.77 ID:WGcIiuKZ.net

linuxで速度測定。両側：debian6.0.3, Pentium D 2.8GHz, infinihost Lx DDR,直結。
netpipe-tcpで最高1150Mbps、connected modeで850Mbps、ちなみにmyricom CX4だと4100Mbps。
・Debianはmodprobe ib_ipoibだけでib0がifconfigに現れる。
・opensm及びinfiniband-diagsには要ib_umadモジュール。
・なんかますます10Gbeとの差が。貧弱なマシンはConnectX必須かと。

284 ：不明なデバイスさん：2011/11/18(金) 21:52:06.63 ID:Ac+1XDLH.net

>>282
多分いけますよ。FlexBootのマニュアルみてると、ISC DHCPのサーバにパッチ適用しないと
駄目みたいですけど。

>>283
PCのスペックが低いとInfiniHost系だとしんどいんですね。
しかし、Connected modeのが遅いのが意外でしたわ。

ちなみに、Debianに標準で入ってるOFEDのベースは1.4.1とかだったはずなので、
ベースが古いってのもあるんですかね。自分は、sid(Kernel 2.6.38辺り)ベースで、
Debian-OFED(1.5.2)を突っ込んで試してみたことはあるんですが、標準のは使って
なかったので、比較出来ないです。

285 ：不明なデバイスさん：2011/11/18(金) 22:01:37.07 ID:WGcIiuKZ.net

>>284
connectedは説明みると「UDPのでかいパケットか、TCPの特定条件だと速いよ」みたいな書き方だったので、
netpipe-tcpだと合致してないのかも。
新カーネルやofedは試してみたいところですが、ま、infinihostは見放されつつあるので期待はしてないです。

286 ：不明なデバイスさん：2011/11/19(土) 16:18:58.97 ID:JhNlkJWS.net

もう一度Win7で計り直したら、connectedのほうが速かった。すまん。
＃再起動しないとだめなのかも。
connectedで2200Mbps、no connectedが1500Mbpsだった@Pentium D 2.8GHz。

287 ：不明なデバイスさん：2011/11/21(月) 02:15:30.70 ID:aB9kUHsV.net

>>286
とりあえずちょっと速くなったようでなにより。
むむ、再起動すると大丈夫だったのね。以前WinOF 2.3でConnected ModeをOnに
してると、起動時にOnに出来なかったってメッセージが出てたから、ドライバの制限で
起動時だけ変更可能なんでしょうなー。

おまけ、ConnectXのブラケット見てて気づいた。
InfiniHostEx系のブラケットがそのまま使えるのね。
ConnectX2の1ポートだと、InfiniHostLxのブラケットがそのままいけそう。

288 ：不明なデバイスさん：2011/11/21(月) 02:28:48.08 ID:/PxAlNbd.net

どっかにDualPortのInfinihostIIIのブラケットだけ落ちてないかな(´・ω・`)

289 ：不明なデバイスさん：2011/11/21(月) 03:10:55.23 ID:YhwOt2i6.net

さてはロープロだったな

290 ：不明なデバイスさん：2011/11/21(月) 09:42:02.09 ID:ORwXW+2F.net

>>287
connectedとdatagramは切り替わってたぽいんだけど、MTUが切り替わってなくてスピード変わらなかった感じ。
つまるところ、connectedでのスピード向上はMTU上昇による上位層での処理減少、って奴っぽい。
＃icmpはうまく実装されてないみたいで、ping -l 10000 とかやるとインターフェースがdownします（笑）
debianでスピードが逆に落ちたのもMTUが変わってなかったからかも。
>>288
SFF8470、ケーブルごついからねー。24AWGだとアスパラガスぐらいあるし。
うちはPA-010ME（メッシュカバー）をハンドニブラで適当に加工した。どーせ趣味だし。

291 ：不明なデバイスさん：2011/11/21(月) 10:03:03.09 ID:ORwXW+2F.net

補足。
・メッシュカバーはニッパでも加工可能。ニッパの歯が傷むかもしれないけど。
・ケーブルの太さと伝送距離の関係は下記参照。（パッシブケーブル）
www.meritec.com/productfiles/categ_24/4x%20Wire%20Gauge%20vs%20Performance%20Over%20Length%20Test.pdf
・ケーブル刺す時に接点のタイミング？で1Xでリンクアップする場合があるので、ibstatやvstatでちゃんとX4でリンクしてるか
確認したほうがいい。

292 ：287：2011/11/22(火) 02:58:39.55 ID:cd+8LQp2.net

ConnextXのブラケットだけど、試してみたけど駄目だった orz
ConnectX2の1ポートのブラケットは、2mmくらい穴位置がずれて駄目。

なんで、スペアパーツで出ないかと思って調べてみたら、こんなのが
Mellanox Short Bracket MT90837A01 Mellanox InfiniHost III Ex Single-Port InfiniBand HCA Card
Mellanox Tall Bracket MT90839A01 Mellanox InfiniHost III Ex Single-Port InfiniBand HCA Card
物の写真がないので、不明なんだけど使えるんだろうか？

誰か人柱をｗ

293 ：不明なデバイスさん：2011/11/23(水) 12:30:40.22 ID:qJQ4G9BY.net

ESXiのストレージ接続としてIB良いなぁと思うも、
SMをどうするかって問題が。

ZFS使ってるから、Solaris系かBSDでSM動いてくれないと・・・
ん〜4Gbpsになっちゃうけど、環境整うまで
FCに逃げるしかないのかなぁ。

294 ：不明なデバイスさん：2011/11/23(水) 13:14:18.13 ID:1GkMTiHn.net

>>293
IBスイッチでSM積んでるものあるから、そういうの選べば一応行けるけど。

295 ：不明なデバイスさん：2011/11/23(水) 15:51:06.10 ID:ZxF+eDmL.net

>>293
家でやるなら デュアルポート片方をDirectPathI/Oで仮想マシンに生で見せる。
んで、仮想マシンにLinux+SM
もう片方のポートはESXに見せる

やったことないのでアイディアだけっす

296 ：不明なデバイスさん：2011/11/23(水) 18:02:26.38 ID:pnhbD8t7.net

今ちょうど某オクにSM付きスイッチ出てるべ？

297 ：不明なデバイスさん：2011/11/23(水) 19:59:36.44 ID:1GkMTiHn.net

>>295
残念ながらDualPortのカードって1枚にしか見えないからポート単位のDirectPathI/Oは不可能ですね。
あと、カードわけたとしてもESXiとLinuxの間がスイッチないと駄目ですね(スイッチ前提で考えてたらごめん)。
ESX4.1だったら、OpenSM動くんだけど。Solaris系をストレージに使うとなると色々制限が厳しい。

298 ：293：2011/11/23(水) 21:34:25.89 ID:uialXv1r.net

>>294
>>296
やっぱSMスイッチですかねぇ。SDRってのがちょっと気にくわないというか、
どうせならDDR位と思っちゃう所もありまして。

>>295
>>297
実はその手も一瞬考えましたｗ
ただ、3台数珠繋ぎでのはっきりした動作例が無かったのと、
VT-dでまともに動いてくれるか？って所もありますし。

ESXi-ストレージ間の帯域増やせたら、あわよくば、単独で動いてる
ファイルサーバーまでESXiの上に乗っけちゃおうかと目論んではいるんですが、
なかなかいい手がないなー。

299 ：不明なデバイスさん：2011/11/23(水) 22:43:17.02 ID:TA46mxrp.net

ESXiとSolaris系のZFSなストレージを組み合わせたいというニーズが大きいのはよくわかったｗ

300 ：不明なデバイスさん：2011/11/23(水) 23:42:18.38 ID:1GkMTiHn.net

>>298
楽するならSMスイッチ。
ただ、自分はスイッチのSM設定ってした事ないので何とも言えずｗ
DDRになると、カードの値段がSDRに比べると無茶苦茶に高いわけじゃないですが
ちょっと高い気が。

VMwareのサイトで見たのは、ConnectXだったかをESXi上でパススルーすると
動作がおかしいってのは見た事あるけど、実際どうなのかは不明。


個人使用っぽいので、アレな方法を書いてみる。
とりあえずDirectPathI/Oが使えるのが前提
耐障害性がーって言われると困る構成＆スレ違いネタになる部分が多々だけど
・ESXiでSolarisを動かすだけの最低限のデータストア用意
・ESXi上にSolarisインストール
・DirectPathI/Oで、ストレージカードとIBか10GbEをSolarisVMにマッピング
(ESXi側で共有かけたかったらネットワークカードのマッピングは不要)
・ストレージカードにZFSの共有かけるPoolのDiskを追加して、Pool作成
・作成したPoolの一部をESXiのデータストア用に切り出し、iSCSI Target設定
・SolarisVMのiSCSI TargetにESXiから接続。他のVM用のデータプールに。
・SolarisVMの余ったPool部分ははファイルサーバ用にも使える
元ネタは海外のサイトだけど。
この構成だと、IBなり10GbEに繋げるのは一台になっちゃう。
あと、IBだとSolarisVMと接続できるのは、WindowsかLinux限定になるか。

301 ：293：2011/11/24(木) 00:07:39.78 ID:xCIMl9Wd.net

>>300
やっぱSMスイッチが一番楽ですよねぇ、構成縛られないから。
SSDでストレージ組んでる訳じゃないので、
ぶっちゃけSDRの帯域でも使い切ることは無いとは思ってますがｗ

で、アレな方法ですが、えぇ、思い切り個人使用です、はい。
で、なるほど〜と思いつつ、よくよく考えてみたら、
その方法の場合、IB直結で別PCに繋ぐ必要が無いときって
IBいらなくないっすか？ｗ
10GbEは別の意味で必要かもしれませんがｗ
内部SwitchをESXiのソフトだけで賄うと結構負荷が高いかも？
VT-cでも使って、10GbE AdapterをSwitch代わりに使えば、
負荷は問題なくなるかもだけど、余りにも贅沢な使い方にｗ
（物理ポートがLinkDownしてる状態で動くのだろうか・・・
いや、多分動かないだろうなｗ）

ストレージ部分だけDirectpathでVM直結で、
ESXi他はiSCSIでVMと内部Switchで接続って事ですよね。
確かに方法としては良さそうなんですが、
ZFS自体メモリイーターなのと、ESXi上で、現状複数のVMに10G以上
メモリーを使われてる事を考えると、ESXiの鯖に
32GB付けないと、まかないきれないかも・・・？

302 ：不明なデバイスさん：2011/11/24(木) 01:07:54.96 ID:/I0TOwaL.net

>>293
構成的には楽なんですけど、設定が楽なのかがよくわからないんですよね。
某オクに出てるのは、TopSpinOSのだから、このスレでも使ってる人が何人か
いますけど、スイッチのSM使ってる人っているのかな？

アレな方法ですけど、IBスレなのでなんとなくおまけで付けてただけですｗ
自分も接続するクライアントに速度が必要じゃなければ、いらないよなーと
思いながら書いてたのでｗ

ホストとゲストで内部Switch使う場合って、VMCIを有効にしても速くなら
ないんでしたっけ？実際に自分で試してみればいいんですけど・・・
他のVMが、大量にメモリ使ってるならちょっとアレな方法はしんどいですね。

303 ：不明なデバイスさん：2011/11/24(木) 09:25:32.79 ID:txlbh1FE.net

ESXiってローカルループバックアダプタ（ダミーNIC）って設定できないの？

スイッチのSMってまああってもなくてもいいものだとは思います。結局Linuxこさえて繋げば同じことなので。
設定はいずれにせよ簡単（topspinのだとSMをデフォルト値でcreateするのみ）。
ただ、SMの目的のためにスイッチ買ったりlinuxこさえたりするぐらいなら、10GBeのほうがずっと簡単＆安上がり、では？

３台またぎのスイッチなし、って結局サブネット２つできることになるので、だめじゃないかなー。誰か試したんだっけ？

304 ：不明なデバイスさん：2011/11/24(木) 09:35:00.24 ID:txlbh1FE.net

しかし某オクの相場、ってよーわからんなあ。
super/superを知らないから安かったり、よくわからん製品だから安かったり。
まあユーザ（買う方）も少ないから釣り合い取れてるのかな。

305 ：不明なデバイスさん：2011/11/24(木) 20:29:36.24 ID:/I0TOwaL.net

>>303
ローカルループバックアダプタ設定できますよ。
今回話題にしてるのは、そのローカルループバックアダプタのパフォーマンスがどの程度って話ですね。
ホストのスペックがそこそこあれば、十分パフォーマンスは出るみたいですけど。動いてるゲストの数とか
ゲスト側の負荷とかで色々条件が変るので。

スイッチのSMはそんな感じで設定するんですね。
うちも設定してみようかなー。ただ、セカンダリのSMに設定するとは思いますが。
台数少ないと、間違いなく10GbEの方が簡単で安上がりですね。
ただ、スイッチの出物がすごく少ないのがネックですね。

三台またぎのスイッチ無しはやった事ありますが、InfiniBandのネイティブだと設定の仕方が解らず挫折してます。
IPoIBだと、言われてるようにサブネット二つにしてルーティングしてやればTCP/IPでの通信はできました。
言われてるサブネットがInfiniBandのサブネットだったら意味なしの返答なのでご了承を。

確かに某オクの相場は意味不明ですなぁ。
知ってる人だったら、激安ってのが多々出てますね。出品者側が価値を解ってないからってのが大きいんだと。
特殊用途の製品＆一般だとあまり知られてないってのが大きいんでしょうね。

306 ：不明なデバイスさん：2011/11/24(木) 21:30:10.15 ID:txlbh1FE.net

infinibandのサブネットです。＞数珠つなぎ
でサブネット間のルーティングって(infinibandの)ルータが必要じゃないのかな。
でinfinibandのルータ、ってたぶん死ねるような値段かと。

307 ：不明なデバイスさん：2011/11/24(木) 22:35:32.73 ID:/I0TOwaL.net

自分でかなり最初に書いてたけど、OpenSMでこの設定したらルーティングできそうなんですよね。
(自分で書いておいてすっかり忘れてたｗ)
https://wiki.chpc.utah.edu/display/CHPC/Ember+Cluster+OpenSM+Configuration+Notes

あと、リング接続で動かされてる方も
http://www.slideshare.net/syoyo/diy-infiniband-networking
出来そうってのは解るんですけど、どうやって設定するってのがよくわからない。

どちらにしろOpenSMが動作してる環境は必須なんですが。

308 ：不明なデバイスさん：2011/11/24(木) 22:43:47.68 ID:txlbh1FE.net

2ポートのカードなら同一サブネット可能なんでしょうか？
なお、上のほうの「routing_engine」って同一サブネット内に複数経路ある場合の経路選択アルゴリズム、だと思います。

309 ：293：2011/11/24(木) 23:13:11.29 ID:xCIMl9Wd.net

えぇ、色々考えて、今回はFCで行くことにしましたｗ
さすがに8Gbpsは高いので、4Gbpsですが。

実は、別にあるファイル鯖がWin機でそこにMS iSCSI targetを入れて
使ってた事もあったんですが、OSにパッチ当てる→要再起動のたびに、
ESXi上のVM全部落とすのが面倒で。
その為にBSD+ZFS+istgtで1台仮想鯖用にストレージ立てました。
Linuxはどうかと言えば、もうこれは宗教に近いと言いますか、
かれこれ20年近く鯖用にBSDしか扱ってこなかったんで、Linuxのお作法になじめないんですよね。
Solarisは仕事で触ってたことがあるんで、まだ良いんですが。
まぁ、ESXiも5.0に上げる予定が有ったので、ドライバ出るまで
SRPが使えないって問題もありますし。

FreeBSDか、SolarisでSMが動くようになってESXiにドライバ来たら
再度IBへの移行を考えるかも。
その時までFCで遊んでますｗ

310 ：不明なデバイスさん：2011/11/24(木) 23:35:51.83 ID:txlbh1FE.net

FC、emulexの8G品がオクで安価に（笑）
＃SFP付きだし。

311 ：不明なデバイスさん：2011/11/25(金) 00:06:51.32 ID:7fJvbJKx.net

>>308
ごめんなさい、ご指摘の通り上のルーティングは同一サブネット内の経路選択アルゴリズムでした。

下の資料みてると2ポートのカードなら可能そうに見えるんですけどね。
どういう設定をしているんだろうかと思ってるんですが。

>>309
あら、FCで決定ですか
FreeBSD 9.0にもOFEDは移植されてるので、近いうちに動くようになるとは思いますけどｗ
IBがもう少し楽に動くようになったら、戻ってきてくださいねｗ

312 ：不明なデバイスさん：2011/11/25(金) 01:52:16.23 ID:MwOgxDY8.net

10GbEが糞だからFCとかIBを使わなくてはいけないんだよなあ

313 ：不明なデバイスさん：2011/11/25(金) 02:22:10.39 ID:Vvp6BG2d.net

10GBase-Tがもっと値段下がればなぁ
サーバセグメントはIB、端末は10GBase-Tにしたい

314 ：不明なデバイスさん：2011/11/25(金) 09:33:38.28 ID:Cx0E5TL2.net

>>309
20年前にBSD系というと・・・SparcStation2+SunOS4.1.3とかしか思いつかん。
＃Solarisは2.1のころからのつきあいだけど、oracleになってから一切さわらず。
>>313
10GBase-Tは電力喰う、レイテンシあり、SFPのところに入らない、などの理由で普及しないと思われ。

315 ：不明なデバイスさん：2011/11/25(金) 23:31:04.57 ID:ny+HkQzw.net

>>312
糞、というか。
FCでもIBでも10GBeでも、結局SFP+なりQSFPなりのインターフェース＋PCIeインタフェース＋オフロードエンジンなわけで、
オフロードエンジンをプログラム可能にしちゃうと結局これらには差がないわけで、
だからemulexもqlogicもmyricomもmellanoxもみんなCNAに走るわけで。
但し単に「切り替えられますよー」のCNAから今はFCoEやEoIBなどの「なんでもこれ経由で出せますよー」の第２世代CNAになってるわけで。

その場合のベースとして、例えばFCをベースにしてIPFCでIP転送、というのも考えられるけど、FCは基本接続台数は127台。
EtherをベースにするつまりFCoEが（いろんな機器あるので）コスト安そうなんだけど、Etherはパケットロスがあってもいい規格で、
この上にFCを載せると非常に都合が悪い。それで結局Etherにいろいろ拡張せにゃならん。
でIB。接続台数は6万台だし基本パケットロスないし、EoIBやFCoIBがやりやすい。
しかもmellanoxは早々と40Gb速度品を比較的安価に出してきてるわけだしベア性能はTop500で証明済み。

と書いたけど結局ふつうの企業のクライアントは1Gbeなわけで、EoIB←→1Gbe x24とかのブリッジスイッチが
例えば30万程度で提供されない限りいろいろ普及は無理だなー、って思う。

316 ：不明なデバイスさん：2011/11/26(土) 01:03:28.50 ID:Uj9619ub.net

3行にまとめて

317 ：不明なデバイスさん：2011/11/26(土) 02:57:15.33 ID:7BYpr4oz.net

>>316
EtherもIBもFCも全部似た方向に行ってる。
IBはその中で大量の1セグメントのネットワークが可能な上にカード自体はかなり安い。
でも、普通の企業だと1GbEがメインなんで、IBとEtherを接続する機械が低価格で出ないと復旧は無理

318 ：不明なデバイスさん：2011/11/26(土) 21:47:26.77 ID:ZVKGS/hp.net

cisco 7000dはIB側(IPoIB)にも管理用のIPアドレスを振る事ができるので、
Etherの管理IPアドレスとの間で簡易ルータにならないかと思ってやってみた。
だめだった。まあ可能だったところで100BASE-TXのスピードなんだけどね。

319 ：不明なデバイスさん：2011/11/27(日) 15:29:34.34 ID:sf/QJNdv.net

>>313
10Gbase-Tはエラー率、温度がやばすぎて使おうとは思えない。
Twinaxのほうが現実的。

320 ：不明なデバイスさん：2011/11/27(日) 17:20:19.22 ID:Z+wYwGUN.net

導線だと取り回しが楽なんだよな
光は曲げられないから大変

321 ：不明なデバイスさん：2011/11/27(日) 17:29:43.87 ID:6EdWlT3r.net

>>320
このスレの住人は決してそう思ってないぞ。AWG24のSFF-8470なんてなあ、（ｗ
＃ちなみにSMFでも最小曲げ半径15mmとか25mmとかが普通なんで気にする必要全くなし。

322 ：不明なデバイスさん：2011/11/27(日) 18:06:42.99 ID:cauGjWgL.net

>>320
は？
逆だろ？
お前、ファイバー使ったことないだろ？

323 ：不明なデバイスさん：2011/11/27(日) 19:17:35.44 ID:YH0In5V+.net

>>320
最近CX4のケーブルをファイバーに変更して取り回しが楽になったと喜んでる人が通りますよｗ
って、321の方がおっしゃってるようにInfiniBandのケーブルはAWG28で約8mmくらいあるから
ファイバーのが逆に取り回しが楽になるんですよね。

324 ：不明なデバイスさん：2011/11/27(日) 21:49:47.34 ID:526o+p7N.net

>>317
GbEとIBの間でいいのなら、PCルータで十分じゃね？
問題は10/40GbE<->IBの部分。

325 ：不明なデバイスさん：2011/11/27(日) 23:57:08.83 ID:osYvCsYL.net

>>320
最近のファイバーは曲げ耐性スゴいぞ
下手しなくても銅配線材の方がまがらないくらい
フレッツを入れたときに屋内配線用にコネクタを取り付け済みのファイバーケーブルが来たけどこれがめっちゃ柔らかくて進歩を実感したよ

326 ：不明なデバイスさん：2011/11/28(月) 08:06:50.72 ID:rvCCgUX8.net

>>324
40GbE<->QDR IBのPCルータとか胸が熱くなる･･･

327 ：不明なデバイスさん：2011/11/28(月) 08:29:31.79 ID:yE0D/2Sa.net

>>326
PCI-e 3.0のx16でも、16GiBだからなぁ。
いつワイヤースピード出せるようになるのか・・・

328 ：不明なデバイスさん：2011/11/28(月) 08:30:55.17 ID:yE0D/2Sa.net

>>327
あ、16あればたりるのか。

329 ：不明なデバイスさん：2011/11/28(月) 08:49:39.22 ID:19Vkbmpx.net

ショートパケット無視でも10GbEって6MppsだからPCルータだとさすがにちょっと届かない位か？
GbEは用途を選べば実用の領域に入ってる。

330 ：不明なデバイスさん：2011/11/28(月) 09:37:01.24 ID:+KpZj0mL.net

GbeとIBの間でいいんだけど、Gbeが24本あってIBとの間でワイヤスピードやpps考慮するとPCルータじゃ無理でしょ。
市販の10Gbe←→Gbeルータが仕切り20〜30万であることを考えると、その価格帯になれば10Gbeの代わりになるかなあ、と。

＃でもL2ブリッジならそもそもEoIBじゃないと駄目だけど、EoIBはまだまだ、って感じだしなあ。

331 ：不明なデバイスさん：2011/11/28(月) 09:40:09.93 ID:+KpZj0mL.net

>>325
ホーリーファイバね。あれはちょっと特殊だし距離延ばせないんで。
ただVCSELなSMFだと主流になる可能性があると思う。

332 ：不明なデバイスさん：2011/11/28(月) 21:27:18.73 ID:uLtQAD+M.net

駆け出しの頃はファイバーは女の子みたいに扱えって言われたけど進歩したもんだｗ

333 ：不明なデバイスさん：2011/11/28(月) 23:28:31.52 ID:1grOWv3f.net

全くだな、いまどきの女の子ときたら

334 ：不明なデバイスさん：2011/11/29(火) 09:24:46.75 ID:PN8FW+ON.net

戦後に強くなったのは女の子と光ファイバー

335 ：不明なデバイスさん：2011/11/29(火) 13:36:36.67 ID:GkmxL9Gb.net

わたしマルチモードだから。

336 ：不明なデバイスさん：2011/11/30(水) 00:48:33.64 ID:WCom+m6f.net

そして俺はいまだにシングルモード

337 ：不明なデバイスさん：2011/11/30(水) 15:15:20.87 ID:SYoioA/Z.net

ババン、バ、バン、バン、バン！

338 ：不明なデバイスさん：2011/11/30(水) 18:44:16.06 ID:x86vA2xE.net

一般家庭に光ファイバーが導入される日は何時だろう

高級マンションとかだったら光ファイバー設置出来ますとかやってるのかな？

339 ：不明なデバイスさん：2011/12/01(木) 06:17:26.01 ID:sXT9G8Xg.net

インフィニバンド！

340 ：不明なデバイスさん：2011/12/05(月) 00:44:52.17 ID:J8Fe7yPh.net

OFED-1.5.4が明日の夜にはでるのかな？

とりあえず、OFED-1.5.4RC5とWinOF 3.0-RC3が出てます。

341 ：不明なデバイスさん：2011/12/05(月) 21:16:03.99 ID:J8Fe7yPh.net

Solaris11でOpenSMのコンパイルどうなるかやってみたが、見事にこけた orz
ソースちょっと追っかけてみたけど、LinuxのKernel Headerファイルに依存してるところが
結構あるんで、こりゃ移植に手間かかるわとおもた

342 ：不明なデバイスさん：2011/12/05(月) 21:22:24.36 ID:kEr46NjD.net

そもそも管理用のパケットが送れない（送るverbを実装してない）とかいうレベルじゃないのかな？

343 ：不明なデバイスさん：2011/12/05(月) 21:28:06.58 ID:kEr46NjD.net

ようやっとPCIe8xが2本取れるマシンを手に入れたのに、今度は遊んでる時間がない。うむー。

344 ：不明なデバイスさん：2011/12/05(月) 21:33:09.76 ID:24wg9tqU.net

7本取れるマザー買ったけど同じく時間がないw

345 ：不明なデバイスさん：2011/12/05(月) 22:25:45.51 ID:J8Fe7yPh.net

うーん、Solaris11のtavorドライバはもしかして純正とMellanox以外のInfiniHostを弾いてるのかな？
手持ちのOEM物のカードが動かなくなってる・・・。

346 ：不明なデバイスさん：2011/12/05(月) 22:29:48.36 ID:kEr46NjD.net

flintでvendor idとかも書き換えられるんだから適当にメラっぽいのにしちゃえばいいんでない？
＃メモリなし、ではないよね？

347 ：不明なデバイスさん：2011/12/05(月) 22:33:30.54 ID:J8Fe7yPh.net

>>346
失礼。
もう一台のSolaris11で試したら認識したので、カードとOSが原因ではないみたい。
んー、こりゃM/Bとかの問題だったら嫌だな
#メモリありっすね。

348 ：不明なデバイスさん：2011/12/06(火) 01:33:35.07 ID:TO/7ikA1.net

ちょっと、Solaris11系Tavorドライバの追試してみた。
Solaris11 Early Access版だと認識したので、Release版との間に何か修正入ってるのかな。
同一環境のWindows 2008R2 + WinOF 3.0-RC3 だと普通に認識したので、M/Bとドライバの相性っぽい。

349 ：不明なデバイスさん：2011/12/06(火) 09:41:10.97 ID:UrdJ4Wcd.net

PCIのvendor idは純正も互換も同じ（違うカードもあるみたいだけど）だから、
単純に差し替えると同じカードだと思ってESCDが更新されなくて不具合、とかじゃない？

350 ：不明なデバイスさん：2011/12/06(火) 20:36:27.51 ID:3zFVmrcP.net

うーん、同じカードで別PCのSolaris11で動いて、そのPCのSolaris11だけInfiniBandが動かないって状況。
一回再インストールした方がよいのかも。

351 ：不明なデバイスさん：2011/12/07(水) 21:14:08.33 ID:x5v+TmkP.net

PCIe8xにinfinihostとmyri10G刺したらシステムファンが爆速・・・うひょう。遅いままに設定できないものか。
>>344
7本も取れるマザーなんてあるのかいな、ってググったら、ワシの買ったマシン全体（CPU＆メモリ込み）より高いじゃん。

352 ：293：2011/12/07(水) 21:34:22.71 ID:tRhZaY2x.net

>>344
x8 7本だとすればASUSのSuperComputer辺りなのかな？
でも、大丈夫なんかいな。
この手の鯖向けのカードって、
スイッチチップとか嫌う傾向が強い感覚なんだが・・・

353 ：不明なデバイスさん：2011/12/07(水) 21:35:45.43 ID:tRhZaY2x.net

あれ、変なコテついてた、まぁ無視してくれ。

354 ：不明なデバイスさん：2011/12/07(水) 21:40:58.89 ID:h5ImOy8Z.net

>>351
うちは、気休めだけど下のファンをInfiniHostとLSI 9211-8iを冷やす用に付けてる。
http://www.ainex.jp/products/cb-4010m.htm

355 ：不明なデバイスさん：2011/12/07(水) 22:04:05.57 ID:x5v+TmkP.net

いや、接続してないからたいして熱くなってないんだけど、IPMIが勝手にPCIカードのvpdを読んでシステムファンを爆速にしてくれちゃう模様。

356 ：不明なデバイスさん：2011/12/07(水) 22:46:41.91 ID:h5ImOy8Z.net

>>352
X8SIA-FのPCIeスイッチ使ってる方のポートへ接続してるけど、問題出てないね。
他にPCIeスイッチ付いてる機械は持ってないからそれ以外はわからんけど。

>>355
なるほど、IPMI側で勝手に速度上げちゃってるのか。

357 ：不明なデバイスさん：2011/12/08(木) 00:01:12.49 ID:ZfBF7TG8.net

>>356
IDTか・・・
まぁ、●なら、当然使うその辺はチェックまともにかけてる
はずだし、大丈夫だろうねぇ。

その点、NF200ってどーなのよ、ってのは有るけど。

358 ：不明なデバイスさん：2011/12/08(木) 11:44:02.27 ID:AGovnO++.net

X8TDH-6Fだの
http://www.supermicro.nl/products/motherboard/QPI/5500/X8DTH-6F.cfm
オンボードsasが欲しかった。
あとはSAS HBAx2とIBx2 10Gその他を追加するんで選択肢が余りなかった。
CPUはL5520x2確保済、メモリーどうするか考え中。
Soraris11＋napp-itでいいかなと

359 ：不明なデバイスさん：2011/12/08(木) 11:49:49.37 ID:AGovnO++.net

>>352
逆にサーバーだとブリッジチップがないほうが希じゃ無いかな？
とくにハイエンドになると

360 ：不明なデバイスさん：2011/12/08(木) 12:08:06.49 ID:k77+uUMb.net

こんなマザボ、何に使うの？

361 ：不明なデバイスさん：2011/12/08(木) 12:18:12.04 ID:vcHdi8e2.net

>>360
なんでここにいるの？ｗ

362 ：不明なデバイスさん：2011/12/08(木) 13:30:03.66 ID:ppMwh1HX.net

>>358
あぁ、そちら系でしたか。なら問題無いですねー。
って油断すると、相性にはまる事はありますが・・・ｗ
うちの●君は単独で差すと問題無いIntel ET DualPort NICですが、
別のカードを挿すと、ESXi君は見事に見失ってくれますorz
BIOSでは認識してるので、どちらかというと、ESXiの問題な気はしますが、
まだ検証に時間を取れていない物で・・・

>>359
Nehalem以降1366以上だとQPI出てるんで、スイッチで分けるより、
チップセット2つ以上乗っけちゃうパターンの方が、最近多いんじゃ無いかな？
今回のなんて、その典型な気がするけど。

足りない分をスイッチで何とかってXeon-UPでしか発生しないし、
そのクラスにx8一杯取れる構成にしようって需要はあんま無いかなと・・・
（メーカー的に。必要なら上のDPクラス買ってくれとｗ）
個人的にはPCIいらないんで、その辺取っ払ってPCIeが多いマザーは大賛成なんですけどねｗ

363 ：不明なデバイスさん：2011/12/08(木) 21:40:29.81 ID:ajAsJZxP.net

>>362
i5520ってこんな構成も取れるのね。i5520チェインしていけば何スロットでも取れるな。

364 ：不明なデバイスさん：2011/12/10(土) 08:35:42.62 ID:KvuxDDuU.net

とりあえずSolaris11での動作検証が終わったので報告。

Solaris11 EarryAccessで、一通り動作検証してたので、動くだろうとは思ってたけど。
Solaris11で動作したカード

・MHEA-1TC (HP 380928-B21、Cisco SFS-HCA-E7T7-A1)
・MHGH28-XTC (HP 448937-B21)
・MHGH29-XTC (IBM 46M2221)
・MHQH19-XTC
・MHQH29-XTC
・MHQH19B-XTR

の上記は一通り動作するの確認。
っても、最低限のIPoIBとかでチェックしただけなので不具合が別でてるかも。
とりあえず、検証用一号機のE-1235機が最新BIOSでの不具合持ちなので、
そっちでは検証出来ず orz

365 ：不明なデバイスさん：2011/12/10(土) 08:42:36.60 ID:KvuxDDuU.net

Web見てたら、ESXiへSRPとIPoIB使った場合はどう見えるんだろってあったけど、

ESXiではSRP Initiatorなので、ESXiのデータストアとしてしか見えない。
(ドライバの対応が4.1系なので、1データストア辺り2Tまでの制限あり)
ESXiのIPoIBインターフェイスは普通のNICで接続してるのと同じように、
VNICとして見える。のでゲストのVM上からは普通のネットワークインターフェイスとして見えます。

366 ：不明なデバイスさん：2011/12/10(土) 12:05:18.76 ID:GI8pD2DW.net

>>365
それでちゃんと動くんだ。>VNIC
ふつーのNICはL2だからESXiがブリッジ動作すれば仮想マシン側では直接LAN接続されてるのと同等に動くけど、
IPoIBの場合はL3だから単純なブリッジ動作、ってできないはずなんだよね。
（IPアドレスとinfinibandのLIDの対応はSMで管理するはず）
動作してる、ということはちゃんと仮想マシン側のIPアドレス割当をESXi側に持ってきてSMに通知してるんだろうなあ。

367 ：不明なデバイスさん：2011/12/10(土) 14:10:19.45 ID:KvuxDDuU.net

>>366
それで動きますね。
VMが通信するまではSMに通知が行かないみたいで、通信するまでは繋がらなかったりします。
これが起きるのがOpenSolaris系だけなので、OpenSolaris側のIPoIBの実装問題かもしれないですが。
NexetaCoreとかの、ofv(OFED1.3ベース)の古い実装のやつはIPoIBで負荷かけると、よく発狂するので・・・。

368 ：不明なデバイスさん：2011/12/10(土) 21:17:56.05 ID:GI8pD2DW.net

>>367
なるほど。内側が通信はじめるまではMac-IPの対応が取れないからか。
外側は内側のIPを初期状態では知らない＝ARPが来ても返事できないからね。

369 ：不明なデバイスさん：2011/12/11(日) 22:23:25.51 ID:rRe43yJK.net

すみません、どなたかアドバイスをお願いします。
Win7とWinSvr2008R2の両方にInfiniHostIII EXを刺して、ドライバはWinOFED
3.0-RC4を入れています。ドライバインストール時のオプションは、デフォル
トに対してSRPをオンにしただけです。インストール後、CMは両マシンとも
Enableにしています。

この状態でnetperf2.1pl1で速度を計ると

IB経由 SocterSize 8192 Throughput 0.32 (10^6bit/sec)
Ether経由 SocterSize 8192 Throughput 391 (10^6bit/sec)

という感じでGbEに比べて全く速度が出ません。win7→2k8も2k8→win7も結果
は変わりませんでした。

どこかチェックすべき箇所がありますでしょうか？

370 ：不明なデバイスさん：2011/12/11(日) 23:55:58.23 ID:5WNBA5J4.net

>>369
カードのファームが最新かチェックくらいかな。

あと、出来ればInfiniHostの型番が情報として欲しい。
OEM物だったらOEMの型番まで。

環境違うから参考にならないかもしれないが、ConnectX使ってSDR接続の状態で
WinOFの3.0-RC4(Win2008R2)とLinux(MLNX_OFED-1.5.3)でIPoIB試したときは、
iperfで8Gb/sまで出てたけど。ほぼ理論値でてびっくりしたが

371 ：369：2011/12/12(月) 02:14:07.66 ID:ou69AOdp.net

>>370
MHGA28-XTCです。Windowsでは「InfiniHost III Ex(MT25218)」と表示されて
います。

ibv_devinfoでは fw_ver:0x500010190 と表示されます
とりあえず明日fwを最新にしてみようと思います

372 ：不明なデバイスさん：2011/12/12(月) 02:27:16.21 ID:VSfvQ4a+.net

Solaris 11でConnectX系のドライバの名称が変ってるのは、この辺の絡みかなー。
http://www.mail-archive.com/opensolaris-arc@opensolaris.org/msg01304.html

あと、Solaris11のOFUVは1.5.3ベースだけど、OpenidianaのKernel側のインターフェイスは
1.5.1ベースなのね。
http://arc.opensolaris.org/caselog/PSARC/2010/239/mail

373 ：369：2011/12/12(月) 02:32:20.68 ID:ou69AOdp.net

ぬふぅ・・・
質問ばっかりですみません。まさに↓に書かれてるような
http://ibicluster.uchicago.edu/roll-documentation/mlnx-ofed/using-mlnx-ofed.html

Invariant sector mismatch て言われてFWをUPDATE出来ないんですが、skip_is
付けて回避するので合ってますでしょうか？

374 ：不明なデバイスさん：2011/12/12(月) 03:54:23.58 ID:VSfvQ4a+.net

>>373

古いMHEAからだと、-skip_is付けないとUpdate出来ないので付けてやりましょう。
こちらも何回かやってるけど、特に問題になってことはないです。

375 ：不明なデバイスさん：2011/12/12(月) 03:56:26.70 ID:VSfvQ4a+.net

後追加

書込終わった後に確認で

flint -d mt25204_pci_cr0 q

してやって、書き換わってたら、Rebootしてやってから
ibstatｄでFirmのバージョンか確認してやればよいかと。

376 ：不明なデバイスさん：2011/12/15(木) 03:38:15.57 ID:5NpW4JXT.net

気がついたら、12日にWinOF 3.0でてた。
RC3までのopensmにメモリリークのバグあるみたいなので、opensm使ってる人は
VerUPした方がよいかも。

377 ：不明なデバイスさん：2011/12/17(土) 20:12:40.37 ID:WOWFMhSa.net

本日、朝からConnectX 2枚とLinux(SL 6.1)でSWless Infiniband構築してました。

ファームアップ後に、リンクアップできることを確認しましたが（OS標準のOFEDソフトウェアで）、
IPoverIBやろうと、ifcfg-ib0を作成してゴチャゴチャやってましたが、
どうやってもIPアドレスが割り振れず（IPv4）、疲れきって帰宅。

さっき調べていたら、RHNにこんなバグレポートがあがってました。
SL6.1用にはまだかしらん。

https://bugzilla.redhat.com/show_bug.cgi?id=721101

378 ：不明なデバイスさん：2011/12/17(土) 21:12:10.36 ID:+kkcoAQF.net

>>377
SL6.1でConnectX使ってIPoIB使えてるよ。
ただ、うちはOFED 1.5.4入れてるからOS標準のIBスタックじゃないけど。

379 ：不明なデバイスさん：2011/12/18(日) 17:03:33.40 ID:tCJ0TUcl.net

>>378

サンクスです。いろいろ調べてifcfg-ib0に
NETMASK=255.255.255.0
じゃなくて
PREFIX=24
で無事アドレスが割り振られました。
OFED更新したほうがいいかな...。

380 ：不明なデバイスさん：2011/12/22(木) 20:54:58.09 ID:Ic4rM9YF.net

CentOS 6.2がそろそろーって話だが、InfiniBand絡みで大分改良入ってるみたいなので期待。
あと、Solaris11だとOpenSM動くみたいね。自分でぽちぽちパッチ作ってたら、本家でパッチが公開されてて泣いた。

381 ：不明なデバイスさん：2011/12/23(金) 07:44:55.66 ID:BPOEWJKe.net

Solaris11でTavor(InfiniHostEx)のサポートが切られた。
illmuos系は大丈夫だけど、うーん困った。

382 ：不明なデバイスさん：2011/12/26(月) 21:37:16.44 ID:XfM7upLs.net

Infiniband、はじまる前に終わるとは。

383 ：不明なデバイスさん：2011/12/26(月) 22:35:05.85 ID:v2Aww0Kt.net

>>382
終わったわけじゃないぞｗ
元々InfiniHost系はMellanox自体が切りそうな雰囲気だったからね。
Windows用のMellanoxドライバでは、2.1.2までのサポートだし。
OFEDのWinOF使えばサポートされてるから、問題ないんだけど。
個人的にはESXi5でのサポートがどうなるかが心配だわ。

384 ：不明なデバイスさん：2011/12/26(月) 23:32:40.60 ID:XfM7upLs.net

infinihostもconnectxもRISCコードは同じっぽいんだけどなあ。

今のところオフロード可能なconnectx系がスループット出るけど、IBは元々はそういうローカルIOP的な処理をしないで
CPUで全部処理する（代わりにインタフェースカードが安価）という狙いだったはず。
そういう意味ではinfinihost正当、な気もするけど、現実問題としてfcoibとかだと
fcのパケットサイズ＞infinihostのパケットサイズ、だしなあ。切られるのもわかる気がする。

385 ：不明なデバイスさん：2011/12/29(木) 17:05:32.95 ID:lLEiTkar.net

初InifibandでMHQH19-XTCゲットしたのにケーブル届くのは来年という…
とりあえず動作確認のためにwinOFEDをいれたけど、
メーカ公式から落とすパッケージって基本必要ないのだろうか？

386 ：不明なデバイスさん：2011/12/29(木) 23:47:55.87 ID:Rg7/eGMo.net

>>384
遅レスでごめん。

RISCコードまで見てるのねｗ
InfiniBand、最初はすごいシンプルだったもんなー。
後から色々機能が付いて行ってる感じだね。
InfiniBandもEtherも全部まとめるって方向になってるからね。

>>385
おめー。
MHQH19-XTCだったら、10GbE使う必要なければWinOFで良いと思うよ。
Mellanoxの純正ドライバじゃないとWindowsは10GbEが使えない。

387 ：385：2011/12/30(金) 01:01:42.73 ID:iwJYmNl1.net

>>386
> Mellanoxの純正ドライバじゃないとWindowsは10GbEが使えない。
え、ネットワークデバイス一覧に出てきてるよ？
ケーブル刺さってないから切断状態だけど

あ、でも試行錯誤で純正ドライバのインストやら削除をしてたせいかも…

388 ：不明なデバイスさん：2011/12/30(金) 16:56:30.09 ID:iOUnMoxR.net

>>386
OFEDの方だったら、IPoIBじゃないかな？

10GbEのインターフェイスで使う場合は、MellanoxのManual見るとわかるんだけど、
デバイスマネージャーのシステムのところにアダプタが表示される。で、そのドライバの
プロパティの構成でIBとEthの切り替えがあるんだわ。

389 ：不明なデバイスさん：2011/12/30(金) 16:57:56.00 ID:iOUnMoxR.net

おっと、ごめん。
上のは >>386 へね。

390 ：不明なデバイスさん：2012/01/05(木) 22:13:17.99 ID:hFyLpJ6R.net

>>382
Infinibandの終焉じゃなくてSolarisの終焉な気が
酷い会社に買収されたが為に・・

391 ：不明なデバイスさん：2012/01/05(木) 23:55:22.57 ID:/vdSUCpq.net

さくらでは、はりきって導入したInfinibandがかなり不調のようだが。

392 ：不明なデバイスさん：2012/01/07(土) 10:07:15.23 ID:QeMMJbmM.net

>>391
ソースきぼんぬ

393 ：不明なデバイスさん：2012/01/07(土) 13:31:42.04 ID:ldzeTuc5.net

この辺かな
http://ict.pken.com/2012/01/sakurainternet/
http://www.sakura.ad.jp/news/sakurainfo/newsentry.php?id=604
http://www.sakura.ad.jp/news/sakurainfo/newsentry.php?id=603

394 ：不明なデバイスさん：2012/01/07(土) 13:57:37.10 ID:XWASsD5x.net

なるほど？

395 ：不明なデバイスさん：2012/01/08(日) 03:03:36.67 ID:e3A5L8GG.net

アンフィニバン

396 ：不明なデバイスさん：2012/01/08(日) 13:06:20.15 ID:IEiVPmjT.net

SRPてwindows間ではまったく意味がないのでしょうか？

397 ：不明なデバイスさん：2012/01/08(日) 23:47:47.69 ID:GCkOP+ik.net

>>391
さくらのあれ、InfiniBandってよりもストレージの方の問題じゃない？
ネットワークも遅いとかあったのかな？

>>396
iSCSIの方式を理解してる前提で書くけど、TargetになるOSがSolaris系かLinuxしかないのでWindows間では意味ないよ。
ちなみにSDPじゃないよね？

398 ：不明なデバイスさん：2012/01/09(月) 02:40:38.77 ID:baXLGiiH.net

>>397
Windows間では無意味でしたか
initiatorはSRPに対応していると認識しているので
Windows上で動くSRP対応のTargetもないのかなーと思った次第です

用途としてはwindows間でのiSCSIが早くなればい良いと思っているので
現状はIBoIPにて設定値をいじりながら調整している最中です

399 ：不明なデバイスさん：2012/01/09(月) 02:58:16.90 ID:lEK3fSAL.net

>>398
あー、伝聞だけどMS純正のiSCSI Targetだと遅いよ。
StarWindの無償版 iSCSI Target 使う方がMS純正をチューニングするよりスピードでると思う。

400 ：不明なデバイスさん：2012/01/11(水) 11:07:52.89 ID:+X5KuKio.net

>>393
特定パターンの通信、って確かにEoIBがらみっぽいな。マルチキャストかな。

401 ：不明なデバイスさん：2012/01/13(金) 01:42:59.25 ID:W25SDRkg.net

さくらのは結局IBっぽいね
もうちょっと詳細書いてくれると俺らも助かるんだが
こういうノウハウは個人にまではなかなか降りてこないよなぁ・・・

402 ： ◆.Nv/VplpFs ：2012/01/15(日) 11:37:01.86 ID:w24SUwPB.net

tes

403 ： ◆zRMZeyPuLs ：2012/01/18(水) 21:37:00.77 ID:76HNSymm.net

>>216

device mlx4ib # ConnectX Infiniband support
device mlxen # ConnectX Ethernet support
device mthca # Infinihost cards
device ipoib # IP over IB devices

kernel作り直せばinfinihostIIIも対応しそうな感じ

404 ：不明なデバイスさん：2012/01/19(木) 14:18:27.92 ID:U9c/ceD9.net

>>403
203です。
おお、いけそうですか。
うちもさっさとテストしてみないと。

なるほどそういう形で設定するんですね。
Linuxのほぼコピーっぽかったのでどうやるんだろうと思ってたんですが、大変ヒントになりました。
一通りカードはあるのでチェックして報告しますね。

405 ：不明なデバイスさん：2012/01/22(日) 01:26:48.17 ID:cxiGdbaQ.net

OpenSM on OpenIndiana151a(Illumos kernel) works! だってさ ＼(^O^)／
http://syoyo.wordpress.com/2011/12/21/opensm-on-openindiana151aillumos-kernel-works/

406 ：不明なデバイスさん：2012/01/22(日) 21:12:54.35 ID:Oem1Mp6Q.net

>>401
IBって信頼性無いと思われてしまうよね。
凄いネガティブキャンペーンだ。。。

407 ：不明なデバイスさん：2012/01/22(日) 21:39:22.78 ID:unKSLkzw.net

もともと0.00001ぐらいしかないんだから、ネガティブにしたところで-0.00001ぐらいにしかならんさ。

408 ：不明なデバイスさん：2012/01/22(日) 23:56:58.05 ID:k49Mmpd7.net

以前にLinuxでNFS/RDMAがまともに動かないと書いた者だけど、
RHEL 6.2とConnectX-2 firmware 2.9.1の組み合わせだと
まともに動くようになったっぽい。
RHEL 6.2にupdateしたついでに再評価したら問題なく動くようだったので、
12月中旬からHPC clusterの実環境で使っているけど1ヶ月間特に問題でてない。
(以前は連続して書き込むとNFS clientが数分でhangupしてしまっていた)
NFS/TCP→NFS/RDMAでNFS serverのCPU使用率が半減して良い感じ。

409 ：不明なデバイスさん：2012/01/24(火) 22:09:21.48 ID:18eNy1to.net

IntelがQlogicのIB事業買収か・・・
ttp://cloud.watch.impress.co.jp/docs/news/20120124_506960.html

410 ：不明なデバイスさん：2012/01/24(火) 22:20:04.80 ID:7Bt9CiAI.net

>>408
OFEDのバージョンっていくつですか？
1.5.4？

411 ：不明なデバイスさん：2012/01/24(火) 22:30:49.62 ID:OcMA0m4b.net

Intelってメラにも投資してなかったか？

412 ：不明なデバイスさん：2012/01/26(木) 00:08:55.81 ID:VBTuoHui.net

>>410

面倒くさがりなためInfinibandまわりもRedHat付属のものを
そのまま使っていてOFED入れてないです。
RHEL kernelの変更履歴を見ると2011年8月にまとめて
Infinibandまわりの更新が入っているので、
時期からするとOFED 1.5.3.2あたりに相当する
内容になっているんじゃないかな?
(面倒くさくてOFEDとRHEL間のdiffとったりはしてません)

413 ：不明なデバイスさん：2012/01/26(木) 02:19:10.03 ID:xutG9hiA.net

IntelはInfiniBandへ帰り咲きか。

414 ：410：2012/01/26(木) 07:35:37.81 ID:YhfGW8p4.net

>>412
ありがとうございます。

こっちCentOS5なんですけど、
バージョンアップかなぁ＞＜；；；

415 ：不明なデバイスさん：2012/01/26(木) 08:49:52.92 ID:xutG9hiA.net

>>414
OFED 1.5.4でrNFS回りは大分修正入ってたので、OFED 1.5.4に上げてみたら？
それで駄目なようなら、CentOS 6.2へ上げてみるとか？

416 ：410：2012/01/26(木) 09:21:36.41 ID:YhfGW8p4.net

>>415
OFED1.5.4の要件からすると、CentOSのバージョン上げないと行けない状況で、
ノード数が多いのと時期的な問題で作業計画の立案が大変な状況です。

417 ：403：2012/01/27(金) 00:23:56.03 ID:sNufE24q.net

>>404
その後色々見た感じ、 >403 の設定だけでは駄目で OFEDとかもちゃんと有効に
なるようにkernelを作り直す必要があるようです。参考URL

ttp://forums.freebsd.org/showthread.php?t=28792

手持ちのMHGA28-1TCだとこんな感じです。

ib_mthca0: <ib_mthca> mem 0xdca00000-0xdcafffff,0xd8000000-0xd87fffff,0xd0000000-0xd7ffffff irq 16 at device 0.0 on pci32
ib_mthca: Mellanox InfiniBand HCA driver v1.0-ofed1.5.2 (August 4, 2010)
ib_mthca: Initializing ib_mthca
ib0: max_srq_sge=31
ib0: max_cm_mtu = 0x10000, num_frags=16
ib0: Attached to mthca0 port 1
ib1: max_srq_sge=31
ib1: max_cm_mtu = 0x10000, num_frags=16
ib1: Attached to mthca0 port 2

ifconfigだと

ib0: flags=8002<BROADCAST,MULTICAST> metric 0 mtu 65520
options=80018<VLAN_MTU,VLAN_HWTAGGING,LINKSTATE>
lladdr 80.0.4.4.fe.80.0.0.0.0.0.0.0.2.c9.2.0.28.d.91
nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
ib1: flags=8002<BROADCAST,MULTICAST> metric 0 mtu 65520
options=80018<VLAN_MTU,VLAN_HWTAGGING,LINKSTATE>
lladdr 80.0.4.5.fe.80.0.0.0.0.0.0.0.2.c9.2.0.28.d.92
nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>

418 ：403：2012/01/27(金) 00:26:52.98 ID:sNufE24q.net

↑
i386版のFreeBSD-9.0Rでのdmesg結果です。
ただ、どうにもbuildkernelでコケるんで（iboip関係で失敗する）適当にsrc
を直しています。amd64版だと通るのかな？

肝心の速度とか試したいけど対向を用意しないと・・・

419 ：不明なデバイスさん：2012/01/27(金) 02:24:23.56 ID:Ii0tgdNg.net

>>418
FreeBSD-9.0R amd64だと問題なくビルドできますね。
ただ、ib*に対応しそうなドライバーが見当たらないので、ビルドされて無い可能性はありますが。
（ipoibの初期化は走ってる模様）

カード持ってないので実際にどうなるか試せないですけど、
mellanoxだとドライバーはmlx4ibかmlxenあたりになりそうですけど、
pciconfとかどんな感じですかね？

420 ：不明なデバイスさん：2012/01/30(月) 23:42:56.69 ID:YCU+3NZT.net

1月からちまちまと触ってるけど、チューニングが難しいね･･･

ちなみに今のところMHQH19-XTC同士をつないで
一方のRAM DISKに対してCIFSでベンチとった結果

-----------------------------------------------------------------------
CrystalDiskMark 3.0.1 x64 (C) 2007-2010 hiyohiyo
Crystal Dew World : http://crystalmark.info/
-----------------------------------------------------------------------
* MB/s = 1,000,000 byte/s [SATA/300 = 300,000,000 byte/s]

Sequential Read : 824.757 MB/s
Sequential Write : 505.886 MB/s
Random Read 512KB : 607.263 MB/s
Random Write 512KB : 443.011 MB/s
Random Read 4KB (QD=1) : 10.495 MB/s [ 2562.1 IOPS]
Random Write 4KB (QD=1) : 10.625 MB/s [ 2593.9 IOPS]
Random Read 4KB (QD=32) : 43.593 MB/s [ 10642.9 IOPS]
Random Write 4KB (QD=32) : 43.318 MB/s [ 10575.6 IOPS]

Test : 4000 MB [X: 0.9% (59.8/6766.0 MB)] (x3)
Date : 2012/01/30 23:34:26
OS : Windows 7 Enterprise Edition SP1 [6.1 Build 7601] (x64)

ドライバはMellanox純正、
10GbEモードにして自動チューニングとMTUを4096に弄ったぐらい

ちなみにドライバ付属のRDMAテストツールではr/w 3GB/sぐらい出てたけど、
Windows8のRDMA対応に期待して良いのだろうか

421 ：不明なデバイスさん：2012/01/31(火) 21:02:38.24 ID:TKpp3r0U.net

> 408
おお、そうなんですか。情報ありがとうございます。
6.1で試してみたときにクラッシュしまくって諦めてましたが、
アップデート試してみます。

422 ：421：2012/01/31(火) 21:06:23.55 ID:TKpp3r0U.net

Supermicro X8DTT-IBXF ( http://www.supermicro.com/products/motherboard/QPI/5500/X8DTT-IBXF.cfm )
これを使っているんですが、SupermicroのFTPサイト
ftp://ftp.supermicro.com/Firmware/InfiniBand/X8DTT-%28H%29IBX%28F%29/
にはファームウェアが2.72までしか出てません。
自分でコンパイルできたりするんでしょうか？
それともサポートにメールして作ってもらうしかないんでしょうか？

423 ：不明なデバイスさん：2012/01/31(火) 23:52:18.63 ID:+xvVGia+.net

>>422
付いてる物自体は、MHRH19B-XTRっぽいな。
とりあえず最新にする前提で書いておく。
OEMのカード使ってる人はこの方法で上げれば良い(Cisco除く)

こっからMFT落として突っ込んでやればいける。
http://www.mellanox.com/content/pages.php?pg=management_tools&menu_section=34

で、FirmはこれのConnectX2用を落とす
http://www.mellanox.com/content/pages.php?pg=custom_firmware_table

MFTインストールしてやってから以下 root で
# mst start
# mst status // ここでデバイスが見える筈。
# flint -d /dev/mst/mt26148_pci_cr0 q // 現在のファームの確認。上で表示されたデバイス名に合わせてね
# flint -d /dev/mst/mt26148_pci_cr0 dc > mt26418-config.ini // 現在のFirm設定の書き出し
ファームを解凍してやる
# mlxburn -d /dev/mst/mt26418_pci_cr0 -fw fw-ConnectX2-rel.mlx -conf mt26418-config.ini // 読み出しした設定で最新ファームを書込み
# flint -d /dev/mst/mt26148_pci_cr0 q // ファーム更新かかってるか確認

って流れかな。
多分、mac addressが設定されてないと思うので、10GbEで使用するならおまけでこの辺やっとくとよいかも
# flint -d /dev/mst/mt26148_pci_cr0 -mac (GUID Port1の前6桁と後ろ6桁) sg

424 ：421：2012/02/01(水) 20:55:29.07 ID:GvUfm3/z.net

>>422
どうもありがとうございます。
デバイス固有の設定みたいなのがどこから手に入れられるのかわからなかったのですが、
flintを使えば現在のfirmwareから設定が抽出できるのですね。助かりました。

425 ：不明なデバイスさん：2012/02/02(木) 23:07:16.74 ID:gFpiynde.net

x1スロットに差して動くカードってありますか？

426 ：不明なデバイスさん：2012/02/02(木) 23:51:34.34 ID:zqmIfXZ5.net

>>425
そもそもIBでx1のカードを見たことが無い。
そらまぁ、SDRのx4で片方向10Gbpsの帯域が有るわけで、
PCIe1.0だとx4でも足りない。
PCIeのx1じゃIB使う意味が無いって位に足りない。

427 ：不明なデバイスさん：2012/02/03(金) 13:01:29.46 ID:E21Djc8i.net

100BASE-TX対応だけどI/FがUSB1.0や16bitPCカードなLANアダプタとか昔有ったな。
速度は出なくてもいいからとりあえずリンクはして欲しい、って用途向けの。
IBだとそんな用途はなさそうだが。

428 ：不明なデバイスさん：2012/02/03(金) 13:12:07.15 ID:jApT1QRX.net

>>426-427
iscsi Targetとして使いたいので、GbEよりはパフォーマンスが稼げないかなと思ったのです。
miniITXのマザーで、x16はRAIDカードが塞ぎ、miniPCIから延長して繋ぎたかったのですが意味ないでしょうか。

429 ：不明なデバイスさん：2012/02/03(金) 13:31:10.86 ID:z+Mx8oSR.net

そういうことなら、とりあえず買って繋いでみれば?
x1でも動く可能性はあるし。

430 ：不明なデバイスさん：2012/02/03(金) 15:10:55.24 ID:nk+YGKi8.net

>>428
人柱前提で試すと言うことなら、止めることはしないｗ

target/initiatorの構成が出てないんで、わからんのだけど、
上の方で200MB/s前後って情報は出てるな。
（こっちも構成が分からんので、参考になるかどうかすら判断出来んけど。）

PCIe x1接続なら一応理論値で250MB/sの帯域はあるから、
実効値でMAX 200MB/s出れば、万々歳かなぁ。リンクしてくれる前提だが。
ただ、使ってるカードや、OS、targetによっては1GbEと
たいして変わらない可能性も・・・。
その辺りまで含めて、人柱って事で、れぽーと期待してますｗ

431 ：不明なデバイスさん：2012/02/03(金) 20:17:20.22 ID:jApT1QRX.net

>>429-430
そうだよね、やってみようかなって思ったんだけど
H61M-USB3がMegaraid SAS 9240-8iを認識しないときた。
H61AG買ってからかなあ。

InfiniHost系の安いカード２枚と、Solaris(target)-Windows7(initiator)でやりたいと考えてます。

箱はコレなので、ケースに穴を開けてがんばろうかと思ってました
http://www.alibaba.com/product-gs/484820141/NAS_Server_Chassis_w_8_Hot.html

432 ：421：2012/02/06(月) 13:47:09.02 ID:8mnpRfU1.net

>>423
おかげさまでfirmwareアップデート出来ました。
ありがとうございました。

次はRedhat6.2でNFS/RDMAを試してみるぞー。

433 ：不明なデバイスさん：2012/02/06(月) 23:40:50.61 ID:mw887Ob/.net

>>431
うちは、InfiniHostExでx4では試した事あるけど一応動いた。
SDRのカードだったので帯域的には十分足りたってのがあるかも。

>>421
無事にアップデート出来たみたいで何よりです。
上手く行ったらレポよろー

434 ：不明なデバイスさん：2012/02/13(月) 20:24:37.76 ID:hQb4s5bD.net

このスレをみて自宅で使ってみたくなり部品調達中です。
現在はESXi4.1 + OpenSolaris( iscsi target )のGbEな環境で
使用中です。>83　を参考に

ESXi4.1(MHEA28-XTC)
iscsi target -- OpenSolaris(MHEA28-1TC)
openSM -- Linux host (MHEA28-XTC)
をF-X430066で接続する構想です。ebayで探していますが
MHEA28-XTCが30ドルであって注文しました。しかし、MHE
A28-1TC、F-X430066があまりなくて値段も高めだったので
購入をためらっています。お勧めのOEM物などありました
らよろしく。特にスイッチの安いのが欲しいです。

435 ：不明なデバイスさん：2012/02/14(火) 02:14:11.68 ID:Y0A/Usyx.net

>>434
今だったら、OIとESXi4.1を直結で動作可能。
OpenSMを移植した人いるからね。
この辺はググってください。
ある程度解ってないとちょっと面倒だけど。
（自分でOpenSolarisのBuild出来る程度のスキルでオッケー）

ぶっちゃけ、F-X430066使うメリットは殆どないよ。
EOLなって相場あがってるし、音もそんなに静かではないしね。
ebayに手を出してるんだったら、安いスイッチはISR-9024S-Mかな。
定期的に出してる業者さんいるけど、大体$200ちょっとくらいで落ちてるので
こいつだったらSubnetManager載ってるので、LinuxでOpenSM動作させる必要は無いし。
FirmとかはHPのサイトから落とせば一応最新の物がダウンロード可能だし。

436 ：不明なデバイスさん：2012/02/16(木) 23:39:59.11 ID:4ZphLxd3.net

無知な私もinifinibandを自宅に整備したくなったので、
Voltaire 400Ex-D と ケーブルをebayで注文。
届いたら動くかﾚﾎﾟ。

437 ：434：2012/02/18(土) 10:03:06.69 ID:LQab/ACb.net

>>435
情報ありがとうございました。月末にHCAとケーブルが届き
ますので、直結で使ってみます。OpenSMは3.3.13にあがって
それに対するパッチを公開されていますね。楽しみです。
OIは使ったことないので、情報収集中です。ESXI4.1のデータ
ストア（scsi target）に使うつもりですが、USB boot+HDDx4個
（zfsの10かraidz)で使えればと思っています。

438 ：不明なデバイスさん：2012/02/19(日) 14:16:10.79 ID:/nFaSHfi.net

でも実用に供しちゃうと実験君できないんだよな。
いつ実用にしちゃうか悩みどころ。

439 ：不明なデバイスさん：2012/02/21(火) 23:40:02.49 ID:X562yWUS.net

すいません、めちゃめちゃド素人な質問ですみません。

>50 の
>SDR IB 2500Mbps < 10Gbase-CX4 3125Mbps < DDR IB 5000Mbps

って3125Mbpsじゃなくて3125MBaudだと思うんですが、IBはビットレートとボー
レートは同じ？ちなみにスレチですが、SAS1.0だと1対あたり3000Mbpsてことで
あってますでしょうか？

いや、両端がCX4のケーブルをSASで使っててどうにもH/Wエラー出まくりなので、
これってもしかしたらSDR IB用のケーブルなのかなぁ。と思ってｸﾞｸﾞってただけ
なんすけど。

440 ：不明なデバイスさん：2012/02/22(水) 00:26:54.21 ID:v0XXdhrx.net

>>417 >>419
FreeBSD9.0-RELEASE amd64 + MHRH19-XTCな環境で試してみましたが、駄目でした・・・
ttp://forums.freebsd.org/showthread.php?t=28792 を参考に world を作りなおしたのですが。
dmesg 見ると "no driver attached" とのこと・・・

ちなみにpciconfは

none3@pci0:4:0:0: class=0x0c0600 card=0x000615b3 chip=0x673215b3 rev=0xa0 hdr=0x00
vendor = 'Mellanox Technologies'
device = 'MT26418 [ConnectX VPI PCIe 2.0 5GT/s - IB DDR / 10GigE]'
class = serial bus

と認識してました。

441 ：不明なデバイスさん：2012/02/22(水) 01:01:29.88 ID:S/cVkrEl.net

>>440
kldstat -v | grep mlx
の出力でmlx4*入ってなければ
kldload mlx4 mlx4ib mlxen
これでどれかヒットしたら、ヒットしたヤツを/boot/loader.confに追加

kldloadでもダメなら、コンパイル設定がちゃんと出来てない or コミット具合が中途半端かなぁ
ソース的にはvender=15b3 product=6732有るから対応はしてるはず

442 ：不明なデバイスさん：2012/02/22(水) 12:37:15.31 ID:KppCuwU2.net

>>439
IBもCX4も4b5bなので、SDRで言えば2500Mbpsは物理レート、2000Mbpsが論理レート。

443 ：不明なデバイスさん：2012/02/22(水) 15:51:38.97 ID:uLyrXAnc.net

>>439
SDR IB 2500Mbps < 10Gbase-CX4 3125Mbps < DDR IB 5000Mbps
↑
これ全部baud rateね。
data rateで書くなら
↓
SDR IB 2000Mbps < 10Gbase-CX4 2500Mbps < DDR IB 4000Mbps

こんな感じ。ちなみにSAS1.0も8b/10bエンコードなので、3Gbps Baud Rate、
2.4Gbps Data Rate（8で割れば 300MB/s Data Rate）です。

444 ：不明なデバイスさん：2012/02/23(木) 13:04:37.95 ID:FCLMWANA.net

>>441
mlx4.koがロードされてないから、それに依存するモジュールを全部ロードできてない感じみたいっす。

# kldload mlx4
kernel: linker_load_file: Unsupported file type
で、/var/log/message みたら
kernel: link_elf_obj: symbol M_KMALLOC undefined
とか言ってるんで、上手くコンパイルできてない感がありますね。
初期化してソース取ってきて、いつもどおりworld作ってるんですけどなんかマズイのかなぁ。

成功してる人の体験談を聞きたいですね・・・

445 ：不明なデバイスさん：2012/02/23(木) 15:19:30.01 ID:dBMEHr9c.net

>>444
BSDはいじれるし、試す環境を作る事は出来るんだが、
肝心のHBCが無いというｗ

BSDでIBがまともに使えるようになってくれると、
Solarisからの乗り換え候補にもなるんで、
楽しみではあるんだけどね。

446 ：不明なデバイスさん：2012/02/24(金) 00:16:00.37 ID:cUhf+TCK.net

>>444
依存関係がよろしくないっぽいので以下の手順試してみてください
カーネルコンフィグから以下を削除
（テストしやすいようにカーネル組み込みをやめてローダブルにするため）
device mlx4ib
device mlxen
device mthca
device ipoib

以下のコマンド実行
cd /usr/src/sys/ofed/drivers/net/mlx4
ln -s ../../../inlcude/linux/*.c ./

あとはカーネルビルド＆インスト
実物を持ってないのでなんともいえないけど、kldload mlx4は文句なく出来るの確認しました

447 ：不明なデバイスさん：2012/02/24(金) 01:10:52.75 ID:OpT+ysLU.net

横から質問ゴメン
rc.confに opensm_enable="YES" て書けるようなんですが、FreeBSDでも
subnetManagerは普通に動くんですか？

448 ：不明なデバイスさん：2012/02/25(土) 21:46:39.64 ID:bMM+5bJc.net

>>440
Freebsd9.0R(amd64)をstableバージョンにあげて、
ttp://forums.freebsd.org/showthread.php?t=28792を参考にして試してみました。
MELLANOX INFINIHOST MHEA28-XTC DUAL PORT 10GB/s
HP InfiniBand HCA 4x SDR PCI-E Dual Port 380298-B21
の二枚ともに認識しました。前者の/var/log/messagesは
Feb 25 21:13:16 freebsd901 kernel: Running ipoib_init_module (0xffffffff80a9a120
)
Feb 25 21:13:16 freebsd901 kernel: ib_mthca0: <ib_mthca> mem 0xfde00000-0xfdefff
ff,0xfc800000-0xfcffffff irq 16 at device 0.0 on pci2
Feb 25 21:13:16 freebsd901 kernel: ib_mthca: Mellanox InfiniBand HCA driver v1.0
-ofed1.5.2 (August 4, 2010)
Feb 25 21:13:16 freebsd901 kernel: ib_mthca: Initializing ib_mthca
〜〜〜〜〜〜〜〜〜〜〜
Feb 25 21:13:16 freebsd901 kernel: ib_mthca0: HCA FW version 5.1.000 is old (5.3
.000 is current).
Feb 25 21:13:16 freebsd901 kernel: ib_mthca0: If you have problems, try updating
your HCA FW.
Feb 25 21:13:16 freebsd901 kernel: ib0: max_srq_sge=27
Feb 25 21:13:16 freebsd901 kernel: ib0: max_cm_mtu = 0x10000, num_frags=16
Feb 25 21:13:16 freebsd901 kernel: ib0: Attached to mthca0 port 1
Feb 25 21:13:16 freebsd901 kernel: ib1: max_srq_sge=27
Feb 25 21:13:16 freebsd901 kernel: ib1: max_cm_mtu = 0x10000, num_frags=16
Feb 25 21:13:16 freebsd901 kernel: ib1: Attached to mthca0 port 2
でした。後者も同様な認識でした。ConnectX系はmlx4ですので、その違いかなー。
当方はまだopensmな環境がないので接続テストはできていません。ちなみに
FreeBSDにポーティングされているhw driverはmlx4とmthcaだけですね。

449 ：440：2012/02/25(土) 22:08:14.32 ID:jv4hZwB5.net

>>446
ソースを取り直して再度worldを構築したら成功しました。
>>448 さんと同じような感じでしたー。

>>447
defaults/rc.conf には記述があるけど、肝心の起動スクリプトが無い気が。。
OpenSM のソース自体は /usr/src/contrib/ 以下に入ってますけど、パッチなしではコンパイルできません。
なんとかコンパイル通したものの、上手く動いてくれない感じでした。

今夜あたりにもう少し弄ってみようと思いますんで、後ほどまた報告しますですー。

450 ：不明なデバイスさん：2012/02/25(土) 23:35:48.33 ID:bMM+5bJc.net

>>449
> which opensm
> /usr/bin/opensm
バイナリありますよ。# opensm startで
Feb 25 23:18:55 343791 [1C07400] 0x03 -> OpenSM 3.3.1
確認しました。stand aloneで接続試験はまた後日に。

451 ：不明なデバイスさん：2012/02/25(土) 23:55:18.44 ID:jv4hZwB5.net

>>450
ops, 確認するときに使っていたworldはWITH_OFEDなものじゃなかったです、、、
いっしょにコンパイルされるもんなんですね。てっきりSolaris11みたいな感じかと思ってました。
私も接続試験してみますー。

452 ：不明なデバイスさん：2012/02/29(水) 21:20:59.22 ID:rFEqkiKg.net

RHEL系(CentOS、Scientific Linux)では、6.2が最新ですが、素install後に
# yum groupinstall 'infiniband support'
# yum install opensm perftest
# modprobe ib_umad
# opensm start
でＯＫでしょうか？3.3.9が立ち上がります。
MELLANOX INFINIHOST MHEA28-XTCのportにケーブルをループバックで
端端接続すると緑と橙色になりました。一応ローカルでＯＫということで。
FreeBSDの場合と比べて簡単ですね。

453 ：不明なデバイスさん：2012/03/07(水) 23:34:19.31 ID:hlc8Fsye.net

いつのまにかMLNX WinOF VPI v3.0.0でてたんだね

454 ：不明なデバイスさん：2012/03/08(木) 09:27:04.83 ID:/jkOBLhk.net

Hyper-VのIPoIB passingがあるのか？　ためしてみなきゃ。

455 ：不明なデバイスさん：2012/03/08(木) 17:07:46.29 ID:/gSgaG/k.net

Windows 8 serverのPreviewでたから、IPoIBでSMB 2.2 のRDMA SMBが
使用可能かチェックしてみないと。

456 ：不明なデバイスさん：2012/03/08(木) 21:46:47.82 ID:/jkOBLhk.net

8 serverのpreviewも出たんだ。
仮想スイッチとか切れるようになったんだよね。うーむ、いじりたいもの多すぎ。

457 ：不明なデバイスさん：2012/03/09(金) 02:32:13.09 ID:KBsbCkss.net

>>456
Clientの方と一緒にServerもでてたみたいです。
iWARPとかも試してみたいのですが、Switchが高すぎて・・・

458 ：sage：2012/03/09(金) 19:56:54.86 ID:39uW48Co.net

ML110G6に8serverを突っ込んでみようと思ったけど、なぜかインストーラが
HDDを見つけてくれず、「ドライブが見つかりませんでした」とか怒られる。
smb2.2試してみたい

459 ：不明なデバイスさん：2012/03/09(金) 20:30:29.66 ID:7ikC8YdG.net

>>458
オンボRAIDにしてない？AHCIモードかなんかでないと。

460 ：不明なデバイスさん：2012/03/11(日) 23:58:13.99 ID:RSemGy1Q.net

>>435
OpenSMを移植した人のサイトからファイルを落としてコンパイルしてみましたが、
gmake setupのところで/opt/SUNWspro/sunstudio12.1/bin/ccを要求します。
検索してみると以前はpkg installでsunstudioが得られていたようですが、今は
できないようです。オラクルのサイトはSolaris10と11、Linux用でOIには適応でき
ませんでした。sunstudioなしでOpenSMできないでしょうか。

# CentOSやFreeBSDとくらべるとなかなか先に進みません。スイッチ買おうかな。

461 ：不明なデバイスさん：2012/03/12(月) 09:14:36.25 ID:+INFtRDa.net

うわーoptパスなすかしす。
gmake configとか通らない？

462 ：不明なデバイスさん：2012/03/12(月) 12:56:09.98 ID:FpsVnDXN.net

>>417
OFED 1.5.3がportされたという話だったのに、なんで"ofed1.5.2"という記述があるんだろう？

463 ：不明なデバイスさん：2012/03/12(月) 19:00:47.75 ID:oBZTj5fF.net

>>460
pkg set-publisher -g http://pkg.openindiana.org/legacy opensolaris.org
パッチの当たってない SunStudio12.1 を再配布してるらしい。

ttps://www.illumos.org/projects/illumos-gate/wiki/How_To_Build_Illumos

464 ：460：2012/03/13(火) 07:25:18.03 ID:SQFLA84H.net

>>463
root@openindiana01:~# pkg publisher
発行元 タイプ 状態 URI
openindiana.org (優先) 起点 online http://pkg.openindiana.org/dev/
opensolaris.org 起点 online　　http://pkg.openindiana.org/legacy/
root@openindiana01:~# /opt/SUNWspro/sunstudio12.1/bin/cc -V
cc: Sun C 5.10 SunOS_i386 2009/06/03
usage: cc [ options] files. Use 'cc -flags' for details

この2週間悩んでいましたが、前進です。ありがとうございました。

465 ：不明なデバイス：2012/03/14(水) 16:32:30.68 ID:UearcMfZ.net

安い

http://shop.maxserve.co.jp/shopdetail/030000000003/

466 ：不明なデバイスさん：2012/03/14(水) 19:24:07.26 ID:DlGLtx3N.net

>>465
新品でこの値段なら安いなー。
中古だったら高いと思うけど。

467 ：不明なデバイスさん：2012/03/18(日) 10:52:50.92 ID:t+mwE1qp.net

>>464
OI上でOpenSMが動作するパッチがgithubで公開されていますが、
Downloadsしますと、パッチが含まれていない2011年9月のファイル
しか含まれません。すれ違いかもしれませんがgithubから落とす
方法をおしえてくれませんか？Branchesはmaster、ofed-1.5.4.1の
いずれを選択してもDownloadsしたファイルの内容は同じです。
githubの使い方がまちがっているのかなー。

468 ：不明なデバイスさん：2012/03/19(月) 07:31:14.73 ID:yMsMdDri.net

>>467
jithubの画面左側にあるzipのボタンでdownloadできました。おさわがせしました。

469 ：不明なデバイスさん：2012/03/19(月) 15:43:03.19 ID:WIrHM2dt.net

>>464
普通に git clone [url]で最新のが落ちてくるけど？？
って、zipで落としてたのか・・・

470 ：不明なデバイスさん：2012/03/20(火) 04:54:27.64 ID:0JkJ1LfL.net

>>469
　当方git、hgそれなに？のド素人です。OI上でOpenSMをコンパイルする
ために、情報検索したかったのでサーバー版ではなくてデスクトップ版
をインストールしました。fireforxで検索しながら情報にたどり着きました。
なので、前述のサイトも画面上のDownloadのボタンに気づいて思わず
ともGUIな環境での操作となりました。
　とりあえず落としてきたファイルを展開してtools/check-environment
で必要なものを準備しました。それからhg init; gmake setup; gmake publish
です。やっとここまでたどり着いたというのが正直な印象です。
　なぜかインストール先がcomponents/open-fabrics/prototype/i386下
にくるのでなんでかなと調査中です。まだまだ先が思いやられます。
　OIにOpenSMをポーティングされたかたに敬意を表します。助言ありがとう
ございました。

471 ：不明なデバイスさん：2012/03/23(金) 12:42:45.13 ID:Omrahrns.net

http://cloud.sakura.ad.jp/news/sakurainfo/newsentry.php?id=622
さくらも大変そうだね

472 ：不明なデバイスさん：2012/03/23(金) 13:14:13.59 ID:30SgVsUg.net

infinibandがらみなのかわからんね。どういうトラブルか教えてくれ＞関係者

もともと従量課金を導入してる部分が少ないから、偏ったアプリによる偏った負荷がかかってるんだろうなあ。

473 ：sage：2012/03/26(月) 06:17:26.13 ID:NgrmWmIj.net

休みを使ってServer8βを2台のマシンにインスコ。
それぞれのマシンをIBで繋いでRDMA経由のSMB2.2を試そうと思ったけど、なぜ
かOpenSMが起動出来ないでござる。時間内に応答が返らないとか言われる。

InfiniHostIIIなんでWinOFは2.1.3が最新だと思うけど、server8に対応してな
いんだろうか。ドライバは一応入ったんだけど。

と言うわけでSM入りのスイッチが無いうちではこれ以上の検証が出来ないので
誰か代わりに検証ﾀﾉﾑ

474 ：sage：2012/03/26(月) 07:21:05.91 ID:NgrmWmIj.net

補足
OFED3.0は「7か2008R2じゃないと駄目」と言われてserver8にはｲﾝｽｺ出来ません
でした。

475 ：不明なデバイスさん：2012/03/26(月) 08:55:58.02 ID:wwts9w4U.net

>>474
そーいうときはACT(application compatibility toolkit)でだますと入ったりするぞ。

476 ：不明なデバイスさん：2012/04/01(日) 12:11:02.83 ID:1A/TH1x7.net

>>472
仮想化でよくあるストレージのキャパ不足だと思うけどなー
ストレージのヘッド、あそこだとZFS Applianceの数増やすだけで解決すると思う
仮想マシンを移動させなきゃいけないのは大変だとも思う
それで解決しなきゃ根本的になんか間違えているんじゃ。

477 ：不明なデバイスさん：2012/04/02(月) 20:12:41.32 ID:4RJZ+QhL.net

Windows XP SP3 ------> iscsi targetの転送をFFFTPで測定したら、
１5MB/secとGbEより低くい結果で涙目。(IPoIB)

XP client: AMD Athron 64 x2 5200+, 2GB RAM, 250GB HDD(7200rpm)
HCA( Infinihost 380298-B21 )
iscsi target: Intel Celeron E3200, 6GB RAM, FreeBSD-9.0R-amd64で
　　　　　　　　zfs( raid10 500GB HDD(7200rpm) x 4)、NTFS format,
HCA( infinihost MHEA28-XTC )
OpenSMはFreeBSD側で準備し、iscsi targetは/usr/ports/net/istgtを使い
ました。

特にチューニングはしていません。low spec.だけどもうちょっとでないかな。
ネットで検索してもなかなか情報がなくて、、。

478 ：不明なデバイスさん：2012/04/02(月) 20:25:30.21 ID:4RJZ+QhL.net

>>477
っと、うそを書いてしまいました。XP側ではMicrosoft iSCSI Initiatorがiscsi targetを
見つけてくれないので、ftp 転送ので結果です。iscsi targetではなくて、boot diskと
の接続です。

479 ：不明なデバイスさん：2012/04/03(火) 09:15:30.33 ID:LeK2uesc.net

infinihostはオフロードしないからCPU遅いとgbeより遅いことままあるよ。

480 ：477：2012/04/03(火) 23:01:37.74 ID:6ugnXdNN.net

>>479
Windows XP SP3からSL-62-x86_64へ変更してiperfで測定してみました。
SL6.2とFreeBSD9.0間をGbeとIPoIBで比較してみました。（環境は同じです）。

[root@localhost ssh]# iperf -c 192.168.24.15
------------------------------------------------------------
Client connecting to 192.168.24.15, TCP port 5001
TCP window size: 64.0 KByte (default)
------------------------------------------------------------
[ 3] local 192.168.24.105 port 37050 connected with 192.168.24.15 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 1.08 GBytes 928 Mbits/sec

[root@localhost ssh]# iperf -c 192.168.23.15
------------------------------------------------------------
Client connecting to 192.168.23.15, TCP port 5001
TCP window size: 64.0 KByte (default)
------------------------------------------------------------
[ 3] local 192.168.23.16 port 51660 connected with 192.168.23.15 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 2.61 GBytes 2.24 Gbits/sec

2倍ちょっとかな。OSによって挙動が違うようですね。
この1ヶ月間試行錯誤してきましたが、なんとか使えるところまで来ました。
HCAはebayから購入したので故障が心配でしたが動作してよかった。:-)

481 ：samba：2012/04/04(水) 00:53:30.77 ID:LQLnLJ9i.net

>>480
FreeBSD-9.0RにMHEA28-XTC挿して、FreeBSD上でOpenSM動かしてるって事？
そこまで出来るようになったのか。

482 ：477：2012/04/04(水) 20:21:09.29 ID:1IbLihOE.net

>>481
はい。前述の設定でmake worldして、/etc/rc.confにopensm_enable="YES"
ただし起動スクリプトはないので、
#!/bin/sh
#
# $FreeBSD$
#
# PROVIDE: opensm
# BEFORE: netif
# REQUIRE: FILESYSTEMS

. /etc/rc.subr

name="opensm"
start_cmd="opensm_start"
rcvar="opensm_enable"

command=/usr/bin/opensm
command_args="-B"

opensm_start()

{
for guid in `ibstat | grep "Port GUID" | cut -d ':' -f2`; do
[ -z "${rc_quiet}" ] && echo "Starting ${guid} opensm."
${command} ${command_args} -g ${guid} >> /dev/null
done
}

load_rc_config $name
run_rc_command $*
な感じで立ち上げてます。

483 ：不明なデバイスさん：2012/04/14(土) 00:17:18.73 ID:7MfIUIMe.net

IPoIB接続の次はSRP接続です。親切にも方法を開示されている方がいて、
ttp://sonicostech.wordpress.com/2012/02/23/howto-infiniband-srp-target-on-centos-6-incl-rpm-spec/#prepbuild
を参考にしました。
SRP target (CentOS-6.2-x86 64): AMD Athron64 +5200,4GB RAM, 160GB HDD
SRP initiator (ESXi 4.1 u1): Intel 9550, 8GB RAM
SDR infinihostを使用して、CentOS側でopensm起動

target から10GB切り出してFreeBSD9.0Rをinstallし、
time make -j6 buildworld中です。オレンジのLEDがピコピコ
光ってやっとたどり着いたぞというのが実感です。
この環境ではおそらくHDDが律速になりますのでSRP target
にはRAIDとかSSDが必要になりますね。

484 ：不明なデバイスさん：2012/04/15(日) 15:18:05.00 ID:XtSLeYpc.net

ebayでHCA中古さがしているけど、50ドル以下のものをみなくなったね。
需要があるってことかな。

485 ：不明なデバイスさん：2012/04/16(月) 02:19:22.83 ID:ys7XQqHJ.net

このスレ見てなんかおもしろそうなんで、MHEA28-XTCを2枚ゲット。
詳しい環境は省略するけど、CentOS 6.2でSRP target構築してRAMディスクにvdisk作成。
Windows7から接続してATTO Benchmarkで計ったら普通に950MB/sとか出てびっくりした。

486 ：不明なデバイスさん：2012/04/16(月) 08:18:11.46 ID:xhJt1Tt0.net

>>485
950MB/sってすげぇなw
折角なので詳しい環境書いてよ。

487 ：不明なデバイスさん：2012/04/16(月) 10:14:16.93 ID:Yf5aTgYS.net

>>484
HPCセンタの更改時にどかっと出る、その後出ない、の繰り返しじゃないかな。
ラックHDDユニットとかもその傾向にあるね。
＃この前安価で入手したのには「yahoo」って張ってあって笑った

488 ：484：2012/04/16(月) 20:18:47.48 ID:HXzADxTI.net

>>487
ふむ、タイミングですかね。米国には年度末ってないのかな。
どぱーっとさらしてほしいもんです。
中古なので予備に何枚か持っておきたい。DDRやQDR
も欲しいですが、これはまだ価格が落ちてこないですね。

489 ：不明なデバイスさん：2012/04/16(月) 21:05:37.29 ID:nKIZMTkw.net

>>485
自分もぜひ教えてほしい。
RAMDISKはtmpfs?特別な設定？

490 ：485：2012/04/17(火) 01:20:51.16 ID:VZw4NDHc.net

特別なことはなにもしてないです。
見よう見まねでやってみただけです。

サーバ MHEA28-XTC　CentOS6.2　(Athlon X2 BE-2350 4GB)
クライアント MHEA28-XTC Windows7 x64 SP1 (Phenom II 9950BE 8GB)
こんなしょぼい環境で、２台を直結です。

サーバ側は
http://sonicostech.wordpress.com/2012/02/23/howto-infiniband-srp-target-on-centos-6-incl-rpm-spec/
ここに書いてある通りにCentOS6.2上にSRP Target構築。(vdisk使用)
OSインストールから全部書いてあります。
で、tmpfsで2GBのRAMディスク作ってRAKディスク上に適当なイメージファイルをおいただけです。

Win7側はOFED 3.0でインストール時にSRPを追加してインストールしただけです。

Win7起動すると勝手にSRP Targetがマウントされてます。

491 ：不明なデバイスさん：2012/04/19(木) 12:58:15.61 ID:pK8pP1wV.net

MHEA28-XTCにファーム5.3+ipxeのROMを書き込んでSRP Bootに
チャレンジしているのですがうまくいきません。
サーバはMHEA28-1TCで、CentOS6.2 + SCSTでSRP Targetを構築しました。
http://sonicostech.wordpress.com/2012/02/23/howto-infiniband-srp-target-on-centos-6-incl-rpm-spec/
ここの通りにやってます。
SRp targetはWindows/Linuxから問題なく接続ができています。

まず、shellでコマンド入力で試してみたんですが、
ifopen net0
ifstat net0 (upになってることを確認)
sanhook ib_srp::::＊＊＊＊＊＊＊＊＊
と入れてエンターを押した後になぜかPCのリセットがかかります。

次に同じコマンドを埋め込みスクリプトでやってみたところ、
リセットはかかりませんが
Input/Output Error
となって接続できません。何が悪いのかはよくわかりません。

同じような構成でうまく言ってる方いらっしゃいますでしょうか。

492 ：不明なデバイスさん：2012/04/24(火) 21:32:35.51 ID:bMPtoCKW.net

　SDRなHCAで、CentOS6.2 + SCSTによるSRP Targetを想定した場合、
ストレージの性能ってどれくらいがふさわしいかな。変な質問で申し訳
ないけど、今4個のHDDをraid10またはraid0でESXi4.1のSRP targetとして
試験運用している。GbEなiscsi　targetの時とあまりパフォーマンスは変
わらんような気がする。ネットワークトラフィックが増えない限りパフォー
マンスの差はでないんだろか。
　　皆さん、ストレージはどうしていますか？おいしい使い方とか指標が
ありましたらご教授お願いいたします。

493 ：不明なデバイスさん：2012/04/25(水) 00:45:17.14 ID:QgUwtsXR.net

いくらSDRでもGbEに比べれば圧倒的に出るよ。最低でも500MB/s位は軽い。

494 ：492：2012/04/26(木) 06:41:23.65 ID:mT82uJuz.net

>>493
SRP targetををUSB bootさせているからかなー。

495 ：492：2012/05/03(木) 23:00:55.06 ID:ie+GVUTI.net

hdparm使って確かめました。
構成：鼻毛鯖(PJ)にメモリ１２GB追加、HDDはmdadmによるRAID0（HDD x 4)
HCA:infinihost OS CentOS6.2-64( USBメモリ４GB )
SRP target側（raid0): hdparm -Tt /dev/md0 418Mb/sec
ESXI4.1のゲストOS:　hdparm -Tt /dev/sda1 356Mb/sec
（CPUx4 メモリ４GB
でGbE( scsi target)の４倍でした。もっと速いtargetが作れれば性能はさらに
あがるかも。:-)

# USB メモリでSRP tagetのシステムを構築しましたが、input/output error
#　をはくようになりました。2個目は問題なさそうですが、HDD install推奨。

496 ：不明なデバイスさん：2012/05/03(木) 23:03:28.46 ID:ie+GVUTI.net

Mb/sec 訂正MB/sec

497 ：不明なデバイスさん：2012/05/14(月) 21:06:37.63 ID:DvW0EcVA.net

>>495
RAMなblockでテストするとどれくらい出ます？

498 ：不明なデバイスさん：2012/05/15(火) 14:35:13.50 ID:1qQa8fOb.net

>>497
492さんじゃないけど、Linuxで今度試してみるよ
ちなみに、OpenIndianaでRAM disk使ってQDR接続でSRP使用すると、
dd一つだと800MB/sで頭打ちになるけど、ddを4つ同時に走らせると3.2GB/s行きましたな。

499 ：不明なデバイスさん：2012/05/15(火) 19:25:54.70 ID:UdyiCeMm.net

Mellanox本社エグゼクティブ・インタビュー
前編 ttp://cloud.watch.impress.co.jp/docs/interview/20120514_532167.html
後編 ttp://cloud.watch.impress.co.jp/docs/interview/20120515_532176.html

500 ：不明なデバイスさん：2012/05/15(火) 21:51:11.09 ID:0APbn2NH.net

>>497
すでにESXi4.1にSRPターゲットをつないでいるので、対向で速度が測れない。
たぶん485さんと同じぐらいだと思う。ESXiからSRPターゲットのブロックI/Oを
測定する方法があったら教えてくれませんか。

501 ：不明なデバイスさん：2012/05/17(木) 22:17:28.52 ID:JTf5cETS.net

このスレではじめて InfiniBand を知りました。
なんとか IB SRP Target を立ててみたくて、>>483 >>490 を参考にさせていただき
CentOS で SCST を起動できたのですが、その先の初歩的なところで詰まっています。

Target へのアクセスを fileio にしたところパフォーマンスが出ないので、
代わりに fileio_tgt を試そうとして fileio-2.2.0.tar.bz2 をダウンロード・展開し,
make all install としたところ「scst_user.h: そのようなファイルやディレクトリはありません」から
始まる多量のエラーが表示され、コンパイルが通りません。

恐縮ですが、なにか糸口を教えていただけないでしょうか。

502 ：不明なデバイスさん：2012/05/17(木) 23:13:44.22 ID:tF7/aeM2.net

>>501
483です。fileio_tgt は知りませんでした。一応

# cat /etc/scst.conf
HANDLER vdisk_blockio {
DEVICE disk0 {
filename /dev/md127
}

TARGET_DRIVER ib_srpt {
TARGET 0017:08ff:ffd0:ff10 {
LUN 0 disk0
enabled 1
}
}
な感じで使っています。
mdadmでraid md0作ったらmd127に置き換えられて
いました。バグなんだろうけどmdadmがボトルネック。
やっぱしzfsかなと思案中です。

503 ：不明なデバイスさん：2012/05/21(月) 17:43:23.85 ID:/97IiUUh.net

InfiniBand Driver for VMware vSphere 5はいつダウンロードできるようになるんだろう。

504 ：不明なデバイスさん：2012/05/24(木) 20:15:23.58 ID:wAhufKkb.net

>>502 MDだとネックになってZFSだとならないというのはなぜ？ むしろ遅くなりそうだけど。

505 ：不明なデバイスさん：2012/05/24(木) 21:09:32.33 ID:Xusbc39/.net

>>504
根拠はありません。ごめんなさい。
読み直して文章になっていませんでしたね。ボトルネックの意は、
同じCPU,メモリーリソースを使った場合、ZFSの方がパフォーマンス
が出たからです。自宅SANで使ってますが、OpenSolarisやFreeNAS
のiscsi targetが速くててOpenfilerが少し遅くてという経験をしているから
かな。
最近CPU,メモリの性能が良くなって、さらにinfinibandでネットワーク
が速くなると最終的にはストレージがボトルネックになるという意味で
す。

506 ：不明なデバイスさん：2012/05/28(月) 01:21:19.81 ID:KBcRq2Nc.net

Ubuntu10.04でもInfinibandは動くんだな。
OpenSMも入ったし、疎通確認もおｋ。
12.04だと
aptitude install opensm
だけですんだけど、10.04はソースからもってこないといけなかったのがめんどくさかった。

507 ：不明なデバイスさん：2012/05/28(月) 23:05:43.73 ID:2mmlACH9.net

NexentaStor Version 3.1.3リリースされたけど、これってinfiniband使えるかな。
memory付きのHCA( Infinhost )をさしてCDブートすると、logに
unknown tavor MT25208 Infinihost �V Exみたいに表示される。カーネルは認
識しているようです。esxi4のiscsi targetにできるでしょうか。ipoibまたはsrpの
どちらでもいいんですが。もちろんopensmも必要です。
web guiではinfinibandの設定画面はなかったような。コマンドラインでできる？

508 ：不明なデバイスさん：2012/05/31(木) 10:17:31.07 ID:H0mjsk4S.net

NexentaStorとかお手軽にNAS化するのが目的なんだから、コマンドラインから無理して設定するようなものではないように思う。

509 ：不明なデバイスさん：2012/06/01(金) 15:05:31.41 ID:131eRlN4.net

>507
対応する気はあるみたいだけど、そこまでリソース裂けてない状態。
InfiniBandのIPoIBとかSRPとiSERとかは使えるけど、Webとか管理コンソールからはほぼ触れない。
サポート外のシェルに落ちれば設定可能だけど、WebUIとかに不具合でたりするかも。

個人的にはOpneIndianaなりつっこんで、comstar回りをnapp-itでってのでも十分楽なんだけどなー。

しかし、6月になったのにMellanoxからはESX5用のドライバが出ないわけで・・・。
日本語のページのプレスリリースは嘘なんだろうかｗ

510 ：不明なデバイスさん：2012/06/01(金) 21:36:58.41 ID:V7n/ScAJ.net

508さん、509さん、ありがとうございます。
IBってコストパフォーマンスあるのでFreeNASやNexentaStoｒに
導入してほしいもんです。Web GUIで操作できると普及すると
思うけどなー。
自分は前に書いたように、FreeBSD + ZFS + IPoIBな環境で落ち着き
ました。FreeBSDの情報が少ないのが困りものですが、いずれSRP
対応するだろうと楽観しています。

511 ：不明なデバイスさん：2012/06/01(金) 21:57:11.28 ID:V7n/ScAJ.net

つづけて、ESXi4.1 のiscsi targetとしてFreeBSD + ZFS + IPoIBでの
簡単なベンチです。
ESXi4.1( Intel 9550, 8GB RAM, InfninHost ), iscsit target (Celeron E3400,
6GB RAM, InfiniHost, RAID10 by ZFS, HDD x 6個）で対向接続して、
ゲストOS（CentOS6.2, 2CPU, 2048K RAM、32GB HDD)上で、

[root@localhost ~]# dd if=/dev/zero of=/tmp/testimg bs=1M count=10
10+0 records in
10+0 records out
10485760 bytes (10 MB) copied, 0.0149464 s, 702 MB/s

[root@localhost ~]# dd if=/dev/zero of=/tmp/testimg bs=1M count=100
100+0 records in
100+0 records out
104857600 bytes (105 MB) copied, 0.724387 s, 145 MB/s

root@localhost ~]# hdparm -t /dev/sda1

/dev/sda1:
Timing buffered disk reads: 500 MB in 1.17 seconds = 426.33 MB/sec

のような結果でした。ネットワークの速度だけではなくゲストOSとしての総合
的な評価としてみますと大変満足できるものでした。

512 ：不明なデバイスさん：2012/06/02(土) 13:46:39.44 ID:f9oYZ7yH.net

509だけど、SRPは廃れていく気がするのよね。
iSERで良いじゃんって方向で。
MellanoxのWindows用のSRPドライバでは削除されてるしね。

ちなみにnapp-itはWebGUIね。
EON + napp-itって構成ってFreeNAS使える人ならいけると思うんだけど。

ちなみに、FreeBSDってSolaris系のCOMSTARとかLinuxのSCST的なSCSIの抽象レイヤってあったっけ？
青山さん(isgtdの作者)が、その辺のレイヤ部分が無いので、自前で色々実装してから、SRPもisgtdの
フロントエンド部分を何とかすれば対応出来そうだけど。

513 ：不明なデバイスさん：2012/06/02(土) 21:05:00.98 ID:IN4s7gXA.net

>>512さん　レベル高すぎです。:-)
FreeBSDでってのも、ユーザが少なそうなので試してみようって
ことで。FreeBSＤではSRP target無理だと思います。今のところ
Linux系とSolaris系だけですよね。
LinuxのSRP targetも試してみましたが理解不明なログがでてき
てこれは自分には無理と思いました。
結局TCPのオーバーヘッドありますが、IPoIBに落ち着きました。
IPoIBがおちてもGbEで救済ができるからです。本当はSRPとか
iSERのほうが性能が発揮できそうですが、このあたりはネットで
検索してもなかなか情報が得られない、、。たぶんこれは「飯の
たね」なので表にでてこないのじゃないかな。
Opensolarisのiscsi target(by GbE)は経験ありますが、COMSTAR
は抽象化っですかね。難しそう。しかし、憧れはありますね。はい。
ＮＥＣの安サーバーがありますのでいろいろいじっています。
Linux + SRP target + flashcache インストール中です。

514 ：不明なデバイスさん：2012/06/02(土) 21:44:47.35 ID:IN4s7gXA.net

連続で申し訳ない。騒ぎすぎならごめんなさい。
ESXi4.1( Intel 870, 16GB RAM, InfninHost ), SRP target (Celeron G1101,
CentOS6.2 3GB RAM, InfiniHost, RAID1 by mdadm, HDD x 2個）で対向
接続して、ゲストOS（CentOS6.2, 2CPU, 2048K RAM、32GB HDD)上で、

[root@ns2 ~]# dd if=/dev/zero of=/tmp/testimg bs=1M count=10
10+0 records in
10+0 records out
10485760 bytes (10 MB) copied, 0.010086 s, 1.0 GB/s

[root@ns2 ~]# dd if=/dev/zero of=/tmp/testimg bs=1M count=100
100+0 records in
100+0 records out
104857600 bytes (105 MB) copied, 0.287052 s, 365 MB/s

[root@ns2 ~]# hdparm -t /dev/sda1

/dev/sda1:
Timing buffered disk reads: 500 MB in 1.11 seconds = 451.71 MB/sec

でした。RAID1にもかかわらず、SRPですので速いです。これからflashcache
追加します。

515 ：不明なデバイスさん：2012/06/02(土) 21:52:28.61 ID:ZLJdsOyr.net

>>509
6月の第1週にダウンロード可能になるらしいよ、サポート曰く。
それにしても遅いけど。。。

516 ：不明なデバイスさん：2012/06/02(土) 22:26:08.93 ID:IN4s7gXA.net

>>514
連投です。514にSSDを追加した条件です。
# flashcache_create -p thru -b 1024k cachedev /dev/sdc1 /dev/md127
でSSD (crucial M4 SSD 128GB)を/dev/sdc1, Seagate 2TB 7200rpm のmirror
で再検。

[root@ns2 ~]# dd if=/dev/zero of=/dev/testimg bs=1M count=10
10+0 records in
10+0 records out
10485760 bytes (10 MB) copied, 0.00695022 s, 1.5 GB/s
[root@ns2 ~]# dd if=/dev/zero of=/dev/testimg bs=1M count=100
100+0 records in
100+0 records out
104857600 bytes (105 MB) copied, 0.0679549 s, 1.5 GB/s
[root@ns2 ~]# dd if=/dev/zero of=/dev/testimg bs=1M count=1000
1000+0 records in
1000+0 records out
1048576000 bytes (1.0 GB) copied, 0.642254 s, 1.6 GB/s
キャッシュにのるのか１GBの書き込みでの速度が落ちないです。
測定値のばらつきもないので安定しているようです。
[root@ns2 ~]# hdparm -t /dev/sda1
/dev/sda1:
Timing buffered disk reads: 500 MB in 1.00 seconds = 500.93 MB/sec

さすがSRP + flashcacheです。
NEC GT110bに2GB RAM 、 HDD x 2、 ＳＳＤ x 1、IB HCA追加した結果でした。

517 ：不明なデバイスさん：2012/06/02(土) 22:27:52.10 ID:Y5VXD1jR.net

6月の第1週ならむしろ来週だろ・・・
ホビイスト向けじゃないんだから週末以外の方が時期として適切そうだし

518 ：不明なデバイスさん：2012/06/03(日) 00:34:34.05 ID:PV55ZIYd.net

winOFED v3.1でてたね

519 ：不明なデバイスさん：2012/06/03(日) 00:35:05.77 ID:PV55ZIYd.net

先月にwinOFED v3.1でてたのね

520 ：不明なデバイスさん：2012/06/04(月) 09:26:04.33 ID:0fb4fhOO.net

Infinihostもこれで打ち止めか・・・

521 ：不明なデバイスさん：2012/06/04(月) 16:40:51.06 ID:acnTPI48.net

>>516
flashcacheって知らなかったけど、zfsのzil diskとかl2arcのような物なのね。
シーケンシャルだと速度は出るけど、実際ストレージサーバとして使うならRandomの方を計測することをお勧めする。
ぶっちゃけシーケンシャルで速度でてもランダムだと酷い値になることが多々あるからね。
あと、メモリキャッシュに乗らない状態で計測してみるのと、fioとか使って、一回Randomの速度を測ってみたら？

522 ：不明なデバイスさん：2012/06/04(月) 16:43:07.23 ID:acnTPI48.net

>>515,517
元々、本国の方のサポートに問合せしたときは、3月中って話だったんだけどね。

523 ：不明なデバイスさん：2012/06/05(火) 15:48:55.45 ID:PhIJ7Tdi.net

flashcacheの人はwritethroughでやっぱり使ってるの？
writeback関係は機能とかあんまり汎用じゃないよね>flashcache

524 ：不明なデバイスさん：2012/06/05(火) 20:10:10.25 ID:GQ/lU+Y/.net

>>523
そうです。writeback、writethrough、writearoundのモードがありますね。
2TBに128GBのSSDですので容量が少し足りないかもしれません。
>>532
助言ありがとうございます。SRP targetの目的がESXi4.1のゲストOS用
です。fioについては前述のSRP targetはしばらく使えないので測定でき
ないのですが、511は手元にありますので試してみました( by IPoIB)
量が多いので抜粋しています。

randread512k: (g=0): rw=randread, bs=512K-512K/512K-512K, ioengine=sync, iodepth=1
fio 2.0.7
bw (KB/s) : avg=83805.35　iops=163 clat (usec): avg=6104.13
Run status group 0 (all jobs):
READ: io=5120.0MB, aggrb=83741KB/s

randwrite512k: (g=0): rw=randwrite, bs=512K-512K/512K-512K, ioengine=sync, iodepth=1
fio 2.0.7
bw (KB/s) : avg=120376.88　iops=153 clat (usec): avg=6468.37
Run status group 0 (all jobs):
WRITE: io=5120.0MB, aggrb=78562KB/s

525 ：不明なデバイスさん：2012/06/10(日) 00:24:42.69 ID:+c6ECaom.net

Windows7 の SRP Boot がうまくいきました。

Target : CentOS6.2 + SCST2.2.0 (Xeon E5-2609 2.4GHz)
Initiator : Windows7 + winOFED3.1 (Xeon E5-2650L 1.8GHz)

・HCA は双方 eBay で落札した Mellanox の MCX353A-FCAT です。
・BootROM について、iPXE はこの HCA に未対応ですが FlexBoot3.3.420 で大丈夫でした。
・Target 側で ISC DHCP 4.1.0p1 に InfiniBand パッチを当てたものを立ち上げ、
　その root-path の指定だけで tftp は使わずにすみました。

・tmpfs に置いた60GBのイメージファイルから起動して、速度は下のとおりです。

http://kie.nu/cWh

・このスレはいつも大変参考にさせていただいています。
あまりお役に立てませんが、ご質問等があれば遠慮なくおっしゃってください。

526 ：不明なデバイスさん：2012/06/10(日) 03:15:30.36 ID:INBxKVA+.net

おー、速いなあ。

527 ：不明なデバイスさん：2012/06/11(月) 18:31:15.36 ID:HX2YKslR.net

>>525

FDRうらやましいですｗ
ちなみにインストールからSRP使ってされたんでしょうか？
(iSCSIとかのインストールと同様に)
AIKでイメージ弄らないと駄目なのが面倒で試してないのですが。

あと、iPXEの自前でコンパイルしたBootROMで、InfiniHost系でも同様にSRP Boot可能
だと思います。ただし、メモリ有りのInfiniHostはiPXEのコンパイルが通りませんでしたが。

ネタとしてこの辺を投下しておこう。
http://blogs.technet.com/b/josebda/archive/2012/05/11/windows-server-2012-beta-with-smb-3-0-demo-at-interop-shows-smb-direct-at-5-8-gbytes-sec-over-mellanox-connectx-3-network-adapters.aspx
SMB2.2は結局SMB3になったのね。

528 ：不明なデバイスさん：2012/06/11(月) 23:30:12.24 ID:6MJGGMHq.net

>>527
FDR、恥ずかしながら使いこなせていません。
一つには PCIe Gen3で動作していない可能性があり、M/B(Rampage IV Extreme)は
Gen3対応のはずですが、3.4GB/sで頭打ちします。
（PCIeの動作状況をリアルタイムに確認する方法はないものでしょうか）

iSCSIのようにWindowsAIKでカスタムメディアを作る方法は、dismでOFEDのドライバを統合する
あたりまでうまくいったのですが、imagexによるイメージキャプチャの段階でつまずきました。

そこで無骨ですが、いったんローカルのSSDにOFEDとsanbootconfを含めてインストールし、
そのダンプイメージをddでTargetに転送する方式をとりました。

iPXEは残念ながら、15B3:1003ではコンパイルが通りませんでした。

529 ：不明なデバイスさん：2012/06/11(月) 23:51:21.74 ID:6MJGGMHq.net

SMBはかなり良くなるようですね。

Windows Server 2012 Betaには最小限のドライバが入っていますが、新しいものをここから落とせます。
http://www.mellanox.com/content/pages.php?pg=products_dyn&product_family=129&menu_section=34
（これを入れるとFirmwareが2.10.2280に更新されますが、Flexboot3.3.420とは相性が悪いです。）

MellanoxのTwitterによるとServer同士の場合にのみ有効とのことなので、
Server同士でramdiskを共有フォルダにして計測してみました。

Sequential Read : 642.313 MB/s
Sequential Write : 825.390 MB/s
Random Read 512KB : 593.501 MB/s
Random Write 512KB : 721.289 MB/s
Random Read 4KB (QD=1) : 35.011 MB/s [ 8547.6 IOPS]
Random Write 4KB (QD=1) : 36.585 MB/s [ 8931.8 IOPS]
Random Read 4KB (QD=32) : 286.451 MB/s [ 69934.3 IOPS]
Random Write 4KB (QD=32) : 206.025 MB/s [ 50299.1 IOPS]

530 ：不明なデバイスさん：2012/06/14(木) 21:04:34.78 ID:8PFnQGbi.net

QLE7240がebayで安く購入できたので、一応DDRなので期待して
２台のCentOS6.2-x86_64を対向接続してiperf測定してみました。
hostA
# iperf -s
hostB
# iperf -c 192.168.x.x
IPoIBな環境ですが、以下のファイルから構築しました。
1) OFED-1.5.4.1.tgz
2) QLogicIB-Basic.RHEL6-x86_64.7.1.0.0.58.tgz
いずれの場合でも1.3~1.5Gbit/secの結果でした。DDRなのでもうちょっと
出ないかなと思うのですが、こんなもんですかね。tipsなどありましたら
助言をお願いいたします。
# Mellanoxがdefact standard ?　中古探しは慎重に。

531 ：不明なデバイスさん：2012/06/15(金) 21:02:04.57 ID:q/rNE5N6.net

>>528
なんだかパフォーマンスでてないですね。
うちで過去に計測したSDRのSRP Targetとの接続と速度が変わらないくらいってのが謎。
iPXEにMellanoxが独自に手を入れてるので、新しいカードだと無理なんでしょうね。

>>530
QLE7240あるからテストしてみようか？
買ったはよいものの、開封すらしてなかったので。
直結とスイッチかましてのテストでよいかな？

532 ：不明なデバイスさん：2012/06/15(金) 21:35:08.07 ID:KzEphqui.net

>>516
fioでベンチとってみました。
randread512k: (g=0): rw=randread, bs=512K-512K/512K-512K,
ioengine=sync, iodepth=1
fio 2.0.7
bw (KB/s) : avg=48377.22, iops=94,
Run status group 0 (all jobs):
READ: io=5120.0MB, aggrb=48378KB/s,

randwrite512k: (g=0): rw=randwrite, bs=512K-512K/512K-512K,
ioengine=sync, iodepth=1
fio 2.0.7
bw (KB/s) :avg=81036.99, iops=157
Run status group 0 (all jobs):
WRITE: io=5120.0MB, aggrb=80703KB/s
な結果でした。

# 相変わらず、わからんログがでています。ＳＲＰ　targetですが、
111e5ed30 (tag 21, op 17): blocking further cmds on dev disk0 due to serialized cmd
Jun 15 21:28:06 localhost kernel: [0]: scst_block_dev:6662:Device BLOCK (new count 1), dev disk0
Jun 15 21:28:06 localhost kernel: [0]: scst_check_unblock_dev:160:cmd ffff880111e5ed30 (tag 21): unblocking dev disk0
Jun 15 21:28:06 localhost kernel: [0]: scst_unblock_dev:6739:Device UNBLOCK(new 0), dev disk0

533 ：不明なデバイスさん：2012/06/15(金) 23:05:37.12 ID:qHSnoPHJ.net

>>531
単位勘違いしてない？
どう考えてもSDRであの速度は出ないでしょ。

534 ：不明なデバイスさん：2012/06/16(土) 06:39:06.53 ID:grmbXKUG.net

>>531
おお、直結でテストしていただけたらありがたい。4枚買ってすこし
へこんでいるところです。QLE7240カード表面にPilotと印刷されて
いてESみたいなものかと懸念しております。自分の直結環境は
AMD Athron64 +5200, 2GB RAM
Pentium G6950, 13GB RAM　です。

535 ：不明なデバイスさん：2012/06/17(日) 14:18:56.56 ID:diRcmTfD.net

>>533
ごめん、書き方悪かった。
SRP接続だとパフォーマンスでてるけど、Windows　2012のSMB3.0だと思ったほどパフォーマンスが出てないって意味でした。

>>534
Qlogicの新しめ(QLE72x0以降)のは、Linuxしか対応してないことになってるけど、
Windowsでも動くか知りたくて買ったヤツだけど。
Linuxで直結対向はWindowsのConnectXで試してみるよ。
とりあえず、すぐに構築出来る環境がそれしかないのでｗ

536 ：不明なデバイスさん：2012/06/22(金) 01:19:26.44 ID:Ascd2CcI.net

Mellanox の vSphere 5.0 用ドライバ出てた。
Supported HCA が ConnectX-2 以降...。

537 ：不明なデバイスさん：2012/06/22(金) 06:33:04.21 ID:nZTXIgHq.net

>>536
しかも
SRP is not part of the ESXi 5.x driver package

538 ：不明なデバイスさん：2012/06/22(金) 12:07:55.12 ID:57jxKXOd.net

>>534

環境作るのに手間取って遅くなって申し訳ない。
QLE7240(CentOS 6.2 + Qlogicのドライバ) - ConnectX(Windows7 WinOF 3.1)でiperfしてみた。
とりあえず、チューニング無しでやったら言ってたみたいに2Gb/s位しかでなかったけど、Windows側を
ConnectModeに変更して、iperfのバッファサイズを両方1MBに上げたら、8Gb/s位まで上がった。
しかし、何故かLinkが10Gでしてて弄ってもLink速度上がらなかったので、MellaoxとQlogicの直接
接続だと何かまずい事があるのかも

>>536,537

出る出る詐欺はやっと終わったのかｗ
うへ、サポートのHCAがConnectX-2以降の上に、SRPサポートが無くなったって使うメリットが
全くないじゃないか。つか、うちはSRPで構築してるから洒落にならん orz

539 ：不明なデバイスさん：2012/06/22(金) 12:16:38.71 ID:wrRXh6HP.net

>>536-537
( ﾟДﾟ)

ESXiで楽してたけど、まじめにKVMへ移行するかなぁ
ちょっくら週末に試してから決めよう

540 ：不明なデバイスさん：2012/06/22(金) 17:14:29.75 ID:57jxKXOd.net

ESX5用の環境作ってInfiniBandのカードが動くか調べてみた。
ConnectX(MHQH19-XTC)は一応動作したね。
追試で、ConnectXのMHGH28-XTCとかを、動作確認してみるわ。

ただ、InfiniHostIII(MHES18-XTC)は認識すらされない orz
完全にInfiniHostは切られたと思って間違いないかと。

541 ：不明なデバイスさん：2012/06/23(土) 21:25:15.76 ID:lOpklH/j.net

>>538
追試ありがとうございました。チューニングすれば8Gb/secまで上がるので希望が
持てました。:-)
あれから施行したこと、1)ケーブルの交換2)ifcfg-ib0にCONNECTED_MODE=yesと
MTU=65520を追加。3)/etc/infiniband/openib.confのIPOIB_LOAD=yes,
SET_IPOIB_CM=yesなどの設定をしていますが、相変わらず1.5Gb/secの状態です。
ibdiagnet, ibv_devinfoなどでみているところです。CPUがpoorなんで、それが原因か
もしれませんがもうちょっと粘ってみます。
/etc/modprobe.d/のib_qib.confとかib_ipoibあたりが関与しないかなー。根本的な
ところで間違っているような気がします。

542 ：不明なデバイスさん：2012/06/24(日) 00:37:21.03 ID:A42m4GH2.net

>>540
公式な supported じゃないとはいえ、Connect-X が動く報告があって安心した。。
自分の環境(MHRH19-XTC)でも試してみます。

543 ：不明なデバイスさん：2012/06/24(日) 21:08:34.05 ID:xvp4a6QH.net

>>541
やっと解決しました。538さんができているので自分もきっと解決できると
信じて（ちょっと大げさかな）、ユーザーマニュアル、インストールマニュ
アルを読んでいました。ipath_pkt_testなるコマンドがあって、

[root@centos62641 ~]# ipath_pkt_test -B
Buffer Copy test: 1487 MB/s
対向のホストは
[root@centos62643 ~]# ipath_pkt_test -B
Buffer Copy test: 168 MB/s
と異なる値。箱をあけてみると、なんとPCI-Eのx2レーンのスロットに
さしていました。差し替えて、iperfしてみたら、7.78 Gbits/sec。ヤタ。

なおQLE7240のMTUは4096、connected　modeがデフォルトです。
マニュアルにはBIOSなど細かい調整方法が書いてあって必読です。

544 ：不明なデバイスさん：2012/06/24(日) 23:40:29.31 ID:gJDfEebJ.net

>>542

ちょっと色々追試してたんだけど、結局ESX5でConnectXは駄目だった。
540で試してたときは、スタンドアロンで認識してたのでいけたと思ったんだけど、
実環境へもっていって、スイッチをかました状態でテストしたら下記のような状態で動かず。

ログを確認するとドライバ認識してるんだけど、SMへ登録できないみたい。
SM動かしてるサーバ上で、iblinkinfoで確認したところInitialiseで止まってて、
そこからSM再起動したりしてみたけど、LinkUpしないですわ。

予想だけど、ConnectXで動かないからここまでドライバ出すの引っぱったのかなーと勘ぐってみたり。

545 ：不明なデバイスさん：2012/06/24(日) 23:55:55.67 ID:gJDfEebJ.net

544へ追加
ConnectX2だと、普通に認識してLinkUpするところまで確認。

>>543
原因がわかってよかった。
ちゃんとパフォーマンスでてるみたいですね。
あと、ibstatでRateが幾つで繋がってるか確認してみるのがよろしいかと。
うちのテスト環境だと10だったのでDDRでは繋がってないんです。
追試で、DDRのスイッチへ接続してちゃんとDDRで接続できるか確認してみます。

おまけ
ESX5のドライバが残念な事になってるので、XenServer 6.0.2で使えるか試してみた。
OFED 1.5.4.1をXenServerのDDK上でコンパイルしたら普通に認識してくれた。
OFED 3.2RC1だと、BackPortの部分でこけてしまいコンパイルできなかった。
XenServer自体がRHEL5.5のi386がベースらしく、必要なパッケージをいくつか入れてやらないと
駄目なんでちょっと手間かかるけど動作しますよって事で。

546 ：不明なデバイスさん：2012/06/25(月) 21:54:45.24 ID:kgWeFQp8.net

>>545
基本的なところで間違ってお恥ずかしい。おかげさまでSDRなみの速度はでる
ようになりました。ibstatでは、Rate: 20とでるので一応DDRで接続できているの
でしょう。　しかし# ibdiagnetでは、
抜粋
-I---------------------------------------------------
-I- IPoIB Subnets Check
-I---------------------------------------------------
-I- Subnet: IPv4 PKey:0x7fff QKey:0x00000b1b MTU:2048Byte rate:10Gbps SL:0x00
-W- Suboptimal rate for group. Lowest member rate:20Gbps > group-rate:10Gbps
と、10Gbpsに落ちていました。MTUも2048Byte。　(・o・)

DDRスイッチにつながないとDDRの速度がでないとか説明があったけど、あれはSDR
のスイッチにつなぐとSDRに律速するという意味だと思った。しかし、ひょっとするとこの
HCAにはDDRのスイッチがないとDDRの速度がでないのだろうか。悩みは続く。

547 ：不明なデバイスさん：2012/06/26(火) 13:01:30.60 ID:b2yhPPEO.net

さくらのクラウドはInfiniBandの問題っつーよりSun ZFS Storage Applianceの問題だったみだいね
http://www.publickey1.jp/blog/12/post_203.html
http://www.publickey1.jp/blog/12/post_204.html
http://www.publickey1.jp/blog/12/post_205.html

OpenIndianaでストレージ鯖立ててる身としてはZFS自体の問題なのかSolarisの問題なのかを
はっきりして欲しいところだけどまあスレチなのでこの辺で・・・

548 ：不明なデバイスさん：2012/06/26(火) 16:08:26.95 ID:IYxmqvLg.net

やっぱりZFS Storage Applianceの問題だったのか

先行事例なさそうだし日本ボラクルが窓口で問題解決できるの？
とか悪い予想してたら当たってしまったｗ

549 ：不明なデバイスさん：2012/06/27(水) 14:26:02.26 ID:V2ojzOad.net

NFS over IP over Infiniband、って時点で突っ込みたくなった。
素のSRPはともかく、FCoIBとかじゃないんだ。

550 ：不明なデバイスさん：2012/06/27(水) 14:35:26.55 ID:V2ojzOad.net

ICMP pingについて。IPoIBはSMでdiscoveryして経路設定するから、ICMPとか都度コネクション生成するようなのは
負荷高くなるんじゃないかな。
＃discoveryや経路設定の中央集権（通常のetherはARPで分散型）は最近の流れだけど、スケーリング的には善し悪しですね。

551 ：不明なデバイスさん：2012/07/01(日) 14:40:27.07 ID:aLEvyHdV.net

Infinibandの値段もずいぶん下がっていたんですね。このスレではじめて知りました。

ところで、Server(Windows)側にRAMDiskを構築し、10GbEのIntelNIC経由でiSCSI Bootを使ってClient側のOSを
RAMDiskから立ち上げようと思っているのですが、IBでも同様にBootさせることは可能なのですか？

552 ： ◆GHONBEsd/2 ：2012/07/01(日) 15:36:04.50 ID:zbHO4m5t.net

>>551
Client側のOSがなんであるかにもよりますが、
MellanoxWinOFでは、IPoIBでのiSCSI bootは相変わらず非サポートみたいです。
http://www.mellanox.com/related-docs/prod_software/MLNX_VPI_WinOF_Release_Notes.pdfの
10ページ目にnot functionalと記述されています。
WinOF3.0で検証したときはIPoIB経由のブート中にBSODでした。

553 ：不明なデバイスさん：2012/07/01(日) 16:02:19.09 ID:aLEvyHdV.net

>>552
早速のレスありがとうございます。
ClientもWindowsを検討しております。
Server側OSをlinuxにすれば解決する？かもしれませんね。
一度、メーカーなどにも問い合わせてみようと思います。貴重なご意見ありがとうございました。

554 ：不明なデバイスさん：2012/07/05(木) 20:08:14.02 ID:LvUxr5Qr.net

>>553
Server側がLinuxで良ければ、おっしゃるようなWindowsのramdiskからのBoot over IBが可能です。
RDMAが効けば、速度面も10GbEでの一般的なiSCSIより期待できます。

1) Server側にIBドライバ（例：Mellanox OFED）をインストール
2) Server側にSRP Target（例：SCST）をインストール、ramdiskをTargetに設定
3) Server側でDHCPサーバ（例：ISC DHCP）を立てる
4) Client側にIBドライバ（例：OFED for Windows）をインストール
5) ClientのWindowsイメージをServer側のramdiskへ転写、HCAのromをブート用に構成

簡単にやるならこんな手順でしょうか。詳細が必要でしたら追記します。

555 ：不明なデバイスさん：2012/07/06(金) 13:30:31.55 ID:RczeAfjz.net

>>554　横からすみません。
私もWin7Pro 64bitをSRP Target(SuSE or CentOS)から起動させようとしています。
参照する環境は>>525,528でよいですか？

ClientからSRP TargetへのOSインストールは失敗するので、
先にHDD/SSDにインストール->イメージをddという流れだと予想していますが、
以下を教えていただけないでしょうか。

　・ディスクからブートしている時点で入れておくべきソフトとバージョン、設定(IPoIB等)
　・鯖のdhcp.confの具体的設定(ib_srp以外にもkeep-sanいるのか等)
　・WindowsのディスクイメージのSRP Targetファイル化方法
　　(HDDの方が大きいので、単純なddだとRAMディスクに収まらない)

556 ：不明なデバイスさん：2012/07/06(金) 20:27:50.97 ID:47Kop7m/.net

>>555
環境は>>525,528のとおりです（正確にはCPUをCore i7-3930Kに変更しました）。

>・ディスクからブートしている時点で入れておくべきソフトとバージョン、設定(IPoIB等)
(1)OFED for Windows 3.1 （Setup時にSRP install を選択）
(2)sanbootconf 1.1.1
の２点です。IPoIBはconnected modeを有効にした以外は変更していません。

http://www.openfabrics.org/downloads/Windows/latest/Win7-or-Svr_2008_R2-or-HPC_Edition/OFED_3-1_win7_x64.zip
https://git.ipxe.org/release/sanbootconf/sanbootconf-1.1.1.zip

>・WindowsのディスクイメージのSRP Targetファイル化方法
自分は60GBのSSDにWindowsをインストール後、その全体をddでイメージ化しましたので
あいにく実体験ではありませんが、下記を参考に、Windowsインストール時に例えば30GBの
パーティションをHDDから切り出しておく方法でいかがでしょうか。

http://etherboot.org/wiki/sanboot/win2k8_physical
http://etherboot.org/wiki/sanboot/transfer

・dhcp.confの件はレスを分けます。

557 ：556：2012/07/06(金) 22:55:45.80 ID:47Kop7m/.net

・dhcp-client-identifierの末尾を、Initiator側のGUIDに置き換えてください。
・root-pathは"ib_srp::::dgid::service_id::id_ext:ioc_guid"で、それぞれTarget側のibsrpdmの結果と置き換えてください。

#cat /etc/dhcp/dhcpd.conf
ddns-update-style none;
ddns-updates off;
allow booting;
allow bootp;
option space ipxe;
option ipxe.keep-san code 8 = unsigned integer 8;
option ipxe.no-pxedhcp code 176 = unsigned integer 8;

shared-network "flexboot_network" {
subnet 192.168.0.0 netmask 255.255.255.0 {
option dhcp-client-identifier = option dhcp-client-identifier;
option subnet-mask 255.255.255.0;
next-server 192.168.0.50;
always-broadcast on;
range dynamic-bootp 192.168.0.51 192.168.0.52;
}
}

host host1 {
fixed-address 192.168.0.51; # the IP address to be assigned to the client
filename "";
option dhcp-client-identifier = ff:00:00:00:00:00:02:00:00:02:c9:00:00:02:c9:03:00:2f:XX:XX;
option root-path "ib_srp::::fe800000000000000002c903002fXXXX::0002c903002fXXXX::0002c903002fXXXX:0002c903002fXXXX";
option ipxe.keep-san 1;
option ipxe.no-pxedhcp 1;
}

558 ：556：2012/07/06(金) 23:06:45.52 ID:47Kop7m/.net

・念のため、SCSTの設定です。
・TARGETの部分は、scstadmin -list_targetのib_srptの結果と置き換えてください。
#cat /etc/scst.conf
HANDLER vdisk_fileio {
DEVICE disk0 {
filename /tmp/windows7.img
}
}

TARGET_DRIVER ib_srpt {
TARGET 0002:c903:002f:XXXX {
LUN 0 disk0
enabled 1
}
}
少しでもご参考になれば良いのですが。

559 ：不明なデバイスさん：2012/07/06(金) 23:32:48.64 ID:RczeAfjz.net

>>556-558
設定丸々ありがとうございます。
wikiも参考にしつつ、休日使って構築してみます。

560 ：555：2012/07/08(日) 16:35:29.53 ID:TBXlFj1L.net

>>556
おかげさまでRAM上のSRP TargetからWin7がbootできました！
ありがとうございました。

ほとんどつまづくところはありませんでした。
強いて書くとしたら、SCST(srpt)のmake前に、
きちんとREADME.ofedを読んでおくくらいでしょうか。

561 ：556：2012/07/09(月) 20:07:38.07 ID:bKS71sXG.net

>>560
うまくいったようで何よりです。

もし良かったら、逆にIB StackとSCSTの導入について教えてください。
自分自身、Mellanox OFEDを使わないで素のOSの状態から最新のOFA OFEDとSCSTを
導入する手順を詰めきれずにいます。

562 ：555：2012/07/09(月) 22:31:21.71 ID:thMTPY1W.net

>>561　私の手順です。参考になれば。
OSはCentOS6.2のDesktopインストールからスタート。
基本的にSCSTのsrptディレクトリの中のREADME.ofedに従っています。

・準備
rm -rf /lib/modules/$(uname -r)/kernel/drivers/infiniband　(怖いのでmvで逃がした)
rm -rf /lib/modules/$(uname -r)/kernel/drivers/net/mlx4　(そもそも存在しなかった)
　cd /lib/modules/$(uname -r)/build
　patch -p1 < ${SCST_DIR}/srpt/patches/kernel-${KV}-pre-cflags.patch　(kernelバージョンに合わせて指定)

・OFED(1.5.4.1)
　srpt=nを書いたconfファイル(その他y/nはREADME.ofed参照)を作り、./install.pl -c ofed.conf
　足りないと言われるパッケージはyumで追加

・SCST
　make scst iscsi srpt scstadm; make scst_install iscsi_install srpt_install scstadm_install

こんな感じでmake/installは終了。後はscst.confとか書けば動きました。
README.ofedに従うとibstat等のツールは作られないので、
後からOFED展開した中にあるsrpm使って作ってやらないとならない(rpmbuild --rebuild)と思います。
他のコマンドでも最低限のチェックはできるため、まだ試していませんが。

563 ：不明なデバイスさん：2012/07/10(火) 16:48:35.44 ID:PMbc7shq.net

tmpfs(ramdisk)並のスピード、でもディスクにも保存、とかいうのを実現したい場合、
仮想ディスクより多くのメモリを積んでおいて、起動時にddで空読みしてキャッシュさせればOK？
それともそれ目的のfs/moduleがある？

564 ：483：2012/07/10(火) 21:19:06.34 ID:hak1uTFD.net

　483でSRPの紹介してからの経過ですが、いまのところ順調です。
ESXi 4.1 u1: Intel 9550, 8GB DIMMからIntel i7 2600、DIMM 32GBへ変更
して、SRP targetで試験運用しています。IPoIBよりサクサク、機敏で気分
いいです。調子にのってもう一台SRP targetを接続しました。しかしESXi側
で認識しません。追加のdatastoreが作れません。これって仕様？
ESXI4.1u1のホストにHCAを2枚さしてそれぞれをCentOS6.2ベースのSRP
targetへつないでいます。これができるとdatastore間のファイル転送が早
くなるのでうれしい。

565 ：556：2012/07/11(水) 19:46:37.39 ID:Fjsb51m4.net

>>562
大変ありがとうございます。詳細に助かります。
週末にもCentOSインストール後、素の状態から始めてみます。

566 ：不明なデバイスさん：2012/07/11(水) 20:55:53.80 ID:eMf5rRgh.net

0Gのスイッチを探している人がいるかどうかわからないけど
個人輸入で安く買えそうなので、現状を参考までに

Mellanoxの8PortQDRスイッチが国内ではあまりに高いので、海外で
探していたところ、代理店の直販サイトが国内の半額くらいだったので
日本への発送が可能か聞いてみたところ可能とのことだった。

IS5022が国内だと27〜8万のところ14万くらい、関税は0なので国内の税金5%&がかかる
送料はものによるが3kgで大体2万くらい？（FEDEX）
SMはついてないのでなんか別の小型サーバか接続するサーバに
立てる必要ありだけどスイッチがあるので適当な小型サーバで立ててもOK

やり取りはすべて英語ですが、翻訳サイト活用でなんとかやり取りは
できています。
非常に丁寧に対応いただいています。
（時差があるので、夜中に送るとすぐ返信がくる）
ちなみに最初に英語あんまり得意じゃないです！って伝えた

詳細は次レスで

567 ：566：2012/07/11(水) 20:58:34.04 ID:eMf5rRgh.net

やり取り詳細箇条書きで

Colfax Direct
ttp://www.colfaxdirect.com/store/pc/home.asp

・サイトでユーザー登録することをおすすめ。
・カートに商品いれて注文するところは、普通の通販と同様
・支払いはクレジット可能
・住所の書き方は適当にぐぐれ
・FEDEXアカウントを取得しておく必要あり（DHL,UPSも可能だが高い）
・FEDEXアカウントは電話でカスタマーに電話して申込書を
　送ってもらう、それを送り返せば即日作ってくれる。
・クレジットカードが必要
・FEDEXアカウントナンバーを先方に伝える、これで送料関税等は代引での
　取引が可能
・そこまで進むとINVOICEとクレジットカード情報を記入するPDFが送られてくるので
　PDFを編集できるソフトなんかを使って内容を記述して送り返す。
・手書き署名が必要

今のところここまで進んでいます。ものが届いたらまた詳細報告します。
支払い情報を送ってから少し時間がかかっています。
ケーブルとか、カードもソコソコ安いのでおすすめかと、国内でもおそらく
企業向けの仕切りは安いのかもしれませんが、個人ではなかなかディスカウントは
効きませんから・・・

これでいけるかどうかはまだわからないので、続報をお待ちください。
質問あればどうぞ〜

568 ：566：2012/07/11(水) 21:12:40.28 ID:eMf5rRgh.net

Mellanox製品はグローバルでの保守契約ができるようで、RMAも行える
みたいなので、一番下の保守契約のブロンズも発注しました。
登録もJapanで可能となってるのでおそらくRMAは英語で自分で送る必要が
あるので手間ですが、�T年保証+延長4年で1万7千円くらい、国内だと年額
5万近く取られます・・・
こちらについても詳細わかったら追記しますね。
個人使用ならブロンズで十分でしょう。

569 ：不明なデバイスさん：2012/07/11(水) 22:06:21.75 ID:Fjsb51m4.net

>>568
Colfax Direct で先々月にケーブルの買い物しました。トラブル無しでちゃんと届きましたよ。
納期が少しかかりましたが、当然ながら在庫状況によるのでしょう。

保守契約には興味あります。詳細また教えてください。

570 ：566：2012/07/12(木) 04:04:03.06 ID:AYAPwKwU.net

>>568

おお、先にもうされてる人がいましたか、状況にもよると思いますが、
支払い情報送ってからどれくらいで発送されたか覚えておられますか？
一週間くらいは見たほうがいいですかね？

保守契約はちょっと不安ですが、Mellanoxはグローバルでのサポート
を行なっているというのを売りにしているみたいで、日本法人のサイトにも
そのような記載があります。
IBMやHPと同様保守パックという形で販売されているので、おそらく
証書をおもとに登録することで有効になるものと思われます。
対応は日本法人ではなくアメリカサイトでのオンラインでのRMA受付
もいけるようなので、おそらくは問題ないと踏んでいます。

どちらにせよ1万5千円足らずなので、ダメでもそこまで痛くないかなぁと
国内でも同じレベルでのサポートを受けていますが、ボリすぎですね・・・
ブロンズが年間5万近くかかりとなると5年で25万・・・1台保守用が買えるレベル。
経験上結局こういうベンダーは、最終的にメーカに丸投げにするので、
自分である程度出来る人は自分で問い合わせたほうが早いことが多いです。

むしろここで聞いたほうが早かったり・・・

571 ：sage：2012/07/12(木) 13:38:17.58 ID:il6QXaq1.net

お前いらない

572 ：不明なデバイスさん：2012/07/12(木) 19:05:43.12 ID:AYAPwKwU.net

>>571

わかった

573 ：不明なデバイスさん：2012/07/12(木) 19:18:34.58 ID:AYAPwKwU.net

sage忘れてた

574 ：不明なデバイスさん：2012/07/12(木) 19:23:59.85 ID:JHFRU+6f.net

>>570
> 支払い情報送ってからどれくらいで発送されたか覚えておられますか？

２週間かかりました。
１週間経過時点で問い合わせたところ「メラノックスに確認してみる」と
返信がありましたから、在庫は持っていなかったようです。

575 ：不明なデバイスさん：2012/07/26(木) 12:33:35.97 ID:uLURu+/D.net

XenServerでOFED動くか試してたのの結果報告。

結果から言うと、OFED 1.5.4.1をコンパイルしてやればSRP Initiatorまでは動きました。
XenServer用のDDK落としてきてインストールしてやり、その上でOFEDをコンパイル。
コンパイル用にいくつか足らないパッケージがあるので、それをCentOS5 i386のRepoから拝借してきてインストール。
できたパッケージを、XenServerのコンソールでインストールしてやればOK。
OpenSMとSRP Initiatorの動作は確認。SRP使ってSR作成できるところまでは確認した。

あと、Ubuntu12.04でOpen-iscsi使ってiSER接続も確認。
こっちはKVMのテストがてらやってみたんだけど。
debian OFEDから1.5.4のパッケージのソース取ってきてインストールしてやったらiSERは一応動作した。
iSER動作させるだけなら、特にOFEDのパッケージインストールする必要はないかも。
IPoIBでTCP接続に比べて、300MB/s -> 600MB/sくらいに速度が上がった。

どちらも、ストレージ側のOpenIndianaのpoolがボトルネックになってるので、そこを速度アップしないと
これ以上の速度アップは望めない状態。

576 ：不明なデバイスさん：2012/07/26(木) 12:45:00.10 ID:uLURu+/D.net

上のに追記。

なんでテストしたかってと、ESXi5だとInfiniHost系が切られちゃってるので、他の仮想化環境で使えるか
試してみたかったからやってみたんだけど。
少なくとも、Linuxがベースの物はmthcaが動作するのでそれを使ってやれるってのが今回の実験結果でした。

次はWindows 2012でConnectX使ってHyper-Vのテストやってみます。
RDMA　CIFSで共有かけてLiveMigrationとか試してみたいのでｗ

577 ：不明なデバイスさん：2012/07/26(木) 12:51:09.22 ID:uLURu+/D.net

566さんの直接購入って方法もあるけど、英語でやりとりするのが面倒って人は個人輸入代行使うってのもありかな。
大体手数料として10%くらい上乗せ+送料って感じでいけるかと。
輸入代行だと、国内までの送料が大分安くあげれるので、トータルだとあんまり金額は変わらないと思う。
ただ、保守が乗っけられるかがわからんけど。

578 ：不明なデバイスさん：2012/07/26(木) 21:22:31.80 ID:WGcIiuKZ.net

>>576
MLNX OFED for server2012はやっぱりInfiniHostはちっとも認識されなかったです←あたりまえ
ESXiとかxenはPCIe passthruがあるから親が対応してなくても対応してる仮想OS持ってくれば動かせる可能性あるけど、
server2012は対応してないからなー。

579 ：不明なデバイスさん：2012/07/27(金) 00:14:19.53 ID:pEcPiSZa.net

>>578
でも、IBなんて広帯域のバスを使いたいのはホストのIOだから、
VM上だけで動いてもなんも嬉しくないというか、
ほとんどんの場合意味が・・・

2012の方は、SR-IOVに対応してきたから、
HBAが対応してくれば、複数のVMからほぼネイティブな性能を得られるから、
その点は、現状のESXiより優れてると思う。

580 ：不明なデバイスさん：2012/07/27(金) 12:52:27.83 ID:3UadAdS1.net

SMB over RDMAがどの程度出るか遊んでみたかったんだけどね＞MLNX OFED
rdma前提ならInfinihostで動いてくれたっていいのに。

581 ：不明なデバイスさん：2012/07/27(金) 19:54:43.49 ID:QmjfUt90.net

>>575
凄いですね。なんて濃いスレでありがたいことでしょう。

iSERのTargetは、tgtとMellanox VSAくらいしかないのかな。
某勉強会でVSAの管理画面だけ見せてもらったが個人には雲の上そうで。

582 ：不明なデバイスさん：2012/07/27(金) 21:19:48.85 ID:tEeC1KCT.net

>>578
InfiniHostはEOLになっちゃいましたからね。
ConnectX以降って制限が意外ときついです。
ESXi5でConnectX-2以降って制限がかかってるので、ConnectXも何時までサポートしてくれるのか不安ではありますね。

>>579
Windows Server 2012もSR-IOV対応ですけど、Linuxでもサポート進んでるみたいで、Kernel 3.5でサポートが入るんじゃないかと。
linux-rdmaのMLを見てたら大量にパッチがでてましたので。KVMとかXenでもいけるようになると思います。

>>580
環境用意するのが大変なのが。
InfiniHostがいければ、イニシャルコスト落とせてありがたいんですけどね。

>>581
Mellanoxが前からSRPのサポートは止めるって公言してたので、仕方無く移行先の環境の検証をしてみた感じです。
うちのiSERのTargetはOpenIndianaです。
Linuxだとtgtになっちゃうんですか。MellanoxのVSAはtgt使ってるんじゃないかと思います。
VSAはFastcache + DRDB + tgtのカスタマイズ品に、Utility載っけてる感じなのかな〜と思ってますが。
個人で触ってるだけなので、VSAなんてとてもとてもｗ

FreeBSDも9.1でCTLってレイヤが出来たので、iSCSIとかSRPのサポートが比較的楽に出来そうな環境になりつつありますけど、
もう少し時間がかかるのかなー。

FCoEの環境も構築できたのでそっちも試してみたいんですが時間がｗ

583 ：不明なデバイスさん：2012/07/29(日) 22:14:05.29 ID:tItsHmBE.net

＞FCoEの環境も構築できた
mjd? すごすぎ。

584 ：不明なデバイスさん：2012/07/30(月) 19:58:26.40 ID:2Ff7vY1X.net

>>582
Mellanox VSAってそういう構成なんですね。

ちなみにRisingTide SystemsのRTS OSというのが中々使いやすくて
InfiniBand SRPのほかiSCSI、FC、FCoEのTargetになるんですが
中身はSLES11sp2＋lio でした。

585 ：不明なデバイスさん：2012/07/31(火) 10:13:56.54 ID:Y6zS0eYl.net

OFED3.1の配布msiをorcaでいじってチェックはずしてServer2012bに入れてIPoIB程度は使えることを確認しました＞InfiniHost
SMBoRDMAは、うーん、無理だろうなあ。

586 ：不明なデバイスさん：2012/08/09(木) 00:53:49.32 ID:MkoNp0NV.net

すみません。教えてください。
>>463>>464を参考にOpenindianaへOpenSMをインストールしようとしているんですが
どのバージョンのSunStudio12.1を入れればいいのでしょうか？

587 ：不明なデバイスさん：2012/08/19(日) 08:44:19.02 ID:uUyPva8e.net

>>586
>463さんの方法でできませんか。

588 ：不明なデバイスさん：2012/08/31(金) 13:54:40.29 ID:rKTiRpiU.net

ヤフオクのいつもお世話になってる人がSFS7000D売りに出してるなあ。もうSFF8470は見切ってしまわれたのか。

589 ：不明なデバイスさん：2012/09/02(日) 13:19:23.27 ID:fRMkSfMZ.net

海の外から700Ex2-Q-1（ConnectX-2 MHQH29B-XTRのOEM品）2枚を3万ちょいでゲット。
Solaris系だとまだOFED周りの準備が面倒そうなので、
半人柱方向で、FreeBSDのIBoIP上のiSCSIでESXiと繋げられるかどうか、
頑張ってみる。

590 ：不明なデバイスさん：2012/09/02(日) 21:15:53.78 ID:fRMkSfMZ.net

一応FreeBSD 9-STABLE+istgtでESXi5.0のiSCSIソフトウェアアダプタと接続出来た。
ESXi上のVMからRDMでBSDのmd0をistgtで公開してるターゲットへ繋げてCDMをテストした。
Readはともかく、なんかWriteが寂しいことに。
SRP使えないのが痛いぜ・・・

OIにOpenSM入れてテストしたいけど、コンパイルからっつーのが面倒だな。

-----------------------------------------------------------------------
CrystalDiskMark 3.0.1 x64 (C) 2007-2010 hiyohiyo
Crystal Dew World : http://crystalmark.info/
-----------------------------------------------------------------------
* MB/s = 1,000,000 byte/s [SATA/300 = 300,000,000 byte/s]

Sequential Read : 930.964 MB/s
Sequential Write : 159.334 MB/s
Random Read 512KB : 448.169 MB/s
Random Write 512KB : 278.414 MB/s
Random Read 4KB (QD=1) : 24.913 MB/s [ 6082.3 IOPS]
Random Write 4KB (QD=1) : 23.375 MB/s [ 5706.7 IOPS]
Random Read 4KB (QD=32) : 299.353 MB/s [ 73084.2 IOPS]
Random Write 4KB (QD=32) : 245.707 MB/s [ 59987.0 IOPS]

Test : 2000 MB [G: 0.8% (68.9/8189.0 MB)] (x5) <All 0x00, 0Fill>
Date : 2012/09/02 19:49:20
OS : Windows Server 2008 R2 Enterprise Edition (Full installation) SP1 [6.1 Build 7601] (x64)

591 ：不明なデバイスさん：2012/09/02(日) 21:21:40.40 ID:fRMkSfMZ.net

ちなみに同じVMから今使ってるFC targetへのテストだとこんな感じ。
targetはSoraris11 MEM 32G 接続は4Gb FC

ん〜・・・IBのWriteがもうちょい速くならないと、
FC 4Gbの方が、楽に性能出せるって事に。
こっち繋ぐだけで済むからなー。

-----------------------------------------------------------------------
CrystalDiskMark 3.0.1 x64 (C) 2007-2010 hiyohiyo
Crystal Dew World : http://crystalmark.info/
-----------------------------------------------------------------------
* MB/s = 1,000,000 byte/s [SATA/300 = 300,000,000 byte/s]

Sequential Read : 368.957 MB/s
Sequential Write : 303.013 MB/s
Random Read 512KB : 339.040 MB/s
Random Write 512KB : 270.316 MB/s
Random Read 4KB (QD=1) : 33.117 MB/s [ 8085.1 IOPS]
Random Write 4KB (QD=1) : 19.863 MB/s [ 4849.3 IOPS]
Random Read 4KB (QD=32) : 370.564 MB/s [ 90469.6 IOPS]
Random Write 4KB (QD=32) : 18.663 MB/s [ 4556.5 IOPS]

Test : 2000 MB [E: 57.4% (6168.7/10751.9 GB)] (x5) <All 0x00, 0Fill>
Date : 2012/09/02 21:15:05
OS : Windows Server 2008 R2 Enterprise Edition (Full installation) SP1 [6.1 Build 7601] (x64)

592 ：不明なデバイスさん：2012/09/07(金) 00:00:29.31 ID:c+Jir48n.net

>>590
ちなみにHCAはなんですか？

593 ：不明なデバイスさん：2012/09/07(金) 07:51:43.59 ID:DS6LYi1Z.net

>>592
>>589に書いてあるけど、MellanoxのOEM品。

594 ：不明なデバイスさん：2012/09/13(木) 06:17:42.83 ID:pnSIRLf4.net

>>590
ストレージネックじゃないの？
何やってるか分からないのでは。。

595 ：不明なデバイスさん：2012/09/13(木) 07:15:04.34 ID:2Ed8aOAj.net

>>594
先週は時間切れで、ざっくりそのあたりまでしか検証出来なかった。
BSDとESXiを直結してるんで、netperfも取りようがなかったし。
BSD機のスペック書いてなかったな。
HPのG7にE3-1240/MEM 16GiB
ここからメモリー8GiBをmd0で切り出して、テストした結果が>>594

ただ、iSCSI経由とはいえ、md0に対して>>594この値はちょっとね、
リードはそこそこいい値出てるんだけど。。。
istgt自体は10GbEでRW600MBを超えられる位の能力は有るはずなんで。

Conectx-2のファームもBSD側は古いまま(2.7.0)なんで、offloadは恐らく動いてないし、
今週末もうちょっと色々弄ってみる。
でも、BSD側のIBはぶっちゃけパラメーターほとんど弄れない？んで、
チューニングのしようも無いかも。

キャプって無かったけどATTOでもベンチは取ってみてて、
こっちだとMAX Readで1.5GiB　writeで800MiB位は出てた気がする。

596 ：不明なデバイスさん：2012/09/13(木) 10:18:12.01 ID:j2tnsU52.net

>>595

ESXi5だから、IPoIBでConnectModeが使えるのでそれを使って、FreeBSD側もConnectModeを有効にしてやれば
もう少しパフォーマンス出ると思う。自分はFreeBSDでIB使ってないから何とも言えないんだけど。
FreeBSDのistgtが、CTL対応してiSER対応になるか、もしくはNFSがRDMA NFS対応になるとパフォーマンス上がると思う。

うちだと、DDR接続のiscsiでOpenIndianaをTarget(RAM Disk)でLinux InitiatorでiSERつかって2GB/s近くでたような。
ESXi5だと、SRP削除されてるからRDMA NFS使うしかないんだけど、そっちは測ってないから何とも言えないんだよなー。
つか、ESXiは色々と微妙になってきてるので、IB使いたいから他のHypervisorに移行するつもりなので。

597 ：不明なデバイスさん：2012/09/13(木) 17:15:16.99 ID:2Ed8aOAj.net

>>596
あれ、ESXi5のIPoIBドライバー Connected Mode対応してたっけ？
Release NoteにはCMはむりーって書いてあった気がしたけど。。。
後で読み直してみるか。
RDMA NFSはまともに動いてる報告をみた記憶が。。。

今回のvSphere5.1 vs 2012 Hyper-V見るに、勢いはHyper-Vかなぁ、とは思う。
SMB Directも試してみるかなー。

598 ：不明なデバイスさん：2012/09/13(木) 20:19:35.10 ID:j2tnsU52.net

>>597

ごめん、ManualみたらUDのみサポートって書いてた。
どこで勘違いしたことやら…。

Hyper-V Server 2012は、もう出てるね。
日本語のサイトはエラーになるけど、英語サイトだとページがちゃんとあるし。
コンソールで管理か、Win8か、Win2012で管理ってのは仰々しいので、5nineのツールでいいかなと思ってる。

599 ：不明なデバイスさん：2012/09/16(日) 08:58:36.08 ID:TrRscT1e.net

SMB direct、Infinihost系でも使えんかなー。SOFS(SMB 3.0)上のvhdも試してみたいのに。

600 ：不明なデバイスさん：2012/09/16(日) 10:06:22.19 ID:hOa0Gxe5.net

SMB Directテストしようと思ってたけど、テスト出来るまともなストレージが無いので、おあずけ。
記憶域プールでお試しだけでもと思ったけど、パフォーマンスがあまりにもあれすぎて、
辞めた。

正直これから出てくる新しい事やろうと思うと、最低ConnectX-2以上を
持つしか無いかもねぇ、高いけど。
ConnectXですら、怪しいラインになっちゃってるし。
カード自体はebayで1port $150位？ただ・・・
スイッチは諦めざるを得ないかも。。。

601 ：不明なデバイスさん：2012/09/16(日) 11:49:23.78 ID:TrRscT1e.net

スイッチはいいけど、カードも1万超えると個人実験用にはなかなか、ねぇ。

602 ：不明なデバイスさん：2012/09/16(日) 16:56:09.15 ID:hOa0Gxe5.net

>>591こいつのOSをFreeBSD 9-PRに換えて、同じテストやってみた。
-----------------------------------------------------------------------
CrystalDiskMark 3.0.1 x64 (C) 2007-2010 hiyohiyo
Crystal Dew World : http://crystalmark.info/
-----------------------------------------------------------------------
* MB/s = 1,000,000 byte/s [SATA/300 = 300,000,000 byte/s]

Sequential Read : 745.893 MB/s
Sequential Write : 202.174 MB/s
Random Read 512KB : 642.518 MB/s
Random Write 512KB : 268.240 MB/s
Random Read 4KB (QD=1) : 22.020 MB/s [ 5375.9 IOPS]
Random Write 4KB (QD=1) : 19.750 MB/s [ 4821.8 IOPS]
Random Read 4KB (QD=32) : 192.159 MB/s [ 46913.9 IOPS]
Random Write 4KB (QD=32) : 22.640 MB/s [ 5527.4 IOPS]

Test : 1000 MB [E: 0.0% (0.7/10751.9 GB)] (x5)
Date : 2012/09/16 16:15:26
OS : Windows NT 6.2 Server Standard Edition (full installation) [6.2 Build 9200] (x64)

WriteはOSの特性かもなー。FC targetはOI使ってるけど、あっちは処理Kernelだし。
せめて4kmtuでも使えれば、もうちょっと良いのかもしれないけど、BSD側がなぁ。
OI上にSM立ててやった方が、速いかな・・・
OI上でのSubnetManagerコンパイルってどっかにまとまった情報ないかな？

603 ：不明なデバイスさん：2012/09/17(月) 15:00:31.14 ID:Lg7nOABX.net

SMってどこにあってもスピードにはほぼ影響しないと思う。

604 ：不明なデバイスさん：2012/09/17(月) 23:16:28.85 ID:/2xVCzNo.net

>>603
いやSMの場所じゃなくて、
OIのIBスタック+stmfのiSCSIの方が、恐らく速いかなと。
直結で相手がESXiだから、OIでSM動かさないと、リンクしてくれないじゃん。

605 ：不明なデバイスさん：2012/09/18(火) 12:27:07.15 ID:5/s2fFRK.net

>>600

Windows Server 2012はConnectXのドライバが標準で入ってた筈。
今検証環境がないから、試せないけど。
ただ、IPoIBだけでしか動かないじゃなかったかな？
Mellanoxが出してるドライバは、Ethも動くようにしてるドライバ+SR-IOV対応だと思う。

あと、スイッチはDDRだったらebayで24ポートのものが$500で出てるのがあるよ。
CiscoとFlextronicsの2種類でてる。ただ、CX4だから、QSFPのカードだとCX4-QSFPのケーブルが必要になるけど

606 ：不明なデバイスさん：2012/09/20(木) 21:18:09.53 ID:nyzewu3I.net

ありゃ？

607 ：不明なデバイスさん：2012/09/20(木) 21:49:59.60 ID:nyzewu3I.net

ConnectXもすぐdisconになりそうで手が出せないんだよなあ。やっぱりX2？
DDRのスイッチは持ってるのでCX4-QSFPのケーブルとあわせてポート単価最低2万円かあ。
今持ってるのが比較的安く手に入れられたものだし、２万も出すとE55xxの鯖買えちゃうから考えちゃうな。

608 ：不明なデバイスさん：2012/09/20(木) 23:32:43.44 ID:XdMXsCpD.net

>>607
SMB Directとか新しい事で遊ばないならXでもまだいけるんじゃないかな？ただ、QSFPモデルのが良いと思うけど。
Mellanoxドライバで切られても、OFEDに入っていれば使えるし。

これから出てくる新しい事で色々と遊ぶこと考えてるなら、
X2以上のが良いかなぁ。
ドライバで何とかなるレベルの違いじゃなさそうだしXとX2の差が。

609 ：不明なデバイスさん：2012/09/21(金) 13:42:00.45 ID:Sxg5Fch7.net

でも使われているチップってConnectXでもX2でも同じ、なんでしょ？（MHQAは除く）
X2は10GbeのSFP+DAをサポート、みたいに読める。
X3は明らかに違うチップみたいだけど。

610 ：不明なデバイスさん：2012/09/21(金) 16:09:13.28 ID:F953lT9P.net

>>609
基本設計は同じようだけど、チップそのものは別かな。
XとX2だと消費電力自体が変わってる。
シュリンクしたのか、物理設計を弄ったのかどっちかは知らないけど。

機能自体も、XだとUDPオフロードが出来なかったり、
X2はDCBに対応出来るけど、XはDCEだけだったりと、
細かいところで仕様に違いが有って、これがどうもチップの違いみたい。
というか、UDPのオフロードが出来ないから、それに関連するところで
違いが出てるんじゃ無いかと。

なので、XとX2見た目的にはほとんど変わらないけど、
製品としてははっきりとした違いがあるね。

611 ：不明なデバイスさん：2012/09/21(金) 16:31:08.91 ID:9/GU1DUz.net

メラのfirm downloadのページにPCI devidがあるんだけど、connectXとX2のQDR品比べると26428で同じだったりするんだよね。
だから同じなのかなあ、と。
もちろんブランドで機能に何らかの制限かけてあることに関しては異存はないんですけど。

612 ：不明なデバイスさん：2012/09/21(金) 17:25:41.87 ID:vuWYjKbs.net

>>611
CPUで言うところの、ステッピング変更みたいな感じかと。
デバイスIDは同じだけど、リビジョンまで一緒だったっけ？

613 ：不明なデバイスさん：2012/09/21(金) 17:33:34.75 ID:vuWYjKbs.net

あれだPSIDが違うわ。
ファームとかドライバは多分、こいつもこいつ見てる。

614 ：不明なデバイスさん：2012/09/21(金) 22:47:43.34 ID:/5pAb0UF.net

>>612
linuxでlspciするとわかるけど、RevAがConnectXでRevBがConnectX2だったはず。

615 ：不明なデバイスさん：2012/09/23(日) 03:00:16.85 ID:CfX7KLcy.net

やっとWindows Server 2012の検証環境できたので、ConnectX系のカードがどれだけ使えるか調べられる。
手持ちのMHGH28-XTCは、OS標準のドライバでIPoIBが動いた。
こいつが動くってことは、多分他のConnectX系のカードも動くと思われ。

616 ：不明なデバイスさん：2012/09/23(日) 07:32:47.61 ID:95xPUAUY.net

というころはSMBoRDMAを使うためにはIPoIBが必須(discoveryはIPoIBのIPアドレス経由)ということかな。

617 ：不明なデバイスさん：2012/09/23(日) 09:56:29.61 ID:QAjq1N6b.net

OI 151a5でopen-fabricsのコンパイルを試してるんだが、
どうもうまくいかない。
コンパイル自体は全部出来てるんだけど、
gmake publishだと最後にリポジトリエラー出るし、
installのみだと>>470と同じ状況で
components/open-fabrics/prototype/i386にインストールされちゃう。
componentsのビルドシステムと設定方法が理解出来ん。
何か設定が抜けてると思うんだけど、何が抜けてるのか、どこから調べりゃいいのか。。。
むーん。
これどーやったら、うまくいくの・・・・（泣

>>615
どっかに書かれてたけど、IPoIBだけなら、InfiniHostでも動いてたはず。
当然SMB Directはダメだったみたいだけど。

618 ：不明なデバイスさん：2012/09/23(日) 10:36:48.08 ID:CfX7KLcy.net

>>616
SMB over RDMA 試せる様にもう一台実験マシン用意するつもりなので、結果をお待ちを。
多分、その認識であってると思います。

>>617
その辺で参考になるのはilliumosのページかなー。
http://wiki.illumos.org/display/illumos/Building+with+illumos-userland
この辺参考にやってみるとか。すでに見てたらごめん。

MS標準のドライバでSMB over RDMAが動作するかチェックしたいんですよ。
InfiniHostは駄目なのはスレのちょっと前に出てたので、ConnectXの安いやつでどうなるか試してみようと。

619 ：不明なデバイスさん：2012/09/23(日) 11:45:20.19 ID:95xPUAUY.net

>>617
orcaでごにょってinfinihostにofedの入れたけど、SMBoRDMAは動かないと思って試してないというか、
RDMA経由でSMBが使われてるかどうかわからない、んだよね。
そういう意味でconnectxでの挙動がわかるとありがたい。

620 ：不明なデバイスさん：2012/09/23(日) 14:07:57.62 ID:95xPUAUY.net

メモ：ofed3.1を展開してmsiファイルをorcaで開いてlaunchconditionの該当行をdrop row。
なんとなくだけどWindows2012がRDMAで使うapiはDAPLなような気がするから、DAPLとIPoIBが入ってれば
実は動くのかもしれないです。

621 ：不明なデバイスさん：2012/09/23(日) 14:11:00.66 ID:95xPUAUY.net

Windows2012じゃねーよ。Server2012だよ。おっさん乙＞おれ

622 ：不明なデバイスさん：2012/09/23(日) 14:45:41.77 ID:95xPUAUY.net

メモ：www.openfabrics.org/resources/document-downloads/presentations/doc_download/222-microsoft-overview-of-rdma-on-windows.html
SMBDirectされるかどうかはnicドライバがNDKPIをサポートしてるかどうかか。

623 ：不明なデバイスさん：2012/09/24(月) 20:03:23.89 ID:UUPLKt8g.net

>>618
おー、ありがとー。
OIやillumosのコンパイル方法は結構出てくるんだけど、
componentの個別コンパイルの方法が、なかなか出てこなくて。

OI151a6上で、Open-fabricコンパイルとインストールまで出来たわー。
まだカード付けてないので、テストまでは出来てないけど、動きそう。
Kernel ABI Versionがあわねーぞ！とかエラー出てるけど、
これはカード付けてないせいだな、多分。
今度の週末にカード付けて、テストしてみるー。
ってのは良いけど、このパッチ、manifestにOpenSMの設定がなーい。
ので、自前で追加するか、マニュアルでinstallしないと。
後は、init.d周りも自前で準備しないとなのかな。

FreeBSD+IBの単純なパフォーマンスは悪くはないけど、
ZFSの読み書きが重なって負荷がかかったときの反応は、まだOIのが上だなー、さすがに。
OI+FCの時より、レスポンスが悪い。BSDのほうも10辺りでこの辺改善が入るらしいけど、
10-RELEASEなんて、まだ先出し、さすがにストレージにCURRENTは使えないｗ
後は、FreeBSDのOFEDがちゃんとメンテされていくかが不安なところかなぁ。
現状OFEDを力業で動くようにしましたって感じがするし。
IBのチューニングしようにも、インターフェースが無いというｗ

624 ：不明なデバイスさん：2012/09/25(火) 21:02:33.50 ID:nbxX8hZI.net

・・・QSFPって線引っ張ると抜けちゃうね。ラッチの意味ないような。うちの子だけ？

625 ：不明なデバイスさん：2012/09/25(火) 22:26:24.66 ID:q7HjFOrR.net

>>624
うまく刺さってないんじゃないかと。
ラッチがちゃんと引っかかってれば
引っ張ったくらいじゃ、あれは抜けない気が。

626 ：不明なデバイスさん：2012/09/26(水) 09:17:09.47 ID:TSa2aNpM.net

機構そのものは10gbe XFPと全く同じだね。ケーブル変えても同じだから本体側かあ。中古だけど安価に手に入れたからよし。
QSFPのケーブル、I2C付きとI2Cなしがあるね。なしでも問題なくリンクするけど。

627 ：不明なデバイスさん：2012/09/26(水) 09:26:13.73 ID:TSa2aNpM.net

メモ：members.infinibandta.org/kwspub/resources/QSFP-Cable-Implementation-Common-Mistakes-final.pdf

628 ：不明なデバイスさん：2012/09/26(水) 09:50:41.38 ID:TSa2aNpM.net

でコネクタ部よくみたら、ラッチ破損してた（w

629 ：不明なデバイスさん：2012/09/26(水) 09:53:07.19 ID:QTmfJO/d.net

>>626
前使ってた環境で、ラッチが中途半端にかかった状態で力任せに抜いたのかもね。
で、メス側の引っかかる部分なめたのかも。

630 ：不明なデバイスさん：2012/09/26(水) 11:38:41.73 ID:6yCGUHQy.net

SFPとかXFPとかファイバ付きのやつはファイバ抜かないとラッチはずせないの多いから破損わかるんだけど、
QSFPはわかりやすいタプついてるのになあ。まあ撤去屋さんにとっては抜ければどうでもいいのか。

631 ：不明なデバイスさん：2012/09/28(金) 11:25:06.79 ID:NkU1Rp1m.net

ConnectX[2,3]、QSFPケーブルが使われていくとして、InfiniHost
CX4ケーブルは廃棄されていくのかな。ebay半年みていると品数
が減ってきたように思う。

632 ：不明なデバイスさん：2012/09/28(金) 12:42:38.20 ID:vhd3R4KF.net

>>610
FirmのRelaseNote読んでて気づいたんだけど、ConnectX-2以降はSR-IOVに対応してたりで、
書かれてるようにConnectXとはチップ内部をかなり弄ってる気がする。

>>619
実験しようとしたら、実験マシン1のメモリが死亡してていまだ実験できず orz
直結でやろうとしてるんだけど、実験マシン2でRAM Diskのパフォーマンスが全く出なくてそっちの原因も追っかけ中です。
Xeon　E5-2620+DDR3 1333だから、30GB/sくらいメモリの速度は出る筈なのにMemtest86+でメモリの速度みると
10GB/sくらいしか出てないのですよね。確かにRAMDISK作って実験したら、2GB/sとかしか出てないので。

あと、無印ConnectX使ってWindows Server 2012でOpenSM動かそうと思い、MellanoxのWindows Server 2012用の
ドライバ類をインストールしたら、途中でエラーでこけるという症状が。

そんな状況なので前途多難です orz

>>631

CX4のケーブルのebayでの流通が大分減ってますね。
あと、ConnectX(1,2)系が大分安くなってきてる気が。

気になるのが、WIN_OFED 3.2でConnectXでもSMB over RDMA使えるようになるんだろうか？

633 ：不明なデバイスさん：2012/09/28(金) 20:40:41.47 ID:yJEos/vJ.net

CX4(SFF-8470)は10gbeでもSASでも使われるし、淘汰まではいかないと思う。(SASはねじ式がほとんどだけど)
この前某オクで3mだが2000円で大量に出てたしね。

634 ：623：2012/09/29(土) 11:36:45.37 ID:5OlnIMzE.net

カード差してopensm叩いたら、core吐いてオチタorz
Solaris系でのSMはやはり敷居が高い・・・
コンパイルは出来てるんだけどなぁ。。。

635 ：623：2012/09/29(土) 15:09:26.31 ID:5OlnIMzE.net

出てたエラーはこんなの
>libibverbs: Warning: no userspace device-specific driver found for /sys/class/infiniband_verbs/uverbs0
OIなら"/devices/ib"を見に行かなきゃなのに、なんで"/sys"見に行っちゃってんだ・・・？
ソース見てもパッチはちゃんと当たってるんだが。。。
cなんて学生時代に基礎さらっとやっただけで、その後使ってないから、覚えてないよ！

てか、このスレに他に何人かOIでコンパイル試してた人いたよーな気がするけど、
動いてるんだろうか・・・

636 ：470：2012/09/29(土) 23:17:08.11 ID:t7QARQO2.net

>>635
　こんばんは470です。いや、もしコンパイルできたとしても障害対策できない
と判断してOIはやめました。ほんとはOIで行きたかったです。泣き、、。463さ
んには助言を頂いてありがとうございました。結局ZFS on Linuxで様子見て
います。これはこれでいいと思うのです。OIで挫折して、FreeBSDとLinuxを
比較するとLinuxの方がまだ、篤いようです。FreeBSDは疎な印象で、current
は追っかけていませんが、10系を待たないと実用にならないかも。
　ESXi4.1のSANとして使っていますが、HCAはInfiniHostです。SSDをいれて
補強していますのでしばらくはいけるでしょ。

637 ：不明なデバイスさん：2012/09/30(日) 00:35:44.60 ID:s4yf0m3y.net

>>636
なるほど。
こっちも、OIでSM建てるのはかなりあきらめ気味。。。
ただ、ESXiもストレージシステムとしては、FC or FCoEがメインで
IBはあまり力を入れてない＆今後のライセンスがちょっと。。。
ってのが有るので、Hyper-V他への乗り換えもまじめに検討しようかと。

ESXiがIBに力を入れられないのは、ベースになるOFEDがLinuxカーネルに
依存しすぎてて、コアに組み込むのが大変だからじゃないかと・・・
（せっかくESXiでLinuxのユーザーランド消したのにってところで）
OIやBSDへの移植でも、結局苦労してるのは、カーネルインターフェース周りっぽいですし。

638 ：不明なデバイスさん：2012/09/30(日) 00:47:55.41 ID:s4yf0m3y.net

MellanoxがESXi5.1の発表後すぐにIBIFのSR-IOV対応の発表をしたのも、
結局ESXi自体ではIBをまともに使えないからじゃ ないかと。
Mellanoxとしては、VM上で使ってももらえないと、
対ESXiでの商売がやりにくいんだろうなぁと、発表みて思ってみたり。
（あくまで個人的意見ですがｗ）
10GbEやCNA系のIFも当然SR-IOVに対応してる＆するでしょうけど、
すぐに大々的な発表したところは無かったとおもうし。

639 ：不明なデバイスさん：2012/09/30(日) 16:56:16.85 ID:q1AgKrFW.net

SR-IOVってNICとかIBAとかでは負荷低減需要＜仮想スイッチ需要、で流行らないような。

640 ：不明なデバイスさん：2012/10/01(月) 09:43:42.36 ID:xg1W/DsN.net

>>639
ESXi上で直接DCBとか、動かせないからじゃないかなぁ。
なので、SR-IOVで、VMから直接使ってもらうつもりなんじゃないかと。
ESXiのインフラとして、ENモードの10 or 40GbEだけじゃ、推しが弱いとか。

641 ：不明なデバイスさん：2012/10/01(月) 13:28:22.93 ID:egqmwt5p.net

10GBeだとSR-IOVは仮想スイッチと相反するし、いまひとつ利点が感じられないけど、
IBだともともとスイッチはおばかさん（w なんでSR-IOVでも十分利点があるか。

スイッチ、進化ないなあと思ってたらFabric Collective Acceleratorとかあるみたいだけどよーわからん。

642 ：不明なデバイスさん：2012/10/04(木) 09:34:30.70 ID:q8KSh1WI.net

OI上でOpenSMがうまく動かない事にカッとなって、vSphereからHyper-V 2012へ移行した、反省はしてない。
で、>>602と同じ事をやってみた。今回すでにデータが入っちゃってるので、全く一緒では無いけれど。

大分良い感じになってきた。てか、Hyper-VもVMがWindowsならかなり良い仕事するな。
WS2012のメラOFEDだとCMが使えない＆targetのFreeBSD側がUD modeで4k mtuを
使えないのでmtuは2044。これでtargetをOIに戻して、4k mtuで接続出来れば、Random 4KB辺りは
もうちょっと改善するかも？ZFS自体の能力はもうちょっと余裕有りそうなので。
シーケンシャルはそんなに変わらないかなぁ、多分。
今週末、試してみよう。

ちなみにHyper-VホストとiSCSIターゲットの間でiperfやってみたら、TCP Window 2MiBの状態で、10Gpbs弱だった。
もうちょっと出てほしいなぁ。

Sequential Read : 697.423 MB/s
Sequential Write : 406.635 MB/s
Random Read 512KB : 580.026 MB/s
Random Write 512KB : 393.651 MB/s
Random Read 4KB (QD=1) : 24.180 MB/s [ 5903.3 IOPS]
Random Write 4KB (QD=1) : 27.052 MB/s [ 6604.5 IOPS]
Random Read 4KB (QD=32) : 203.598 MB/s [ 49706.6 IOPS]
Random Write 4KB (QD=32) : 52.651 MB/s [ 12854.3 IOPS]

Test : 1000 MB [E: 45.9% (4932.4/10751.9 GB)] (x5)
Date : 2012/10/03 16:51:20
OS : Windows NT 6.2 Server Standard Edition (full installation) [6.2 Build 9200] (x64)

643 ：不明なデバイスさん：2012/10/04(木) 10:11:30.18 ID:cZXIsbOX.net

UDでmtu 2044なのはInfinihostIIIとかの制限じゃないの？（彼らはIBパケット2Kまで）
connectx系なら4Kまで設定できちゃうんじゃ？

644 ：不明なデバイスさん：2012/10/04(木) 11:36:27.21 ID:q8KSh1WI.net

>>643
FreeBSDにマージされてるOFEDは一応1.5.3ベースらしいから、
ConnectXで4k mtuを扱えるはずなんだけど、そのままifconfig ib0 mtu 4092とやっても
エラーで弾かれる。

で、色々調べていくと、どうもmlx4_coreに4k mtu使うぞってフラグをセットしてあげなきゃ
ダメみたいなんだけど・・・
FreeBSD側にそのフラグをセットする方法が、現状無いという。。。
Linuxで/etc/modprobe.conf辺りを使ってセットするパラメーターを
FreeBSDじゃ今のところ弄る方法がなさそうなんだよねぇ。
で、お手上げ状態。
FreeBSDのInfinibandは、とりあえず動くようになりました−！って感じかな、今は。

645 ：不明なデバイスさん：2012/10/04(木) 12:27:36.46 ID:cZXIsbOX.net

なるほど。sysctlでもだめそうですね。

646 ：不明なデバイスさん：2012/10/04(木) 12:31:42.39 ID:Bv7qllnj.net

>>645
ソースを見ると sysctl で設定できるように、変換のレイヤーがあるにはあるんだけど、上手く動いてないっぽい。

647 ：不明なデバイスさん：2012/10/04(木) 12:50:05.17 ID:cZXIsbOX.net

はー、msのセミナ用に時間あけてあったのに対応待ちで出かけられず、おじちゃんIBのスイッチに火いれちゃうぞ。

648 ：不明なデバイスさん：2012/10/04(木) 15:15:55.18 ID:3db+5b01.net

>>645
なので、ソースのデフォ値を弄って、
カーネルリコンパイルしてどうなるか、
試してみようかと。
上手くいったらラッキー、駄目だと完全に、お手上げ、開発の修正待ちかなぁと。

649 ：不明なデバイスさん：2012/10/05(金) 09:02:26.62 ID:kI4XMrAH.net

デフォ値修正を試したけど、ブートでカーネルが転ける。
やっぱBSDで4kは、まだ無理ぽいねぇ。

650 ：不明なデバイスさん：2012/10/05(金) 16:13:24.75 ID:qtgdw3kY.net

そうなんだ、残念。
しかしQDRの試験とかしようと思うとストレージのスピードとかいろいろ気になって出費がすごいな。

651 ：不明なデバイスさん：2012/10/05(金) 17:01:52.61 ID:XSHaOL9o.net

>>650
テストだけなら6GpbのSSDでRAID0組める環境あれば、まぁ、何とかなると思う。
もっと限定すれば、４GB位のRAMディスク作れれば。


そしてOI入れてみた。
#dladm show-linkprop
LINK PROPERTY PERM VALUE DEFAULT POSSIBLE
pFFFF.ibp0 linkmode rw ud cm cm,ud
pFFFF.ibp0 autopush rw -- -- --
pFFFF.ibp0 zone rw -- -- --
pFFFF.ibp0 state r- up up up,down
pFFFF.ibp0 mtu r- 2044 2044 2044

( ﾟдﾟ) ・・・(つд⊂)ｺﾞｼｺﾞｼ
(；ﾟдﾟ) ・・・(つд⊂)ｺﾞｼｺﾞｼｺﾞｼ
（；ﾟДﾟ） …！？

おぃ、Solaris 10から4k mtu使えるんじゃなかったのかYo！？
ぅー、どうしたものか。。。

652 ：不明なデバイスさん：2012/10/05(金) 17:36:54.84 ID:qtgdw3kY.net

RAMディスクでいくか・・・でも肝心のボードを手に入れないとなあ。
connectX:10GBASE-CX4にもなる。
connectX2:10GBASE-CX4の他、QSA利用等で10GBASE-SFP+にも対応。
connectX3:PCIe GEN3、40GBASE-QSFP+に対応。

653 ：不明なデバイスさん：2012/10/06(土) 01:22:43.93 ID:R47V3Mle.net

>>651
うちだとこうなってるけど、
pFFFF.ibp0 mtu r- 65520 65520 65520

OIのIBスタックって作りかけだから、試すならSolaris11の方がいいかも。
前にsunsolveで見たときに、Solaris11になるまでに相当IB回りに手が入ってた記憶が。

WindowsのOFEDでiSERのminiportドライバ用意してくれれば、iSCSIで十分パフォーマンス出るんだけどね。

うちは実験で、OIでRAMDSIK作ってそれをiSCSI iSERのTargetにし、
Linuxをinitiatorの環境作ってddでテストしたら800MB/s位で頭打ちになった
ddを4つ走らせると、3GB/s位まででたけど。

>>652
LinuxのKVMとXenで行くならInfiniHostでも十分いけるんだけどね。
WindowsやVMWareだと、ConnectX以降じゃないと駄目だからなー。

654 ：不明なデバイスさん：2012/10/06(土) 02:31:58.17 ID:YO6CoMgL.net

そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね　
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね　
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね　
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね　
そうかﾀﾋね
そうかﾀﾋね　
そうかﾀﾋね
そうかﾀﾋね　
そうかﾀﾋね
そうかﾀﾋね

655 ：不明なデバイスさん：2012/10/06(土) 03:31:10.73 ID:6h7fbKug.net

>>653
それ、CM modeだね。
うち、対向がWin Srv 2012で、まだCM対応してないんだ。
なので、UD modeなんだけど・・・
Solaris 10 10/9でUD modeの4k mtu対応って情報は見つかるんだけど、
設定方法が見つからない(´・ω・｀)
さくっとテストした感じだとやっぱ、iSCSIはカーネル処理してるSolaris系のが
良いね、特に小さアクセスは。
CDMの4kランダムQ32で、BSDだと200M位で頭打ちのところ、OIだと400M超えた。
まぁ、現状でもストレージの性能からすれば、悪くない値出てるし、不都合は無いんだけど。

やっぱ11かぁ・・・けどパッチは有償だし、常用の鯖としては、
あんま使いたくないなぁ・・・

656 ：不明なデバイスさん：2012/10/15(月) 13:05:22.10 ID:PlTz/tmm.net

やっぱりlinux+ZFSになるんじゃ（w

server2012の3-way mirror、5台以上なんていう奇妙な制限あるから実はraid6か、と思って試したけど、
やっぱり容量1/3になった。いらねー。

657 ：不明なデバイスさん：2012/10/15(月) 13:27:42.72 ID:zycq5SmK.net

split-brainを防ぐためにメンバの過半数が生きてないといかんからね

658 ：不明なデバイスさん：2012/10/15(月) 13:42:07.40 ID:PlTz/tmm.net

なるほど、そーいうことね。一旦死亡フラグ立ったら復活しないのかと思ってた。

659 ：不明なデバイスさん：2012/10/20(土) 22:45:37.89 ID:JpS8HpXc.net

結局、Solaris 11ではOpenSM動くのかな。

ttp://syoyo.wordpress.com/2011/12/13/opensm-on-solaris11-works/
っていう報告があるみたいだけど、スレでは盛り上がってないよね。

660 ：不明なデバイスさん：2012/10/20(土) 22:47:06.44 ID:2C+57N3U.net

>>659
Unfortunately, running opensm on OpenIndiana(Illumos) is not possible since there is no corresponding kernel driver(kernel component of OFED 1.5.3 Solaris port) on it at this time.

Oiで動き出せば多少状況が変わるんじゃね？

661 ：不明なデバイスさん：2012/10/25(木) 13:50:46.18 ID:BwYCFKPN.net

つーかスイッチが高すぎる現状ではQDRはなんとも。
connectX(2)をDDRで使う、というのが実用解としてはありなのかも。

662 ：不明なデバイスさん：2012/10/25(木) 14:51:26.41 ID:RXPxgTMt.net

>>661
8protなら個人でも手を出せない額じゃ無いけどな。

その金額をかけるかどうかは、別の話だけど。

663 ：不明なデバイスさん：2012/10/28(日) 20:30:57.41 ID:m4SqO96l.net

http://shop.maxserve.co.jp/shopdetail/030000000003/

在庫あるみたいです。

664 ：不明なデバイスさん：2012/10/29(月) 17:03:24.76 ID:+zaSs0jL.net

メモ：powershellから、get-smbservernetworkinterface、get-smbclientnetworkinterface。

665 ：不明なデバイスさん：2012/11/05(月) 13:25:04.79 ID:0k23buvP.net

server2012対向でRAMディスクの速度テスト。
サーバクライアントともdual X5570、Infinihost LX, DDR。(単位 MB/秒)
==CrystalDiskmark4000M====SR==SW===RR==RW==QD1=====QD32===
starwind ramdiskローカル直　3102 4211　3046 4152　902　851　826　790
CM, mtu=65520
　iSCSI vhd　　　　　　　　　　　 671　853　　560　605　　23　 24　 147　163
　親iSCSI vhdをhyper-vで　　 659　851　　551　605　　21　 22　 148　124
　SMBアクセス　　　　　　　　　 694　708　　625　631　　32　 32　 433　345
　hyper-vでSMB経由vhd　　　 653　678　　575　582　　23　 22　 114　112
UD, mtu=2044
　iSCSI vhd　　　　　　　　　　　 500　583　　453　446　　25　 25　 123　141
　親iSCSI vhdをhyper-vで　　 505　541　　443　436　　22　 22　 128　141
　SMBアクセス　　　　　　　　　 467　456　　447　422　　31　 33　 261　265
　hyper-vでSMB経由vhd　　　 474　443　　414　402　　22　 23　　95　 92
メモ
・winofed3.1入れるにはmsiファイルをorcaで開いてlaunchconditionの該当行をdrop row。
・IPoIBにエラーが出ているときは、ドライバの更新でmellanox版ではなくofed版を選ぶ。
・hyper-vでディスクに\\server\share\disk.vhd形式のファイルが指定できるようになったが、
　基本的にはマシン認証が行える場合、つまりActiveDirectory環境じゃないとだめ。
・AD面倒な向きは、サーバ側ローカルセキュリティオプションのセキュリティオプションで
　Everyoneのアクセス許可を匿名ユーザに適用 と 匿名でアクセスできる共有にshare名、
　でEveryoneにフルコントロール与えておけばとりあえず動く。
考察
・iSCSIはIPoIB層があるためDDRのスピードは出ない。InfinihostではSDRで十分。
・SMBでもInfinihostではRDMAが使えないため遅い。InfinihostにこそRDMAほしいぞ。
・一番の問題はIPoIBをhyper-vの仮想スイッチに入れても、hyper-vマシンから
　外にアクセスできない点。いわゆる「L3互換モード」になってない。
　昔はできてたような・・・

666 ：不明なデバイスさん：2012/11/06(火) 10:13:38.28 ID:rPx8QAOD.net

ちょっとつづきメモ。
・ちなみに素のスピードは、ibv_send_bw -aで測ると1463MB/秒、ibv_rdma_bw -c で測ろうとするとDPC_WATCHDOG_VIOLATION 。
・IPoIBスピードは、ttcp -n1048576で測るとCMで1082MB/秒、UDで777MB/秒。

667 ：不明なデバイスさん：2012/11/06(火) 15:42:16.01 ID:f7sLwn6+.net

>>665
検証乙。

sambaでSMB Direct使えるようになるともう少し変わるのかな。
それだったらvhdを置くHostに、InfiniHostが使えてもう少し幸せになれそうけど。
どちらにしろ、Hyper-V動かすサーバにはConnectX-2以降が必要って事にはなるけどね。

668 ：不明なデバイスさん：2012/11/08(木) 09:20:22.99 ID:7vwB2PNX.net

MSはSMBを他でやられるのをあまり快く思ってないからsambaでSMB Directは望み薄じゃないかなー。
winofedのドライバソースを眺めてみようと思ったらsvn反応ないんだよな。gitか何かに移行したのか？
いずれにせよメーリングリスト入らないとだめか。

669 ：不明なデバイスさん：2012/11/10(土) 14:52:54.56 ID:5Y/dAD0a.net

>>655
何が何でも無償じゃないとダメなら犬しかないんじゃね

670 ：不明なデバイスさん：2012/12/06(木) 14:49:24.61 ID:7PH1mk5l.net

Solaris 11.1 でtavorもEoFなのね。
まぁ、そもそもがメモリー付き限定だから、基本そんなに影響はないか。

671 ：不明なデバイスさん：2012/12/07(金) 10:28:01.11 ID:kCyuxBQ4.net

winofedマダー？ 4Q終わっちゃうよん。

672 ：不明なデバイスさん：2012/12/10(月) 10:00:55.65 ID:J0/vhk1O.net

UDしかできなくてQDRとかFDR使いきれるかな？
送る方はいいにしても、受信側がとんでもなくキツそうだけど。

Mellanoxのカード、Adaptive RX機能とかあるんだけど、手元のは
ENモードじゃないと有効にできないぽいんだよね。Connect-X3とかなら
できるんだろうか。

あと、Connect-Xだと割り込みラインが複数のCompletion Queueに別々に
あるんだけど、これは要するにSENDとRECVが干渉しないようにするだけで、
マルチコアでのマルチキュー受信機能はMellanoxのHCAにはないのかな？
やっぱりConnect-X3買え？

673 ：不明なデバイスさん：2012/12/11(火) 02:11:58.38 ID:upAyFH7G.net

Mellanoxの最新ファームって、ユーザ登録しないと落とせなくなってる？
Windows Server 2012用のMLX_OFED落として、ReleaseNote見るとConnectX-2の最新のファームと
普通に落とせるファームのバージョンが違うんで気づいたんだけど。

>>670
SunSolve見てたら、途中でtavorはEoFって書いてあったからねー。
tavor使いたい人はOpenIndiana使えば何とかなるけど、Oracle(DB)使いたいだと使えないし。

>>671
禿同。MLもなんか全然情報流れてないし、どうなってるんだろう？？

674 ：不明なデバイスさん：2012/12/11(火) 08:09:39.73 ID:AlR+xlwD.net

>>673
ファームはまだ2012専用みたいな位置付けだからじゃないかなぁ。
OFEDまだ来てないし。

675 ：不明なデバイスさん：2012/12/12(水) 13:19:28.24 ID:WKe0e4EG.net

やっぱりInfiniband、はじまる前に終わっちゃったか。

676 ：不明なデパイスさん：2012/12/12(水) 18:35:15.40 ID:9tRJe1BT.net

インフィニットバンドって今買うならConnect-X3のほうがいいの？

677 ：不明なデバイスさん：2012/12/13(木) 00:37:57.66 ID:W0GIvmba.net

>>675
始まってないから、終われない。
まぁ、そんな言葉遊びはともかく、
始まってないのは確かかも？始まりそうな気配は結構してるんだけど。

ただ、インフラとして、どこへ転ぶかは読めないなぁ。
IB or 10/40GbE・CNA or FC
どこへ転ぶにしても、更新時に総取っ替えにはなるから、

なんだかんだ言って、クライアントのサポート状況は多分10/40GbEが一番な気がする。
スイッチが高いけど。
IBはスイッチ含めコスト的には勝負出来るんだけど、クライアントサポートが
ネックになりそうな気がするんだよなぁ。
QlogicのIB資産買い取ったIntelがどこまで頑張るか。
FCはまぁ、無いと思うけど。

>>676
前半にはあえて突っ込まないが、X3買えるなら良いんじゃね？

678 ：不明なデバイスさん：2012/12/13(木) 10:06:14.86 ID:xEMo83SK.net

IBが技術的には一番いいと思うんだけど、旧製品をすぐに切ってしまったり、
openっぽいことをいいながらそうでなくなって来ている気がするんだよなあ。

679 ：不明なデバイスさん：2012/12/14(金) 19:00:14.68 ID:fdXpRevh.net

現状スパコン屋さんに売ってるものだから古い規格に価値なんてないんだろう

680 ：不明なデバイスさん：2012/12/14(金) 19:15:25.04 ID:SImd51iX.net

インフィニバンド の検索結果　約 20,800 件
インフィニットバンド の検索結果　約 570,000 件

681 ：不明なデバイスさん：2012/12/14(金) 22:20:45.24 ID:bP9BN4sb.net

世の中にどれだけアホが多いのかよく分かるな

682 ：不明なデバイスさん：2012/12/20(木) 09:11:41.25 ID:+xCiFrFi.net

　　　　　　☆ ﾁﾝ　　　　　ﾏﾁｸﾀﾋﾞﾚﾀ〜
　　　　　　　　　　　　　　　　　　　　　　　　ﾏﾁｸﾀﾋﾞﾚﾀ〜
　　 　 　 ☆　ﾁﾝ　　〃　 ∧＿∧　　　／￣￣￣￣￣￣￣￣￣￣￣￣￣
　 　 　 　　ヽ　＿＿_＼（＼・∀・）　＜　まだ〜？
　 　 　 　 　 　 ＼＿／⊂　⊂＿ )　　 ＼＿＿＿＿＿＿＿＿＿＿＿＿＿
　 　 　 　 　 ／￣￣￣￣￣￣ ／|
　　　　　　　|￣￣￣￣￣￣￣|　 |
　　　　　　　|　　愛媛みかん　|／

683 ：不明なデバイスさん：2012/12/20(木) 12:14:48.55 ID:ECJee4kH.net

>>681
いや、アフォはお前だからｗ
アフォはお前だからｗ

684 ：不明なデバイスさん：2013/01/09(水) 02:47:58.95 ID:JOHwlJgh.net

うーん、Q4,2012すぎちゃったけど、WinOFEDでてこないなー。
Betaすら出てこないとは。
WinOFEDで、ConnectXがサポートされるんなら待てるけど、サポート切られたな泣ける

685 ：不明なデバイスさん：2013/01/09(水) 10:59:14.70 ID:JcAsz2sX.net

NDKPIを入れ込むのに難航してるのかな。infiniband dayのほうが早かったりして。

686 ：不明なデバイスさん：2013/01/13(日) 22:53:07.78 ID:iEFbuR9c.net

OpenFabrics AllianceがForum以外に飛べないのはなんでだぜ

687 ：不明なデバイスさん：2013/01/13(日) 23:46:54.64 ID:DYaNkQQg.net

昨日ぐらいから。更新中？　と思ったけど　飛んだ？　というのもありがち。

688 ：不明なデバイスさん：2013/01/14(月) 23:23:53.36 ID:59silHaj.net

ConnectX-2のfirmwareは、Windows Server 2012のMLNX_WinOFインストール時に勝手に更新されるのね。
先にMLNX_WinOF入れてからカード差してたから気がつかなかった orz

あとうちであった事例だけど、PCIe Gen3のポートにConnectX-2のfirmware 2.9.100のカード差したら認識しなかった。
なので、PCIe Gen2のあるPCへ差し直して、2.9.1200へ更新してやったら認識した。
で、上記Windows Server 2012がPCIe Gen3だったのでドハマりしたよ。
前にあったのは、AMDのチップセットでFirmが2.6.0とか古いのだったときに同じような事あったから気づいたんだけど。

689 ：不明なデバイスさん：2013/01/20(日) 10:29:59.56 ID:7re8D9jW.net

ConnectX2同士を直結した場合は10G NICとしては使えないんですか？

690 ：不明なデバイスさん：2013/01/20(日) 16:13:32.20 ID:Y3VAJlZs.net

connectX2は10GBeに切り替えられるから10GBe NICの代わりになるけど、直結は動かないんじゃなかったかな。
理由はシラネ。

691 ：不明なデバイスさん：2013/01/20(日) 23:51:30.57 ID:DsuTrtDK.net

>>689

過去に試したとき(Firm 2.9.100)は駄目だった。
最新のFirmだとLinkUpするかもしれないけど、試せる環境がすぐにないので何とも。
ConnectX-2 ENでWindows Server 2012直結・Linux直結は動いたけど、これは参考にならんね。

692 ：不明なデバイスさん：2013/01/21(月) 00:41:34.06 ID:UrDtl6ha.net

直結問題ないよ

693 ：不明なデバイスさん：2013/01/31(木) 23:08:22.09 ID:DoQvcRsv.net

hyper-vホスト二台と共有ストレージ infinihost III二口をそれぞれに刺して三角形にしてlive migrationすると必ず失敗するな

694 ：不明なデバイスさん：2013/02/01(金) 21:13:26.42 ID:K+UhZ7GP.net

infinihostIIIだと別々のセグメントになるからじゃ？
なんとなくだけどIPoIBのインターフェースをbridge設定して、force compatibilityにして同じセグメントに入れれば
動くかも。
#infiniband day 06、面白かった。

695 ：不明なデバイスさん：2013/02/04(月) 14:51:04.30 ID:GrufH4Gk.net

メラノックスのIS5022で遊ぼうと思っているのだが、
こいつのPartitionKeyの最大数わかる人いますか。
HPの右にあるUserManyual読んだけどわからんかった。

VLAN関連がIBのPartitionKey使っているからSWのPartitionKeyの最大数
調べろみたいな記述を読んで探しているのですが、、、

696 ：不明なデバイスさん：2013/02/05(火) 20:03:01.27 ID:8Jhn9ai/.net

最近Infinibandを研究室に導入しようと調べてるんだけど、ちょっと動かしたとか性能測ったってネットでドヤ顔して晒してる自己顕示欲のかたまりみたいな方々が多いのな… 驚きました

697 ：不明なデバイスさん：2013/02/05(火) 20:13:36.68 ID:XQfGgpDR.net

人柱様になんて口の聞き方だ

698 ：不明なデバイスさん：2013/02/05(火) 20:29:59.38 ID:nzuj5V7j.net

だって他にやることないし

699 ：不明なデバイスさん：2013/02/05(火) 21:12:13.25 ID:YgPup+1D.net

ネットワークなんてそんなもんでしょ。
で、あなたは何をしてくれるの？

700 ：不明なデバイスさん：2013/02/05(火) 22:35:38.30 ID:xdIRjWYy.net

他人の趣味を否定するアホが涌いてるけど
自己顕示欲のカタマリってこういうアホのことだと思うんだｗ

701 ：不明なデバイスさん：2013/02/05(火) 22:45:07.54 ID:fvhdz1AM.net

やり方ググったけどまともに説明してるサイトなくて困ってます＞＜ってことでしょ

702 ：不明なデバイスさん：2013/02/05(火) 22:47:39.74 ID:JQpfxhN8.net

そんなレベルで研究室に導入とか大丈夫かな

703 ：不明なデバイスさん：2013/02/05(火) 23:27:08.32 ID:alkVnItT.net

>>696息してないwww
フルボッコ過ぎてワロタ

704 ：不明なデバイスさん：2013/02/06(水) 01:41:38.25 ID:yg8658Ol.net

それ以上書いて貰っても、専門的すぎて役に立たんと思うんだが
HPCでのベンチ結果なんて個人には意味が無い

705 ：不明なデバイスさん：2013/02/06(水) 09:32:26.20 ID:/8MaX4ao.net

個人だとSAN位にしか使い道ないしね

706 ：不明なデバイスさん：2013/02/06(水) 10:03:27.74 ID:ldvzEUoF.net

業務の結果公開しても、他にあてはまらないこと多いからねぇ。
>>705
業務でもほぼSANかバックアップ用回線では。結局、発見プロトコルにブロードキャストが必須なTCP/IPと
スイッチングファブリックは相性よくないんで、IPoIBで何でも置き換えられますよー、とはいかぬ。

707 ：不明なデバイスさん：2013/02/06(水) 10:34:58.77 ID:JCcsM2kr.net

研究室に導入しようとして２ちゃんに来るとはｗ
にわか管理者は研究室でドヤ顔してるんだろうな…

708 ：不明なデバイスさん：2013/02/06(水) 12:43:42.65 ID:ldvzEUoF.net

>>693
バックアップ待ちで時間あったからちと実験してみた。Infinihost Exと2つのInfinihost Lx、
Ex上で2つのIPoIBをブリッジしておくと、Lx同士でもIPで通信できた＠ws2012。
forcecompatibilityはONにするとかえってだめ。
なおsubnet managerはEx上に1つだけだと片側しか掴んでくれなかったので（設定だろうけど）、Lxそれぞれで起動。

709 ：不明なデバイスさん：2013/02/07(木) 16:06:44.94 ID:2ikPv26v.net

winof、でないねー。
レポジトリ覗いてみたけど、SMB directっぽいのが1月末でrevertされていたり、一体何があった？

710 ：不明なデバイスさん：2013/02/21(木) 10:42:02.12 ID:jWFPHK9p.net

mellanoxのESXi 5.x用スタックがSRPをサポートした見たいだけど、
試してみた人いるー
うち、今ESXiの環境無くて、テスト出来ないんだ。

>>709
ほんとどーなってるのかねぇ・・・

711 ：不明なデバイスさん：2013/02/23(土) 13:17:22.39 ID:LTxRMd12.net

>>710
情報Thx
今晩ESXi 5.1用ドライバで、SRP試してみるよ。結果わかり次第書き込むね。
1.8.1でにConnectXで動作するかも確認してみる。

712 ：711：2013/03/09(土) 12:46:41.97 ID:sdwFqXYW.net

遅くなったけど、Mellanox Driver 1.8.1 + ConnectX-2を使ってESXi 5.1でSRPは使えた。
Target側はLinux+ SCSTで動作確認。
RAMDISK作って試したけど、RAMDISKの速度が1.5GB/s位だったのでQDRのフルスピード使えなくて泣いた orz

713 ：不明なデバイスさん：2013/03/12(火) 09:00:14.46 ID:DGsD1O+p.net

ESXi 5.xでSRP使えるようになったかぁ。
Windows 2012系はOFEDの3.2待ちなんだよな・・・てか、Q4'12どころか
Q1'13終わるんですけど！？
OFEDさん、どうなってんの！

まぁ、OFED3.1に細工して入れるのも有りだけど・・・
あれ、OpenSM動いてたっけ・・・

714 ：不明なデバイスさん：2013/03/12(火) 21:21:37.46 ID:32YU15EY.net

OpenSM動くよ＞orca細工なofed3.1
そろそろconnectx2あたりが欲しいなあ。オクにx3まで出てるけど、さすがにFDRはスイッチがねー。

715 ：不明なデバイスさん：2013/03/13(水) 00:04:17.29 ID:fBwf9jjF.net

WinSrv 2012でOFED3.1試したら、OpenSMが固まる・・・
というか、OSごと落としてくれやがる。

休みに時間取ってやってどうなるかだが、期待は出来んなぁ。
Hyper-VでSRPを試してみたかったんだが。

716 ：不明なデバイスさん：2013/03/13(水) 11:28:35.39 ID:7w2Ov2mt.net

うちでは落ちたことはないなあ。infinihost lxだし、
必要最低限のものしか入れてない(srpもなし)からかも。

717 ：不明なデバイスさん：2013/03/13(水) 13:01:20.03 ID:fBwf9jjF.net

ConnectX-2でMLNX_OFED使ってたから、libかドライバ周りで
なんかゴミが残ってるかなぁ。

OpenSM、起動はするんだけど、SUBNET UPにならずに
Entering DISCOVERING stateで止まっちゃうんだよね。
で、Ctrl-Cで、終了出来ずに、最悪OSリセットがかかるｗ

エラーも出さずにOSまで落としてくれるので、ドライバ周りが非常に怪しい・・・

718 ：不明なデバイスさん：2013/03/14(木) 16:07:53.04 ID:wsagZer1.net

とりあえずデバイスマネージャからconnectx-2を右クリック→ドライバの更新→選択、して、
ofedの奴を選んでみるといいかも。ipoibのドライバも。
でもMLNX_OFEDで十分だとおもうお。

719 ：不明なデバイスさん：2013/03/14(木) 16:56:23.57 ID:ffxYB2J8.net

>>718
もち試したお！
クリーンインストールした環境でやっても、症状変わらなかった・・・

とりあえずMLNX_OFEDでもうちょっと使ってます。
Hyper-Vとストレージの間に使ってるラインなので、
CM&SRPには惹かれるんですけどねぇ。

720 ：不明なデバイスさん：2013/04/18(木) 10:14:37.50 ID:v9DBPrUz.net

www.openfabrics.org/downloads/Windows/v3.2/
あらでてたのね。

721 ：不明なデバイスさん：2013/04/18(木) 13:17:21.98 ID:VJt2xmB1.net

Release Noteはまだか。

722 ：不明なデバイスさん：2013/04/18(木) 19:12:17.00 ID:VJt2xmB1.net

Release Noteはzipの中に入ってた。そしてWindows8/2012は
OFED3.3で対応、Q4'2013だよ！って、遅すぎだろ・・・orz
やる気ねーなぁ、1年待てってか。。。

723 ：不明なデバイスさん：2013/04/18(木) 19:36:20.14 ID:twxr0sKj.net

Q4'2013なら2013/10〜2013/12じゃねぇの
そういうのに出てくる四半期は1月から数え始めるのが普通だと思うが
まあ遅すぎるのには同意だけどね

724 ：不明なデバイスさん：2013/04/18(木) 20:16:08.46 ID:VJt2xmB1.net

>>723
いやぁ、確かにその通り、ちゃんとQ4'2013なら、1年は無いんだけど・・・
でも、今回の3.2もOFEDはQ4'2012に出す予定って言ってた訳ですよ。
結果はご覧の通り、Q2'2013になった訳でｗ
で、出るのはQ1〜Q2'2014と勝手に予想した訳なんです。

725 ：不明なデバイスさん：2013/04/19(金) 18:00:15.95 ID:eaHEHXX7.net

次からやる気出す。

726 ：不明なデバイスさん：2013/05/11(土) 15:00:10.45 ID:teRxuveD.net

Connect-IBも１年近く経つけれど出てきませんね。

727 ：不明なデバイスさん：2013/05/12(日) 23:16:35.01 ID:alu7WM/E.net

久々にMellanoxのサイトチェックしたら、Linux用のMLNX_OFEDが3月に2.0にバージョンアップしてたのね。
ubuntu 12.04のサポートが新規に入ったみたいだったので、試しに入れてみた。
12.04の環境だと思って入れた環境が13.04て、opensmの起動スクリプトでエラーが出たが、
他は問題なく動いてる。
入ってるソフトのバージョン見てたら、opensmが4.0になってたけど何が変わったか調べないと。

728 ：不明なデバイスさん：2013/05/21(火) 14:27:59.20 ID:UufHEn4y.net

connectx-2が1万切っていたのでひさびざにIB関連を購入、我ながら貧乏だね。
PSIDはFJT0D90200009、ファームアップデートしてWindowsServer2012の標準ドライバでsmb-directしてみたけど、
大してスピードかわらねー。(crystaldiskmark4000M,starwind ramdisk直だとリード3191MB/s ライト3776MB/s)
smb-direct無効 リード1022MB/s ライト1040MB/s
smb-direct有効 リード1281MB/s ライト1166MB/s
MLNX-OFEDでもいろいろ試してみよっと。

729 ：不明なデバイスさん：2013/05/22(水) 12:12:09.76 ID:hoqDTY4/.net

server2012対向でRAMディスクの速度テスト for ConnectX-2。
サーバクライアントともdual X5570、ConnectX-2(富士通OEM), QDR。(単位 MB/秒)
==CrystalDiskmark4000M====SR==SW===RR==RW==QD1======QD32===
starwind ramdiskローカル直　3191 3776　3159 3952　1224 1227 1008 1102
MLNX_OFED4.2,直結,チューニングなし
　ibv_send_bw -a　　　　　　　　 2935
　SMBアクセス direct無効　　 1001 1044　 907　 912　　35　 37　 389　309
　SMBアクセス direct有効　　 1258 1168　1068 1000　　58　 42　 439　390
　hyper-vでSMB経由vhd　　　1219 1371　 970　1035　　31　 33　 160　153
single_portでチューニング(IPoIBデバイスのプロパティで)
　ibv_send_bw -a　　　　　　　　 2938
　SMBアクセス direct無効　　 1093 1121　 961　 936　　49　 50　 480　272
　SMBアクセス direct有効　　 1279 1164　1088 1001　　57　 42　 434　381
　hyper-vでSMB経由vhd　　　1245 1337　 962　1027　　32　 34　 161　155
IPoIBを仮想ネットワークに入れる
　SMBアクセス　　　　　　　　　　734　 991　 657　 862　　40　 50　 254　297
メモ
・PSIDはFJT0D90200009、ファームは手動で2.9.8350に更新。
・flint dcで書き出したiniはメモ帳等でANSIで再保存するとmlxburnでエラーが出ない。
・Windows8の標準ドライバ(SMは4036)でもスピードはチューニングなしの場合と同じ。
・SMB directが使えるかはPowerShellからGet-SmbServerNetworkInterface等で表示、
　directの無効化はSet-NetOffloadGlobalSetting -NetworkDirect disable。
・ConnectX-2は元からIPoIBのオフロードがあり、SMB directでも20%程度しか向上しない。
・single_portのチューニングはIPoIBが10%程度向上、directやIB自体には効果なし。
・IPoIBを仮想化して仮想マシンから外にアクセスできるようになったが、
　これをするとSMB directは無効（当然)になる上、仮想スイッチ層が入るため遅い。
・仮想マシンからのtcpスピードは6000Mbps程度だがスピードは安定しない。
・10GbEに切り替えたらQSFP直結でも動作した。

概ねInfinihost LX(DDR)の倍出てるけど、常用するにはいろいろ考えねば。

730 ：不明なデバイスさん：2013/05/22(水) 18:15:42.74 ID:N1gX5Of3.net

>>729
CM使えれば、もう一伸びしそうだけどねー。
OFEDが為体な、おっと誰か来たようだ。

731 ：不明なデバイスさん：2013/05/23(木) 10:01:32.73 ID:zKOtwrc8.net

> ・ConnectX-2は元からIPoIBのオフロードがあり、SMB directでも20%程度しか向上しない。

参考になったわー。

732 ：不明なデバイスさん：2013/06/08(土) 08:50:06.89 ID:9flVJQJb.net

>>730
互換性がないのは通信インフラとしての評価だと最低だから、UDで統一したほうが幸せな気がする。
もちろんオフロードでそこそこのスピードが出るconnect-x以降が前提になっちゃうけど。

733 ：不明なデバイスさん：2013/06/08(土) 11:09:44.53 ID:C18/AcS8.net

>>732
UDだとフレームサイズが2kまでってのがちょっとね。。。
Windows同士なら4kまでいけるんだが、Windows以外での
UDモードが4kサポートしきれてない感が。

734 ：不明なデバイスさん：2013/06/20(木) 22:21:33.24 ID:9CZUAJ+r.net

>>732
CMってもしかしてベンダ独自拡張なの？

735 ：不明なデバイスさん：2013/06/24(月) 12:39:47.07 ID:A3iC9EkU.net

ofed独自拡張、かな。
CMを張れる総数がカードで決まっている現状では、その上にIPを載せるなんて危険すぎるでしょ。
（対地数がCM本数に制限される）

736 ：不明なデバイスさん：2013/06/25(火) 14:53:26.29 ID:pjtmxEE8.net

>>735
それって net.rdma_ucm.max_backlog のこと？
それともハードウェア的な別の上限がある？
スパコンや不特定多数から直接叩かれる公開サーバじゃなければ困らないような気がする。

737 ：不明なデバイスさん：2013/07/18(木) NY:AN:NY.AN ID:H2OZ26G8.net

>OFED for Windows (WinOFED) Roadmap
>-----------------------------------
>[ Last updated: 06-25-2013 ]
>
>WinOFED 3.2 GA released June 25, 2013
>OFED for Windows 3.3 release on hold (lack of IHV participation).

一応、3.2はreleaseされた様だが、なんか雲行きがあやすぃ、3.3がholdされちゃってるよー。
ってか、そこまで影響及ぼすIHVって、Mellanox以外思い当たらないんだがｗ

738 ：不明なデバイスさん：2013/07/26(金) NY:AN:NY.AN ID:xT/zoNDp.net

Intelだったりして。

739 ：不明なデバイスさん：2013/07/26(金) NY:AN:NY.AN ID:pwjnYFIr.net

>>738
その可能性もなきにしもあらずだが・・・
FDRはまだ手出してないし、市場に流れてる量から見ると、
そこまで影響力はない気がするんだよなぁ。

740 ：不明なデバイスさん：2013/08/02(金) NY:AN:NY.AN ID:YJjex9m4.net

CPUから直出ししようとしてるから、プロトコルに関してなんらかのプランがあるんじゃない？
もちろん邪推だ。

741 ：不明なデバイスさん：2013/08/20(火) NY:AN:NY.AN ID:D4PWX8S4.net

うちのDDR様が規格16Gbpsなのに実力12Gbpsしか出ない。
10GEより「高速」な時代が長かった割には中々普及しなかった理由が判る気がする。

最新のでも54.4Gbpsだっけ？が上限なのに、49Gbps位しか出ない。
いや速いんだけど、チャンピオンデータでも10%も落っこちるのは何が原因なんだろ？
RDMAは特にサイズがデカいREAD/WRITEならバス位しか制約要因なさそうなのに。

742 ：不明なデバイスさん：2013/08/20(火) NY:AN:NY.AN ID:Uz1xe9E0.net

もともとスループットよりもレイテンシ縮小に振ったプロトコルだからそんなものなのかも。
経路上にバッファを置かないから、経路できたよー、の確認にそれなりに喰われるんじゃないのかな。

743 ：不明なデバイスさん：2013/08/20(火) NY:AN:NY.AN ID:6+IBr9LC.net

>>741
元々Infiniband自体、ハードウェアでのアクセラレートは全くなく、
マシンパワーで安く速度だそうぜってのが最初。
そして、>>742も書いてるが、ノード間のlatencyを極小にするのが第一目的。

さすがに、QDRでIPoIB、FCoIBとか、いろんなプロトコル扱うようになって、
辛くなってきたから、コントローラーへ処理をオフロードするようになってきた。
それがMellanoxで言えば、ConnectX/X2世代。
ConnectXなら、DDR/RDMAで15Gbps弱までは出てるぞ、ベンチでは。
同じ環境で、Infinihostだと12Gbps弱。
間にスイッチ入ると、latencyが延びるから、どうしても直結よりかは遅くなるが。

理論値54.4Gbpsに対して、実効値で49Gbps出てるなら、
製品としては結構良い線行ってる気がするけど。

744 ：不明なデバイスさん：2013/08/21(水) NY:AN:NY.AN ID:OQx+Fe9U.net

IPoIBとかFCoIBはコントローラに支援機能がなければCPU処理が必要で遅くなるのは判るけど、
RDMAネイティブならキュー処理とイベントのACK以外、つまりデータ転送部分はハードウェア処理だから性能が出しやすいかと思ってた。

一応、出しやすいことは出しやすいのだけど、フル性能には中々迫れず、20Gbps, 40Gbpsともなると、データ転送部分以外の軽度の処理負担ですら馬鹿にならないんだなと。

あと、脱線だけどRoCEでパケット流してる時に、これをモニタできるツールありませんか？どこにカウンタがあるんだろう。

745 ：不明なデバイスさん：2013/08/21(水) NY:AN:NY.AN ID:+BYZcZot.net

Server2012だとパフォーマンスモニタのカウンタ値にまさにRDMA Activityの大項目があるね。
あとSMB Direct Connection大項目の中にもRDMA関連のがいくつか。
実際に試してはないのでこれかどうかはわからん。

746 ：不明なデバイスさん：2013/08/22(木) NY:AN:NY.AN ID:7HvQV/+r.net

なんかChelsioがRoCEをかなりdisった資料を出してるんですが、
結局RoCEとiWARPはどちらに目があるんですかね？

→ http://www.chelsio.com/roce/

歴史理解が甘いので誤解してるかもしれませんが

1.IB-RDMAを他の技術、特に10+GEで使えるようにしたいというニーズ・思惑があった
- 思惑：IB界としてはIB Verbs互換で提唱することで、IB利用の敷居を下げたい
- ニーズ：RDMAの効果は著しいので使いたいが、IBそのものの採用は腰が引ける

2.旦那、10+GEなんてこと言わずにIPベースで標準化しましょうよ、という流れに
- IETFでiWARPが規格化された

3.でもiWARPはTCPを処理してRDMAしないといけないので、大変
- チップ設計がTCP offload機能どころじゃなく大変
- 他のTCP通信と共存とか頭がおかしくなりそうに大変
- IBにも10+GEにも依存しないかもしれないが、そもそも他にあるのか？誰得？

4.なのでRoCEを作ってみた
- Ethernetのフレーム処理だけでいいので安くて速くてうまい
- でも、RFCがあるような標準規格ではない

って流れでよい？

でも結局10GEならRDMAしなくてもなんとかなるし、10>GEは作っている
会社が少なすぎるので、結局RoCEもiWARPも本当に相互運用するのか
わからんような、実質ベンダ依存みたいになってる？10>GE HCAの
設計元っていま何社あって、各社どれに対応しているんだろう。

747 ：不明なデバイスさん：2013/08/23(金) NY:AN:NY.AN ID:/pgL/8FP.net

単純にiWARPはRDMA over TCP(L3)、RoCEはRDMA over Ethernet(L2)だと思ってたけど違うんかな。

ConvergedということはL2でなくてL1(実用上は他のether trafficと同時に流せない)なんで、IBと差がないような。

748 ：不明なデバイスさん：2013/08/23(金) NY:AN:NY.AN ID:Y0fXD8OV.net

いやそれであってない？＞iWARP/RoCE
なんでChelsioがそんなにRoCE disなのかは不明だけど。

749 ：不明なデバイスさん：2013/08/23(金) NY:AN:NY.AN ID:/pgL/8FP.net

個人的にはmyricomがさっくり性能でたんでchelsioより好きだったけど、myricom変な方向行ってるなあ。
ってそういう話は10gbeスレか。

750 ：不明なデバイスさん：2013/08/24(土) NY:AN:NY.AN ID:E8oOqddF.net

このクラスのストレージへをL3でルーター超えでやりたいことってあるのかなぁ
むしろあらゆるオーバーヘッドは可能な限り取り除いてやりたいと考えることのほうが多いような気が

751 ：不明なデバイスさん：2013/08/24(土) NY:AN:NY.AN ID:Bu+9d+Ke.net

大陸間InfiniBandとか・・・

752 ：不明なデバイスさん：2013/09/28(土) 00:26:13.05 ID:7tm4A4WS.net

FreeBSD 10.0-ALPHA2にkernel mode iscsi targetがマージされたみたい。
実装するって話が出たのが、今年の5月ぐらいだった気がするから、結構早く出来たもんだ。
iSCSIだけかと思ったらiSERまで実装されてた。

とりあえず、1GbEでWindowsから繋いでみたけど、普通に動いてるっぽい。
1GbEを超える負荷をかけたときにどうなるか試したいけど、
今IBでテスト出来る環境が無いorz

でも、これがまともに使えるようになれば、
Solaris/COMSTARの置き換えもいけるかなぁ。

753 ：不明なデバイスさん：2013/09/28(土) 01:35:14.90 ID:WfgUmsKd.net

さすがNSAパワー
IT不況なんて関係ないぜ

754 ：不明なデバイスさん：2013/10/01(火) 09:42:02.49 ID:salaZhdx.net

windowsイニシエータってiSER使うの？NDISがRDMA enableになってれば勝手に使うのか。

755 ：不明なデバイスさん：2013/10/02(水) 00:49:49.14 ID:v83BN4ma.net

>>751
PCI-E over Ether ですら商品化されてるし、そのうち出てくるんじゃないか
http://cloud.watch.impress.co.jp/docs/news/20120524_535036.html

756 ：不明なデバイスさん：2013/10/02(水) 19:51:03.44 ID:yRp/rhU3.net

まぁディザスタリカバリ用途の遠隔バックアップとか遠隔ストレージマイグレーションなんかかね

757 ：不明なデバイスさん：2013/10/06(日) 02:37:25.49 ID:DPX4vgjE.net

すみません、自宅マシンにインフィニットバンドを導入しようと思ってるん
んですが、メラノックスのコネクトＸ２について教えてください

双方、シングルポートのアダプタで直結した場合でも、ＩＢも１０ＧＢＥも
普通に使えますでしょうか？（ハブを経由しなくても）
なんか直結だと１０ＧＢＥは使えない、みたいな話もあるので

あと、１０ＧｂＥのファームで使うのと、ＩＢのファームでＩＰｏＩＢで
使うのはどっちが早いんでしょうか？

758 ：不明なデバイスさん：2013/10/06(日) 09:59:32.80 ID:1bXX/518.net

>>757
SM立てれば、IBの直結はOK。ConnectX-2はEthの直結は×。

ベンチマーク上では10GbEよりIBのが速い。
実際にどうかは、環境次第。
2GiB/sを常時出せる足回りなら、IBのが速いんじゃねーかな。
一般的なPCじゃ10GbE/IBの帯域に、ストレージの帯域が追いつかない。

1行目は、あえてスルー。

759 ：不明なデバイスさん：2013/10/06(日) 13:47:05.30 ID:xpoqKciM.net

>>758
Ethでも直結できるよ

760 ：不明なデバイスさん：2013/10/07(月) 02:29:15.89 ID:8g6dRzUw.net

>>759
スクリーンショットうｐ

761 ：不明なデバイスさん：2013/10/07(月) 08:20:13.94 ID:4Vk4WpC4.net

やってみたけど直結できたよ。

762 ：不明なデバイスさん：2013/10/07(月) 16:31:31.65 ID:M3vxO/fF.net

X-3なんとちゃうのん

763 ：不明なデバイスさん：2013/10/07(月) 20:45:47.57 ID:J9BH2yQn.net

シングルポートのX2-VPIだができないモデルもあるの？
それとも製品が違うのかな

764 ：不明なデバイスさん：2013/10/07(月) 23:26:15.82 ID:GUmHVZpH.net

2ポートのMHQH29Bでも出来た。
ConnectX-3の40GbEでもできた。
無印ConnectXは持ってないから不明

765 ：不明なデバイスさん：2013/10/08(火) 02:36:19.42 ID:wLK6UswA.net

出来たとか抜かしてる奴、Mellanoxのページで出来ませんって書かれてるのに
どんな魔法使ってんの？ｗ

766 ：不明なデバイスさん：2013/10/08(火) 08:12:13.12 ID:Ka7Yi7Bq.net

まさかIPoIBでした、なんて事はないよな・・・

767 ：不明なデバイスさん：2013/10/08(火) 17:57:17.01 ID:cnFJ3Kk6.net

>>689-692
>>729
上にも、できる派とできない派

768 ：729：2013/10/09(水) 12:25:54.98 ID:mr6nSZiq.net

ケーブルによるのかも。QSFPは中にI2Cのチップ持ってて諸元書いてあるので、それでできたりできなかったりなのかも。推測だけど。
うちで出来たのはJESS-LINKの03M-26AWG P3002TG03000-0ってやつ。

769 ：不明なデバイスさん：2013/10/09(水) 20:45:55.18 ID:J08WR+1a.net

だから、出来るとかウソ書いてる奴はスクショ貼れよ

770 ：不明なデバイスさん：2013/10/09(水) 21:46:48.12 ID:dmBhmSjZ.net

ながれをよまずかきこみ
>>708
> なおsubnet managerはEx上に1つだけだと片側しか掴んでくれなかったので（設定だろうけど）、Lxそれぞれで起動。
ネット検索中に上記のようなIBの両腕持つホストでのSM設定法を見つけたのでメモ
www.mellanox.com/pdf/whitepapers/WP_Deploying_Windows_Server_IB.pdf
blogs.technet.com/b/josebda/archive/2012/07/31/deploying-windows-server-2012-with-smb-direct-smb-over-rdma-and-the-mellanox-connectx-2-connectx-3-using-infiniband-step-by-step.aspx
上記4.3 Using OpenSM with two unmanaged switches参照

771 ：770：2013/10/09(水) 21:49:02.36 ID:dmBhmSjZ.net

・SMは(名前通り)IB subnetを管理し、ひとつのIB subnet毎に対しひとつ(以上)のSMを必要とする
・複数のIB subnetに対し同一ホスト上にSMを配置する場合、当ホストで管理するIB subnet数分のSM(SMopensm.exe)を動かす
・各opensm.exeには個々のSMの管理対象IB subnetを--guidオプションでHCA portにより指定する
的な感じ。opensm.exeのオプションはWinOFユーザーズガイドとかには直接は書かれてないけど
opensm.exe /?でオンラインマニュアルで詳細が判る
# うちは環境無いので試せてないけど

これならinitiator 3ホスト程度をLinux targetにスター接続なんてのもいけるかも

772 ：不明なデバイスさん：2013/10/09(水) 21:54:44.63 ID:mr6nSZiq.net

>>769 スクリーンショットだけで10GbEスイッチ経由とどうやって区別するんだい？
>>770 サンクス。今常用はIBスイッチ経由だけど、今度実験君するときに試してみる。
でも2012R2はいまいちテストする気もおきず・・・何か変わったんだっけ？

773 ：770：2013/10/09(水) 23:03:54.19 ID:dmBhmSjZ.net

>>772
Infinibad関係しそうなとこだとlive migration with RDMAとか?
download.microsoft.com/download/0/2/1/021BE527-A882-41E6-A83B-8072BF58721E/Windows_Server_2012_R2_Overview_White_Paper.pdf

774 ：770：2013/10/09(水) 23:09:07.05 ID:dmBhmSjZ.net

それとopensm複数起動自体は2012R2固有とは限らない気がする

775 ：不明なデバイスさん：2013/10/10(木) 08:21:48.61 ID:ch6HFIwI.net

>>774
登録時のサービス名を変えれば、いくつでも登録は出来るね。
それぞれのオプションで、読み込むconfを指定しておけば、
複数の設定で起動出来る。>>772

>>772
簡単な所で言えば、ローカルエリアの状態を表示すれば、リンク速度が表示される。
デバマネのシステムデバイス＞IB開いて、port protocolがどうなってるか、
辺りじゃない？

776 ：不明なデバイスさん：2013/10/10(木) 09:20:52.26 ID:F3+BFDUG.net

あれ、Live migrationって元からRDMA使ってなかったのか。それは実験君のいいネタだな。
＃live migrationの実験ってめんどいんだよなあ。独立ネットで組むと3台は必要になるし。
>>775
10GbEに設定したなら、直結でもスイッチ経由でも速度同じでは？

777 ：不明なデバイスさん：2013/10/10(木) 20:30:22.08 ID:W76s+PON.net

777 get !

778 ：不明なデバイスさん：2013/10/12(土) 00:41:09.17 ID:9KR+44B2.net

connectx-3で、centos6.4 kvm + sr-iovがmlnx_ofed 2.0-3.0.0で動いた。
ゲストで、centos 6.4とubuntu 12.04とfreebsd 10.0 alpha5を動かしたけど、freebsdは、ドライバの認識でこける。
Linux系では、標準のドライバだと、freebsdとはちがって、認識するけど動かなかった。
Windowsはまだテストしてないけど、多分駄目だろ〜な。

779 ：不明なデバイスさん：2013/10/23(水) 00:31:26.94 ID:msCiN1aa.net

>>765
>Mellanoxのページで出来ませんって書かれてるのに
ちなみにどこに書いてある？

780 ：不明なデバイスさん：2013/10/24(木) 01:08:57.49 ID:sc4VcQAo.net

逆に10GbEのできない環境が気になる。

781 ：不明なデバイスさん：2013/10/29(火) 10:07:49.22 ID:N/nv4CpL.net

でもできない理由もなんとなく想像できるんだよね。
ConnectX-2以降のQDR対応のやつだと、ケーブルによって10GBASE-CX(4P)と10GBASE-SFP+(1P)の両方に対応してるんで、
それを識別できないとだめなんじゃない？
mellanoxの昔のQSFP-QSFPケーブルだとケーブル内にI2Cチップ持ってない奴があったんで、そういう奴だと直結動作しないかも、
と想像はしている。

782 ：不明なデバイスさん：2013/10/29(火) 20:24:36.99 ID:iT4/lznk.net

いや、直結問題ないですよ。
10G/40Gはコネクタ違うし。

783 ：不明なデバイスさん：2013/10/30(水) 14:55:17.46 ID:ZBkm5E8V.net

I2C内蔵してない＝パッシブケーブルてことでいいの？
むしろ識別されない方がケーブル長が短いなら上位規格まで実力で通せる可能性があるからうれしいかと思ってた。

ええ、ファイバのQDRケーブル投資がFDRになって無駄になって涙目ですよ。FDR10は使えるけど・・・

784 ：不明なデバイスさん：2013/10/31(木) 11:32:27.76 ID:skDphSFW.net

I2C内蔵してないのがパッシブ、ではなくて、どっちかというと「初期にあった変なケーブル」です。
パッシブでもQSFPはケーブル緒元をI2Cで書くことが決まっているはず（ここらへんはSFP+からの流れ）で、
その値を見てこのケーブルにはQDR流せる、DDRまでだ、とか機器が判断するはずです。

FDRに投資できるだけすげーとか思う。

785 ：不明なデバイスさん：2013/10/31(木) 22:13:40.11 ID:skDphSFW.net

環境を入れ替える前に10GBetherでのQSFP直結試験してみた。
・ConnectX-2、PSIDはFJT0D90200009、ファームは2.9.8350。
・Server2012R2previewにMLNX WinOF 4.55。
・インストール時にファームアップできなかったとか言われるが無視。まFJTだし。
・デバイスマネージャからMellanox VPI(MT26428)をAuto→Ethernetに切り替え。
・ケーブルJESS-LINK 03M-26AWG→リンクアップ、ping OK。
・ケーブルmlnx MCC4Q30C-001（これ確かI2Cチップなし）→やっぱりOK。
・QSFP-CX4ケーブルでスイッチへ接続→OK。
うちの環境では直結でも全く問題ない模様。ってIB関係ないスマン。

786 ：不明なデバイスさん：2013/11/01(金) 11:26:36.99 ID:DLqhGswM.net

QSFP-CX4ケーブルでスイッチに接続、てのはHCA側はQSFPで、スイッチ側はCX4を4口消費ってことなの？

分岐ケーブルでの接続だとどういう風にLIDの割当とかが見えてるんだろう。
スイッチ側にCX4x4を1ポート扱いするような設定ができる機能があるのかな？

787 ：不明なデバイスさん：2013/11/01(金) 12:23:11.05 ID:32zDHkE1.net

QSFPは4対、CX4も4対だからふつうに1対1ですよ。規格としてはSFF8436-SFF8470。
ケーブル内には片方向より線4対を個別シールド、行き帰りなんで信号線としては16本ね。

788 ：不明なデバイスさん：2013/11/01(金) 12:28:37.38 ID:32zDHkE1.net

ちなみにQSFP-SFP+というケーブルや、QSFPに刺さるSFP+アダプタ（10GBASE-SR等用だと思う）もあるみたいだけど、
こちらは中の1対だけ利用していると思われます。

789 ：不明なデバイスさん：2013/11/01(金) 12:30:53.63 ID:32zDHkE1.net

…mellanoxから分岐ケーブルも出てるね。対応ボードが何か、とかはシラネ。
www.mellanox.com/pdf/prod_cables/Hybrid_Passive_QSFP_4x_SFP_10Gbs_Cables.pdf

790 ：不明なデバイスさん：2013/11/02(土) 17:32:34.45 ID:ZaaUa7Fr.net

IBじゃなくてイーサネット用のブレークアウトケーブルじゃないかな

791 ：不明なデバイスさん：2013/11/04(月) 01:16:48.38 ID:PQe92NjE.net

7104-HCA-LPX1P-DDRを使いたいのですが、必要機材として
銅線ケーブルともうひとつのHCAがあればいいのですか？

792 ：不明なデバイスさん：2013/11/13(水) 09:15:01.90 ID:+IpwTW7o.net

>>791
OS何使うん？SMさえ解決出来れば、ハード的には、それで行けると思うけど。

そうそう、FreeBSD 10のmlx4ドライバ周りが、Mellanoxからのサブミットで、
最新のVerに更新された。Linux 3.7 Base見たいなんで、OFED 3.5 Baseより、さらに新しいかも？

ま、libは今まで通りOFEDの1.5.2ベースのままなんで、出来る事に替わりは無いけれど、
ipoib使用時のmtuが2044→4092(4k)に変わってるとか、若干の変化がある。
物が無いんで、確認出来無いけど、これで、ConnectX-3も行けるんかな？
と、思って調べたら、ConnectX-3は、まだ動かないっぽいな。

でも、まぁ、iscsiのkernel targetも実装されたし、IB周りもぼちぼち手が入ってるし、
OFED周りのメンテさえして行ってくれるなら、Solaris系から乗り換えてもいいなぁ。

793 ：不明なデバイスさん：2013/11/13(水) 14:58:56.97 ID:XATodvRG.net

>>792
OSはLinuxとWindows、LinuxとLinuxのどちらかを使用しようと思うので大丈夫だと思います。


7104-HCA-LPX1P-DDRを2つ使用する場合
ケーブルのコネクトタイプはCX4？4X？どれなのでしょうか？

794 ：不明なデバイスさん：2013/11/13(水) 15:48:36.47 ID:+IpwTW7o.net

>>793
CX4-CX4のLatchタイプで良いんじゃね。

795 ：不明なデバイスさん：2013/11/13(水) 16:07:08.54 ID:9xQWn75V.net

でもconnect-X2 QDRがオクで1万切ってコンスタントに出てるのに、いまさらその世代もなあ、とは思う。

796 ：不明なデバイスさん：2013/11/13(水) 16:48:47.51 ID:+IpwTW7o.net

それは、俺も思うが、すでに7104-HCA-LPX1P-DDRが有る状態っぽいし、
とりあえず、これで動くところから始めても良いんじゃねーかなと。

ま、はまる可能性もあるけどな、マイナーなQlogic品だし。
同世代でも、MellanoxのInfiniHostの方が、まだ情報多くて楽なのは確か。

797 ：不明なデバイスさん：2013/11/13(水) 19:37:00.47 ID:YpJwUzmc.net

windows server 2012R2でinfinihost III認識したよ＼(^o^)／

798 ：不明なデバイスさん：2013/11/13(水) 19:54:53.64 ID:0ifyM4d7.net

顔文字見て、脳内で勝手に認識しないオワタに読み変えていた
鬱だ・・・

799 ：不明なデバイスさん：2013/11/14(木) 21:47:55.78 ID:lFT49gB5.net

voltaire 4036が出てるな・・・

800 ：不明なデバイスさん：2013/11/15(金) 18:06:48.07 ID:ur+1LvbX.net

さくらが クラウドで頑張って使ってたけどやめちゃったんだね...

801 ：不明なデバイスさん：2013/11/15(金) 23:38:18.03 ID:cjY+h1jG.net

かといって今更10GbEも割高感がすごくて買う気になれん。

はやく100GbEをくれー

本気を出したイーサネット先生の怒涛の値下がりはまだかー

802 ：不明なデバイスさん：2013/11/16(土) 08:36:50.40 ID:LTSXzmOQ.net

copperで通せるのが15〜20Gbitがほぼ限界、だとするとx4でも100Gbitは出せなくてたとえ近距離でも光必須になってしまう
（ここでいう近距離とはKRなどの内部規格を含む）から、40GbEでほぼ限界なんじゃない？
あとは40GbEのボンディングでうまいことやっていくしかないような。

803 ：不明なデバイスさん：2013/11/20(水) 10:42:00.89 ID:duywLFUQ.net

さくらが放出したのなら4036、そこそこ出回るかな？　糞うるさいからうちでは常用してないけど（ｗ
＃個人的には4036Eキボンヌ。

閑話休題。IBのスイッチってバッファなくて（本当にないわけではなくて、バッファ用のトランクは必要）
クロスバスイッチそのもので、PCIeのチップセットもそうだよなあ、と。
そう考えると最近のブレードサーバやマイクロサーバでIBを出してそれを筐体内部のIBスイッチで集約＆外部出し、って
かなり無駄っぽいというか、ブレードの内部でPCIeのレベルでスイッチングしてくれれば少なくともハードウェアレベルでは
かなり安くなるんじゃないかと。
Dellのvikingとか(c5000)、微妙にそういう設計になってるんだよなあ。対応ソフトがゼロだから製品としては出せないだろうけど。

804 ：不明なデバイスさん：2013/11/20(水) 13:46:24.66 ID:OO9EhThE.net

Bonet思い出した
www.akibnetworks.com
www.akibnet.com
旧サイトでは本社ダイビルとあるけど現サイトには台湾支社の住所しか載ってないね
www.atmarkit.co.jp/ait/articles/1303/18/news004.html
www.geekpage.jp/blog/?id=2012/6/13/3
スイッチレスお試し直結セットが予価10万とか
Let's IYH!!

805 ：不明なデバイスさん：2013/11/20(水) 17:07:28.84 ID:duywLFUQ.net

Bonetはもちろん、前からそういう試みはあるし、pci-eの規格書にもseparate refclock archが最初から定義されてるんだけど、
問題はソフトウェア、というか標準化で、どっかで旗振らないと筐体の外部に出ないものだから
各メーカが個別開発→結局安くも安定したりもしない、という気が。

806 ：不明なデバイスさん：2013/11/20(水) 19:43:21.43 ID:VLj1wHFV.net

Cabled PCIeになってもツリートポロジ前提のままだから
多対多のFabricを想定するならseparate refclkだけでどうこうってものでもないが
まぁ標準化してくれないとってのには同意

807 ：不明なデバイスさん：2013/11/20(水) 20:22:21.72 ID:aapU07US.net

元はといえば、そもそも次世代PCI競争の中で出てきたNGIO/3GIOがベースだからな、それぞれ。
Intelは一時期両方に首突っ込んでたし。（あ、Qlogic買ったから、今もか）

時代背景やら、隣の庭見ながら、規格化進めてた訳で、当然、基本的な考え方は
似てて当然って所かと。
PCIeも規格的には一応、外部へ引っ張り出せるようになってはいるけど、
どちらかと言えば、やっぱオンボード上の利用を中心に置いて機能実装してるから、
ほいほいと外へ出して、ネットワーク化するのは、面倒なんだろう、標準化するにも。
現状は、餅は餅屋に任せて、次の世代で、一緒に出来るかどうかって所じゃないかなぁ。

808 ：不明なデバイスさん：2013/11/20(水) 20:40:29.16 ID:HW5sxrZY.net

ネットワーク化の障害要素としてはroot　complexとend pointで機能非対称なアーキテクチャが一因かと

809 ：不明なデバイスさん：2013/11/21(木) 09:17:37.33 ID:6Wj9sThJ.net

外部引き出しを考えるならoculinkが本命だろうけど、
thunderboltにしろpci-e直結にしろ、IPが標準的に載らない＆互換性がないことには如何ともし難いわけで。

頼むからIP(&rdma)を標準化してくれ＞oculink。ブレード筐体内部接続もそれで。

810 ：不明なデバイスさん：2013/11/23(土) 11:40:54.47 ID:1RyY+XMl.net

752でFreeBSD 10.0で、ctlでiSERが使用可能にと書いてあったから調べてみたが、対応途中みたいね。
Makefileでコメントになってたから、コメントアウトしてからコンパイルしてみたけど、ctlのモジュールのコンパイルで
こけるのと、あと存在しないファイルがあったりしたから、正式対応はもう少し先になるのかな。

とりあえず、手持ちのカードでFreeBSDで使えるIBカードの一覧作成しておく。
ConnectXで、OS起動後にポートの種類をethに変更しようとすると、上手く動いてないような。
ConnectX-2だと問題ないけど。

811 ：不明なデバイスさん：2013/12/30(月) 04:56:28.54 ID:Hks1mtvT.net

外部PCIeしたことあるけど相性問題が。
やっぱ外に出していいもんじゃないな。

812 ：不明なデバイスさん：2013/12/30(月) 15:50:29.62 ID:Wcur1aep.net

>>809
そういやIP over thunderboltってあるけど
あれってなにがしかの標準があるのかな?
それともOSX独自実装とかそんなかんじ?

813 ：不明なデバイスさん：2014/02/11(火) 14:18:51.83 ID:6kYD/Iqv.net

ここで触発されて最近IB始めました。先輩方よろしくお願いします。

PC1: Lenovo TS130 + ConnectX無印 + ESXi 5.1u2 + OFED 1.8.2.0 + ib-opensm
PC2: ストレージ機 富士通 TX100S3 + InfinihostIII + OI151a9
の直結。
テスト機でうまくいったのに本番PC1では Initializing から進まず悩みましたが、
BIOS で VT-d 無効にしたら Active になりました。
ストレージは Giga接続のNFSから、IPoIBのNFSにそのまま移行。
サクサク感に満足です。これでまだSDRなんて。

ESXi 上の opensm の partitions.conf で切った 0x8001〜 が 、
vswitch で VLAN 1〜 として使えています。
OI 側は
dladm create-part -l ibp1 -P 0x8001 p8001.ibp1 ← PKEY が存在しているので、-f 不要。
ipadm create-if p8001.ibp1
ipadm create-addr -T static -a 169.254.1.1/24 p8001.ibp1/ipv4
こんな感じ。IPoIBで複数IP VLANを扱えるとこまでは来れました。

次に目指すのは Ether over IPoIB っていうんでしょうか、
物理界dot1q trunk--PC1--(IB上に何語かでトンネル)
--PC2--vSwitch1--△--vSwitch2--VSTで仮想世界へ を実現したいです。
△はトンネル終端・ブリッジ用ゲスト。たぶん必要になるのでしょう。
トンネル両側 Linux なら何とかできそうな気はしてますが (GREとか?)
物理Solaris で対向に何置いて何語喋ればいいのか。調べはじめたばかりです。

814 ：不明なデバイスさん：2014/02/11(火) 22:19:02.55 ID:6kYD/Iqv.net

TAP driver for Solaris used for OpenVPN and any other virtual network solution.
ttp://www.whiteboard.ne.jp/~admin2/tuntap/
のおかげで、
物理 -- OI --openvpn over IPoIB-- Linux(VyOS) -- 仮想
L2ブリッジできそうな気がしてきました。

815 ：不明なデバイスさん：2014/02/18(火) 16:53:23.82 ID:MzJMGXZ0.net

素人童貞がふと思ったんだけど。
ConnectX-2とかはfirmでIBにも10GbEにもなれるけど、最初から10GbEカードと
して売られているConnectX-2はファームを入れ替えてIBとして使うことは出来
出来ないんでしょうか？

816 ：不明なデバイスさん：2014/02/18(火) 20:40:00.17 ID:pnrZNLtY.net

ConnectX-2 EN は IB にはなれない。

817 ：不明なデバイスさん：2014/02/18(火) 21:15:28.27 ID:MzJMGXZ0.net

ありがとうございます
逆は出来るのに、商品の差別化の一環ですかね。

818 ：不明なデバイスさん：2014/02/19(水) 20:01:33.64 ID:AZn/ZBMf.net

>815

ConnectX-2 ENはコネクタ形状がSFP+固定だから物理的に無理かと。
ConnectX-3 ENの40GbEだと形状一緒(QSFP)だけど、多分書換は無理じゃないかなー？

819 ：不明なデバイスさん：2014/03/01(土) 02:59:43.63 ID:rZOCEjvv.net

Windows Azure の中でも動いている InfiniBand って何?
http://www.slideshare.net/harutama/windows-azure-infiniband

さくらはやめたけど、MS は使ってるのね

820 ：不明なデバイスさん：2014/03/01(土) 03:42:35.41 ID:d5GA9cBD.net

さくらがインフィニットバンドを止めた理由ってなんでしょうか？
あと、やめたって事は代わりになる代替技術（テクノロジー）があるからだと
おもうんですが、今はインフィニットバンドの代わりに何を使ってるんでしょ
うか？１０ＧＢＥ？

821 ：不明なデバイスさん：2014/03/01(土) 04:30:46.58 ID:rZOCEjvv.net

>>820
クラウド事業者から見た課題と今後
〜さくらのクラウド編〜
http://mpls.jp/presentations/20131029-ohkubo-mplsjapan.pdf

上の資料から
理由：シンプルにしたい？SDN入れたい？（同じことのような逆のことのような）
代わりの技術： 10GbE

822 ：不明なデバイスさん：2014/03/01(土) 05:44:02.55 ID:d5GA9cBD.net

速度面では圧倒的にインフィニットバンドが圧倒的に有利な気がするんですが
それを考慮しても１０ＧＢＥに全面移行したほうがメリットがある、と思わせる
程にインフィニットバンドの運用には面倒な点があったってことですかね。

823 ：不明なデバイスさん：2014/03/02(日) 16:23:29.74 ID:7V4/sAp7.net

Windows Server 2012 R2 のネットワークの注意事項 - InfiniBand - 仮想化でプリセールスしてるSEの一日
http://d.hatena.ne.jp/ogawad/20140228/1393542157

VLAN ないのはやっぱキツイよな〜

824 ：不明なデバイスさん：2014/03/02(日) 19:00:56.96 ID:QvwDzZnA.net

Mellanox OFED Driver for VMware ESXi Server
ttp://www.mellanox.com/related-docs/prod_software/Mellanox_IB_OFED_Driver_for_VMware_vSphere_User_Manual_Rev_1_8_2.pdf
5.2.3
Virtual Local Area Network (VLAN) Support
To support VLAN for VMware ESXi Server users, one of the elements on the virtual or physical
network must tag the Ethernet frames with an 802.1Q tag.
(略)
Ethernet VLANs are implemented on InfiniBand using Partition Keys (See RFC 4392 for informa-
tion). Thus, the InfiniBand network must be configured first. This can be done by configuring the
Subnet Manager (SM) on your subnet. Note that this configuration is needed for both VLAN configu-
ration modes, VGT and VST.

825 ：不明なデバイスさん：2014/03/02(日) 19:25:45.58 ID:QvwDzZnA.net

MLNX WinOF VPI User Manual Rev 4.60
ttp://www.mellanox.com/related-docs/prod_software/MLNX_VPI_WinOF_User_Manual_v4.60.pdf
part_man - Virtual IPoIB Port Creation Utility
part_man is used to add/remove virtual IPoIB ports. Currently, each Mellanox IPoIB port can
have a single virtual IPoIB only which is created with a default PKey value of 0xffff.

826 ：不明なデバイスさん：2014/03/03(月) 00:12:25.48 ID:/wfnPDwi.net

さくらがIBやめたのはオラクルのストレージで障害おこしたからだろ
原因追究するのに時間がかかるようなのはやめたと

http://www.publickey1.jp/blog/12/post_203.html

827 ：不明なデバイスさん：2014/03/03(月) 00:35:21.50 ID:fmOlB6ex.net

結局NECのストレージに替えたんだよな
あっちはデフォで10GbEついてんだろうか

828 ：不明なデバイスさん：2014/03/03(月) 06:31:06.06 ID:Sxf2gndm.net

ストレージのトラブルは大変だよ。
Infinibandに関係ないチラ裏だけど、某大手DCで冗長構成の片方が死んで、
片肺運転＆リビルド中にもう負荷かけたら片方も死んで、顧客に「データが
復旧できなければ会社を畳む」とまで言わせたことがあるしなーｗ
ストレージベンダごと乗り換えて対応したけど。

829 ：不明なデバイスさん：2014/03/03(月) 06:43:01.40 ID:6pVSWXUZ.net

ttp://research.sakura.ad.jp/wp-content/uploads/2013/10/20131023-wakamonog-post.pdf
という話のようです。

830 ：不明なデバイスさん：2014/03/03(月) 12:15:30.58 ID:MSvSRMc4.net

リビルド中に負荷かけるのって場合によっては完全死亡フラグだよねｗ
壊れないはずだからと重要データのバックアップ取らないのもどうかしてる

831 ：不明なデバイスさん：2014/03/06(木) 06:56:41.27 ID:Lj6DTPus.net

ありがちな死亡フラグ��

�@ 「この戦争が終わったら、俺、結婚するんだ」��
�A 「いいか、俺が帰ってくるまでここを動くんじゃないぞ」��
�B セックスする前のシャワー��
�C いわく付きの場所で若者がいい雰囲気��
�D 「必ず戻ってくるから」「必ず迎えに来るから」��
�E 「この中に犯罪者がいるかもしれないのに一緒に寝れるか！俺は自分の部屋に戻るぞ！」��
�F 「明日は娘の誕生日なんだ」��
�G この最後の仕事を終えたら足を洗うと決意してる状態��
�H 「この仕事が終わったら２人で暮らそう」��
�I 「××様が出るまでもありませんよ。ここは私めにお任せを…」��
�J 今まで目立たなかった脇役が急に目立つ��
�K 「今度の仕事でまとまったカネが入るんだ」��
�L 「おのれ〜！ええぃ、出合え！出合えーぃっ！！ 」��
�M 「おいガキ！足手まといになる様なら、容赦なく置いていくからな！」��
�N��「私に構わず早く行って！…アナタは私達みんなの希望なの！こんなところで死なせはしない！」��
�O 今まで苦労ばかりかけて泣かせてきた家族や恋人宛にプレゼントを買いに行く��
�P 「父さんにもしもの事があったら…その時はお前が母さんや妹を守るんだ…いいな？」��
�Qリビルド中の高負荷

832 ：不明なデバイスさん：2014/03/06(木) 08:04:15.39 ID:FK0qU1cf.net

リビルド中の高負荷つーか、リビルドそのものが高負荷なわけでｗ

RAID6のHDDが1台死亡→交換してリビルド→リビルド中に別のHDDが死亡

ていう事が某データセンターで実際に発生した事がｗｗｗｗ
別媒体へのバックアップ？やってるわけ無いｗｗｗ

833 ：不明なデバイスさん：2014/03/06(木) 12:39:43.95 ID:9YLLT/2p.net

そんな想定内の珍しくない話をされましてもｗ

834 ：不明なデバイスさん：2014/03/06(木) 13:28:30.64 ID:cmlje4xd.net

RAID6なら2台死んでも想定内ダロ

835 ：不明なデバイスさん：2014/03/06(木) 13:40:15.49 ID:9YLLT/2p.net

同様にヘタってた別のHDDが連鎖的に壊れたとか
ファームウェアやハードウェアが悪くて過負荷でクラッシュとか

836 ：不明なデバイスさん：2014/03/31(月) 13:45:21.99 ID:eMNfTyiN.net

InfiniBand プログラムに必要な基本的な概念
www.nminoru.jp/~nminoru/network/infiniband/iba-concept.html

素晴らしい資料

837 ：不明なデバイスさん：2014/04/01(火) 10:41:15.94 ID:ix6eFyEm.net

おお、すばらしいね。あと標準的なコマンド群（含ベンチマーク用）の解説がちょろっとあれば完璧。

838 ：不明なデバイスさん：2014/06/30(月) 16:38:40.11 ID:HTq8FnrA.net

www.geocities.jp/andosprocinfo/wadai14/20140628.htm
IntelがやっぱりCPUにInfiniband(互換)を集積してきたね。コンシューマ向けは来ないだろうけど。

839 ：不明なデバイスさん：2014/06/30(月) 18:50:24.97 ID:I7xk59oh.net

CPUって言うけどXeon Phiじゃん

840 ：不明なデバイスさん：2014/07/02(水) 08:14:11.42 ID:h1B780ZY.net

>ファブリックを集積するのは当然の方向ですが，InfiniBandの雄のMellanoxにとっては憂慮すべき事態で，どのような対応を取るのかも興味が持たれます。

NVIDIAとAMDにIPライセンス提供でグラボにIB載せる方針でｗ

841 ：不明なデバイスさん：2014/07/02(水) 09:37:27.93 ID:bfXeq1ok.net

グラボにIBとか、って思ったけどtesla用にhicとか必要だしアリなのかも。

842 ：不明なデバイスさん：2014/07/02(水) 11:46:30.68 ID:nxMwd+7u.net

>>840
NVLinkってのが発表されてた

843 ：不明なデバイスさん：2014/07/08(火) 14:01:47.39 ID:BqRXsEpS.net

NVLinkより半2重、というのが興味深いよね。実質通信なんて片方向にしか１度には起きないわけで、
全2重は無駄といえば無駄だし。だけどクロックどうしてんだろ。embedにしたら同期するまで時間かかるし、
下手に分離とかするとどこかの特許にひっかかりそうだし。あと光との相性が悪いか。

844 ：不明なデバイスさん：2014/09/05(金) 19:18:07.16 ID:k09LHYvu.net

過疎スレにメモ：
FJT0D90200009（富士通OEMのMHQH19B）、CX4にしたときにリンクアップするのに疎通しない相手先があって、
IBでは使えるんで放ってあったんだけど原因判明。flint dcのeth_rx_lane_polarity_port1=0x1を0x0にしたらOK。

845 ：不明なデバイスさん：2014/09/17(水) 08:59:10.61 ID:1H23Fgmb.net

富士通oemのsdr Dualport HCA買いました
初inifinibandなんでドライバー入れて認識させるまでドキドキです

846 ：不明なデバイスさん：2014/09/17(水) 14:19:56.49 ID:+sQpF3OO.net

>>845 オメ。でも >>795 だと思う。
まあいろんなボードやケーブルあったほうが楽しいし（ｗ

847 ：不明なデバイスさん：2014/09/18(木) 03:23:02.02 ID:SRR2mtLN.net

>>846
スイッチ込みなのでsdrがお財布の限界でした…
なお、esxi5.5にinfinihost IIIを認識させる方法が見つからず、詰んでおります…

848 ：不明なデバイスさん：2014/09/18(木) 09:03:58.25 ID:6FOrdwju.net

>>847
ESXiだと、5.0以上はConnect-X2以降じゃ無いと、使えなかったような。
InfiniHost系は認識すらされず、Connect-Xは、認識されてドライバも入るけど、疎通不可だったような・・・
ここの過去スレか、ソフトウェア板のESXiの過去スレか、どっかにあったはず。
5.0未満なら、使えるはず。

Windows系も含めて、もうConnect-X以下のサポートバンバン切られてるから、
>>795こういう意見になるのかと。
別にQDRとして使わなくても、SDRでリンクするから、あえて古い世代選ぶ必要、無いんだよね。
ここの所の雰囲気だと、Connect-X2系も、そろそろヤバメではあるんだけど。。。

849 ：不明なデバイスさん：2014/09/18(木) 09:17:59.38 ID:onvUpuGz.net

ConnectX-2よりもInfiniband自体がヤバメ、というか（笑）

CX4-QDRケーブルでSDRスイッチとつないでリンクアップもできるんで、ConnectX-2系に乗り換えるのもいいかと。

850 ：不明なデバイスさん：2014/09/18(木) 09:21:20.35 ID:SRR2mtLN.net

>>848
理解しました。
スピードネゴしてくれるの完全に頭から抜けてたんで、qsfp to sff8470とかで対応しようと思います。
connectx2探してきます

ありがとうございます！

851 ：不明なデバイスさん：2014/09/19(金) 00:05:00.21 ID:pbkgkNXa.net

3年使ってたConnectX2-VPIが突然死した
eBayでまた調達しないと…

852 ：不明なデバイスさん：2014/09/19(金) 11:00:10.29 ID:G2l4CI/c.net

円安だしヤフオクの方が安いんじゃない？
無くなったけどMHQH29CがeBayでも見たことない値段だった。

853 ：不明なデバイスさん：2014/09/19(金) 15:30:33.80 ID:P4zDC9lb.net

mellanoxで検索すると出るよ。ロープロファイルが欲しいなら9000円ので、フルがいいのならこれかな。

854 ：不明なデバイスさん：2014/09/19(金) 16:34:52.85 ID:G2l4CI/c.net

でも3年後を考えるとConnectX-3ってことなのかな？
ebay調べたら
ConnectX3 $400
ConnectIB $800
ぐらいだった。ConnectIBはまだ落ちてきてないみたい。

855 ：不明なデバイスさん：2014/09/19(金) 17:14:54.26 ID:G2l4CI/c.net

値段調べてたらConnectX-3が欲しくなってしまった

ConnectX-3 VPI
　PCIe3.0 x8
　QDR,FDR10,FDR14,40GigE,10GigEタイプが混在

ConnectX-3 Pro
　PCIe3.0 x8
　FDR14,40GigE,56GigE

Connect-IB
　PCIe2.0 x16,PCIe3.0 x8,PCIe3.0 x16
　FDR14のみ？

856 ：不明なデバイスさん：2014/09/20(土) 16:04:37.33 ID:mUO+8D0f.net

CoonectX-3、ヤフオクでいつもの人がもっと安く出してるよ。

857 ：不明なデバイスさん：2014/09/20(土) 18:25:44.90 ID:WWvD/IAs.net

ENだから違う

858 ：不明なデバイスさん：2014/09/21(日) 17:38:34.24 ID:lJzeNqTb.net

あ、本当だ。すいません。

859 ：不明なデバイスさん：2014/09/24(水) 10:01:33.72 ID:w6r/KawC.net

mellanox QSAを調達したのでSFP+の試験。といっても
MHQH19B(FJT0D90200009、polarity_port1変更済)およびMHQH29C(MT_0FC0110009)で
問題なくSFP+DAおよびLR(Brocade 57-0000076-01)で動作した。つまらん（ｗ

QSA、構造のわりに値段が高いけど、これがあるとConnectX-2のつぶしが効く(IB-QDRでも
10GBe-SFP+でも10GBe-CX4でも使える）のでなかなか良いかも。

860 ：不明なデバイスさん：2014/09/24(水) 10:12:40.15 ID:w6r/KawC.net

あ、一応、QSAはopticsを刺すと放熱的に問題ありそうなので、たぶんメラ的にはDAしか薦めてないと思う。

861 ：不明なデバイスさん：2014/10/13(月) 11:07:26.40 ID:0GTHmU44.net

(ESXi5.5 + ConnectX-2 + OFED 1.9.10)*2台直結 10GbE にしてみた。
ゲストOmniOS同士、vmxnet3s だと IPoIB でも 10GbE でも大差ない。
iperf 60秒平均で6Gbpsほど。EnableLRO=0 にしないと安定しない。
ESXi上にはストレージアダプタでiSERが出てくるけど、
ゲスト視点ではNIC vmxnet3sだけなので、遊べない。
SR-IOV動く使えるマシンならゲストからでもiSER提供できるんでしょうか?

862 ：不明なデバイスさん：2015/02/04(水) 09:14:02.60 ID:kOADHgCC.net

Mellanox WinOF Rev 4.90.50000が出てたけど、
ついにConnectX-2 adapter cards Unsupportedｷﾀｰ。

まぁ、雰囲気そんな感じはしてたけど。

次期Windowsからは、10GbEカードとして使うしか、
無くなるかなー、Inboxドライバが入ればだけど。。。

863 ：不明なデバイスさん：2015/02/08(日) 16:19:54.99 ID:KXDz9QA/.net

IBよりもEtherがメインになっちゃってるから仕方ないかもね。IB関連で何か新機能あるんだっけ？
でも次期windowsでもorcaでごにょればきっと前のWinOFが入るから気にしない。

864 ：不明なデバイスさん：2015/02/09(月) 01:58:26.02 ID:CMw06GPO.net

次期Windowsの頃には10GBase-T環境がもうちょっと手が出る値段で買えるといいなあ
InfiniBandスレで言うことじゃないことかもしれんけどさｗ

865 ：不明なデバイスさん：2015/02/09(月) 09:15:26.95 ID:Xf/nI/nG.net

10GBase-Tはカード側はオクで1万〜2万程度で出物があるけど、ハブ側がねぇ。
消費電力もばかにならないし。個人でやるのならSFP+が正解だと思う。

866 ：不明なデバイスさん：2015/02/16(月) 00:53:24.30 ID:ERIY5h4U.net

遅ればせながら家庭内IB環境作りたいなと物色中です
やりたいのは
ESXi<--OmniOS-->Linux(Xen)
での2vs1の接続なんですが
今だとお手軽に始めようと思うとConnectX-2あたりをオクで仕入れるのが無難でしょうか？
(新しい世代に越したこたないのは確かですが、ConnectX-3はさすがにお小遣い的に手が出ない）
この場合、仕入れるのはDualPort1枚+SinglePort2枚、SFP+ケーブル２本、で良いですよね？
また、上記構成の場合、SMはOmniOSに入れる必要がありますか？Linux側でも良いでしょうか？

867 ：不明なデバイスさん：2015/02/16(月) 08:34:34.50 ID:0fwP0lw8.net

ConnectX2 の IB なカードは、QSFP。
SMは2つ必要。(1) ESXiかOmni (2) OmniかLinux
でもOmni用のOpenSMは見つからないと思うので
必然的にESXiとLinux上に。

868 ：不明なデバイスさん：2015/02/16(月) 17:18:03.55 ID:gIkxzs3r.net

ん？ESXiでOpenSM動くんだっけ？
ESXで動く物は有ったけど、ESXiで動くものは無かったような？少なくとも公式では。

Solaris系をストレージにする限り、ESXiは無理な気がする。
ZFSでストレージ作りたい＆IB使いたいなら、Linux+ZFS on Linuxか、
FreeBSDで作るしか無いんじゃない？
後は、OpenSM積んだ、マネージドスイッチを使うか。

869 ：不明なデバイスさん：2015/02/16(月) 21:33:04.10 ID:J9FERcLf.net

SolarisとESXi両方で動かしてるよ

870 ：不明なデバイスさん：2015/02/16(月) 21:44:02.59 ID:0fwP0lw8.net

>>868
もちろん公式ではありませんが
ttp://www.bussink.ch/?p=1306
で。

871 ：不明なデバイスさん：2015/02/16(月) 22:42:16.26 ID:gIkxzs3r.net

へー、ビルドしてくれてる人居るんだ。
まぁそれならそれ使っても良いかもね。

うちは、随分前にHyper-V+FreeBSD ctldに乗り換えちゃったんで、
ESXiでIBの情報はそんなに追っかけてなかった。
最近FreeBSDのtargetの開発著しいんで、Solarisに戻る事はないかなぁ。

872 ：不明なデバイスさん：2015/02/17(火) 10:33:41.61 ID:j2sNM51B.net

>>869
情報ありがとうございます
商用利用でもない自宅環境ので、野良ビルドでもいいのでESXiにopensm突っ込もうと思います
napp-itの楽ちんさに慣れてしまったので、FreeBSDに乗り換えるのが億劫なのでｗ

873 ：不明なデバイスさん：2015/02/20(金) 17:35:45.08 ID:CtH6X0qi.net

ちなみにConnectX2の2ポート品だとPCIe側の帯域が足らないよ。同時にがっつり使わなければ大丈夫、
というかがっつり使うと他の部分がどうせ間に合わないけど。

874 ：不明なデバイスさん：2015/02/20(金) 19:21:19.60 ID:FZXM01WY.net

まぁ大丈夫っしょ。
がっつり使わなくても、ストレージが最初に根を上げる（SSDのRAIDじゃ無い限り）、多分。

875 ：不明なデバイスさん：2015/02/26(木) 09:21:37.99 ID:k99ZkXqy.net

すまん、教えてください。
QDRのHCAとケーブル使って、DDRのスイッチ利用して通信って可能なのだろうか？もちろん、速度は落ちることはわかってるけど、ネットワークハブみたいに互換性ってあるのかどうかわからずで、、、。

どなたか教えて下さい！！

876 ：不明なデバイスさん：2015/02/26(木) 13:22:10.37 ID:z0y2CIH/.net

>>875
スイッチがDDRなら、DDRでリンクするよ。

877 ：不明なデバイスさん：2015/02/26(木) 21:47:44.95 ID:6opmRDu2.net

ありがとです！！早速購入しますっ！！

878 ：不明なデバイスさん：2015/03/18(水) 06:10:13.75 ID:O5cA0c/Y.net

再び、教えて下さい！！
ConnectX2のQDRで二台のPCを繋いでいるが、どうしても速度がでない。iperfで6Gくらいしかでない、、、。リンクは40Gだし、ケーブルも中華な人からebayで購入したけどQDR対応。

二つのマシンは片方がAMDのAPU A-3650でメモリ8G、もう一方がi7の4790でメモリ32G。両方ともcentos6.6でドライバーはmellanoxのです。ファームも2.9にしてる。
マシンの差によって速度がこんなに変わるかな？？

879 ：不明なデバイスさん：2015/03/18(水) 08:10:28.01 ID:7MrWvc0/.net

>>878
ドライバーのバージョンとか構成とかなしでは何とも。
単にTCP的に頭うちしてるのかも。
iperf -w を送受両端で十分に大きくする。
iperfを複数同時実行して、TCP本数増やしてみる。

880 ：不明なデバイスさん：2015/03/19(木) 16:40:54.75 ID:5P/PZ0rn.net

>>878
とりあえずCnQとC3〜C7ステートoffってからだな。
後はネットワーク周りのチューニングがどうなってるか。

881 ：不明なデバイスさん：2015/03/21(土) 09:51:46.51 ID:BDCv4bg/.net

すんません、情報不足で、、、。
以下、ibstatの内容です。GUIDは削ってます。

CA 'mlx4_0'
CA type: MT26428
Number of ports: 1
Firmware version: 2.9.1000
Hardware version: b0

Port 1:
State: Active
Physical state: LinkUp
Rate: 40
Base lid: 1
LMC: 0
SM lid: 1
Capability mask: 0x0251086a
Link layer: InfiniBand

まずは、上記でいただいたことを試してみます。

882 ：不明なデバイスさん：2015/03/21(土) 11:30:48.21 ID:BDCv4bg/.net

iperf3 -c DestinationIP -P 4 -w 1M
とかにしてみましたが、変わらずでした。。。Windowを大きくしたり、本数換えてみたりしましたが、最終的には、こんな感じになってしまいます。。。

TCPの頭打ちってどうやって調べるんでしょうか？
ちょっと調べて見たんですがわからなくて。。。

念のため、iperfの結果を。。。
―――――――――――――――――
Connecting to host 192.168.2.10, port 5201
[ 4] local 192.168.2.1 port 37266 connected to 192.168.2.10 port 5201
[ ID] Interval Transfer Bandwidth Retr Cwnd
[ 4] 0.00-1.00 sec 699 MBytes 5.86 Gbits/sec 0 424 KBytes
[ 4] 1.00-2.00 sec 698 MBytes 5.86 Gbits/sec 0 424 KBytes
[ 4] 2.00-3.00 sec 700 MBytes 5.87 Gbits/sec 0 424 KBytes
[ 4] 3.00-4.00 sec 696 MBytes 5.84 Gbits/sec 0 424 KBytes
[ 4] 4.00-5.00 sec 698 MBytes 5.86 Gbits/sec 0 424 KBytes
[ 4] 5.00-6.00 sec 696 MBytes 5.83 Gbits/sec 0 424 KBytes
[ 4] 6.00-7.00 sec 695 MBytes 5.83 Gbits/sec 0 424 KBytes
[ 4] 7.00-8.00 sec 698 MBytes 5.86 Gbits/sec 0 424 KBytes
[ 4] 8.00-9.00 sec 698 MBytes 5.84 Gbits/sec 0 424 KBytes
[ 4] 9.00-10.00 sec 698 MBytes 5.86 Gbits/sec 0 424 KBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth Retr
[ 4] 0.00-10.00 sec 6.81 GBytes 5.85 Gbits/sec 0 sender
[ 4] 0.00-10.00 sec 6.81 GBytes 5.85 Gbits/sec receiver

883 ：不明なデバイスさん：2015/03/21(土) 15:45:03.02 ID:eLWTIgqq.net

-P 4 での Sum は?

884 ：不明なデバイスさん：2015/03/21(土) 15:59:53.86 ID:eLWTIgqq.net

ttps://fasterdata.es.net/host-tuning/linux/
ttps://fasterdata.es.net/host-tuning/40g-tuning/
他、勉強になりますね。

885 ：不明なデバイスさん：2015/03/21(土) 16:01:28.74 ID:eLWTIgqq.net

つけわすれ
ttps://fasterdata.es.net/host-tuning/nic-tuning/mellanox-connectx-3/

886 ：不明なデバイスさん：2015/03/21(土) 16:06:51.59 ID:BDCv4bg/.net

sumも単独時と同じでした。なので、一本は1.4g程度でした、、、。

887 ：不明なデバイスさん：2015/03/21(土) 17:35:41.82 ID:Dz/qw046.net

AMD APUだとそんなもんかもしれんけど。linuxってvstatとか叩けないんだっけ？

888 ：不明なデバイスさん：2015/03/21(土) 17:59:05.57 ID:eLWTIgqq.net

cwnd 424KB までしかいってないってことは、
TCP 周り全然チューンしてないんと違いますか。

889 ：不明なデバイスさん：2015/03/22(日) 06:31:31.56 ID:ogMIGPMc.net

亀レスですみません、、、。

で、、、TCP周りとかちゃんと知っていなくて、色々調べましたが、いまいちよくわからなくて。。。
（ipコマンドなんかで設定変えてみたけど）

Connecting to host 192.168.2.10, port 5201
[ 4] local 192.168.2.1 port 37352 connected to 192.168.2.10 port 5201
[ ID] Interval Transfer Bandwidth Retr Cwnd
[ 4] 0.00-1.00 sec 727 MBytes 6.09 Gbits/sec 0 2.94 MBytes
[ 4] 1.00-2.00 sec 725 MBytes 6.08 Gbits/sec 0 2.97 MBytes
[ 4] 2.00-3.00 sec 728 MBytes 6.11 Gbits/sec 0 2.97 MBytes
[ 4] 3.00-4.00 sec 728 MBytes 6.10 Gbits/sec 0 2.97 MBytes
[ 4] 4.00-5.00 sec 726 MBytes 6.10 Gbits/sec 0 2.97 MBytes
[ 4] 5.00-6.00 sec 726 MBytes 6.09 Gbits/sec 0 2.97 MBytes
[ 4] 6.00-7.00 sec 726 MBytes 6.09 Gbits/sec 0 2.97 MBytes
[ 4] 7.00-8.00 sec 728 MBytes 6.10 Gbits/sec 0 2.97 MBytes
[ 4] 8.00-9.00 sec 726 MBytes 6.10 Gbits/sec 0 2.97 MBytes
[ 4] 9.00-10.00 sec 728 MBytes 6.10 Gbits/sec 0 2.97 MBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth Retr
[ 4] 0.00-10.00 sec 7.10 GBytes 6.10 Gbits/sec 0 sender
[ 4] 0.00-10.00 sec 7.10 GBytes 6.10 Gbits/sec receiver

>884,>885がくれたページでちょっと勉強してみます。

890 ：不明なデバイスさん：2015/03/23(月) 15:14:55.24 ID:nuvPBkz+.net

voltaire 2036(?)がオクに出てるな。不思議な型番になってるけど。

891 ：不明なデバイスさん：2015/04/17(金) 14:55:15.56 ID:F7lqCgBH.net

Omni-Pathって何なん？
タダでさえ限られたハイエンドインターコネクト市場を分断する意味あんのかな？

892 ：不明なデバイスさん：2015/04/21(火) 09:22:30.29 ID:pSon0oem.net

ハイエンドインターコネクト自体がローカルなものだからねぇ。
自社→ラック借り→クラウド借り、という流れの中ではなかなかInfinibandの出番はない、というか、
表面上には見えてこないから、スループットさえ出てれば中身はIBでも40GBeでもOmni-Pathでも
気にしなくなってるような。
＃という流れではやはりさくらの件は痛いな。

893 ：不明なデバイスさん：2015/04/21(火) 22:39:21.81 ID:iWzGX2cJ.net

世の中ビッグデータだー、データマイニングだー
なってるけど、そういう大量データが全部AWSやAzure上に集約されてクラウド上で機械学習なんかをするって
そりゃーそういうの可能なモノもあるだろうけど
やっぱりローカルでデータ溜め込んで、自社のクラスタPCで処理するってほうが
少なくともあと10年位は主じゃないかと思う

だからInfinibandでもOmni-Pathでもいいけど
今後も高速インターコネクトは中規模程度の会社でも導入できる値段であって欲しい

894 ：不明なデバイスさん：2015/04/22(水) 00:20:16.96 ID:Gwr1nSro.net

>>893
置くスペース的な問題があるんだよね
どうしても
自社にデータセンターもってても何百台となればね

895 ：不明なデバイスさん：2015/04/24(金) 13:22:48.91 ID:RxYa96i/.net

＞やっぱりローカルでデータ溜め込んで、自社のクラスタPCで処理する
「それはコストはどうなのかね？　クラウドと比較して理由書をうんぬん」
と言われてセキュリティがどうだとか言い訳沢山書かされる、と。

というかそういうのがない会社はうらやましー。

896 ：不明なデバイスさん：2015/04/24(金) 22:46:20.81 ID:Ak3kF0Xo.net

ビッグデータと言える程度のサイズのログデータなりをクラウドに溜め込んで
マトモな統計解析をHadoopなり何なりでやるなんてのを
日常的にパブリッククラウドサービスでやったら無茶苦茶な金かかるよ。
あれは、数回やったらそれでおしまいって案件に設備投資をしないためのもの。

897 ：不明なデバイスさん：2015/04/25(土) 01:06:04.41 ID:lNiI/PyI.net

えっ

898 ：不明なデバイスさん：2015/04/27(月) 10:03:11.28 ID:C+GaPeWE.net

HPCな需要は昔から計算機センタ、という名前で共用するのが当たり前だったような。

899 ：不明なデバイスさん：2015/05/27(水) 00:13:37.11 ID:mv49rLKq.net

Voltaire 4036 ジャンク

900 ：不明なデバイスさん：2015/05/27(水) 13:26:59.21 ID:clQxb9CN.net

filesystemエラー出まくってるね。さすがにこれを復旧するのは無理な気が。

901 ：不明なデバイスさん：2015/06/10(水) 11:20:24.83 ID:h6pT4NRM.net

sriovでinfinibandを複数のゲストに割り当てると外からどう見えるんだろうか
仮想的にポートが複数あるデバイスとして使われるのかな

902 ：不明なデバイスさん：2015/06/26(金) 14:48:47.24 ID:uWdZ5LtI.net

亀レス。
Server2012R2/HyperV/ConnectX2-2.9.8350/WinOF-4.80ではGet-VMSwitch | fl では
　IovSupportReasons : {このネットワーク アダプターは SR-IOV をサポートしません。}
というか原理的にIPoIBではsriovはサポートできない気がする。

903 ：不明なデバイスさん：2015/06/27(土) 00:51:27.33 ID:FPduUtAE.net

SR-IOVに対応するのはConnectX-3からでは？

904 ：不明なデバイスさん：2015/06/28(日) 17:42:08.34 ID:vIotSRNf.net

そうなんだ。connectx-3が手に入ったらやってみるね。

905 ：不明なデバイスさん：2015/07/19(日) 23:02:49.38 ID:jVKNgeMQ.net

InfinibandドライバがWindows 10でインボックスに
まあインボックスドライバで使う奴はいないと思うけど

906 ：不明なデバイスさん：2015/07/31(金) 09:48:49.89 ID:q1uIFkS9.net

でもおかげでconnectX-2でibとethを切り替える時にいちいちwinofドライバ指定しなきゃならなくて面倒。

907 ：不明なデバイスさん：2015/08/28(金) 18:29:06.86 ID:SJXUDahv.net

https://technet.microsoft.com/en-us/library/mt421238.aspx
＞Hyper-V Virtual Switch only supports Ethernet, and does not support any other wired local area network (LAN) technologies, such as Infiniband and Fibre Channel.

908 ：不明なデバイスさん：2015/08/29(土) 02:30:27.89 ID:h27M2kQ/.net

Infinibandは時代の徒花って事？

909 ：不明なデバイスさん：2015/08/29(土) 04:00:45.47 ID:RIMY7upc.net

Hyper-Vがゴミって事です

910 ：不明なデバイスさん：2015/08/29(土) 23:41:10.65 ID:WOfna8H4.net

それな

911 ：不明なデバイスさん：2015/08/30(日) 09:19:15.51 ID:JYL2bnBD.net

簡易システムであり続けることを選択したという。

912 ：不明なデバイスさん：2015/09/04(金) 09:12:33.65 ID:289s5xbk.net

Hyper-Vの仮想スイッチ機能っていわゆるアプライアンス（ファイアウォール、負荷分散、DPI等々）を仮想化するためのものだから、
Etherだけで十分、という判断では？

913 ：不明なデバイスさん：2015/09/04(金) 10:18:24.63 ID:lZozm7dD.net

Azureで必要になれば実装される

914 ：不明なデバイスさん：2015/09/05(土) 00:25:12.70 ID:Ed7YdjKB.net

>>912
L2が必要なのにIPoIBが使用できるわけねえだろ

915 ：不明なデバイスさん：2015/10/23(金) 21:32:01.76 ID:eTneqIQD.net

　2年ぶりにきました。ESXi4.1でとまっていますが、これはinifibandのしばりで
仕方ないかなと思っています。最近5.5系あるいは6.0系でmlx4が使えるとの
報告をみて、ちょっと気になっています。当方はconnect-X以前のinfinihost
なので、mthcaドライバが使えないと意味ないですが、5.5系か6.0系でmthca
使えている方いませんか？

916 ：不明なデバイスさん：2015/10/24(土) 00:04:35.33 ID:XgTR0J0W.net

正直mthcaをプロプラ環境で使うのは、もう諦めた方が良い。Connect-X 2ですら、怪しくなってきてる。

Connect-X 2ももう十分安くなってるから、これを機に、
買い換えること考えた方が良いかと。

917 ：不明なデバイスさん：2015/10/24(土) 15:43:24.87 ID:OWK97stD.net

　ebayみてきたらConnectX-2が50ドルぐらいでありますね。再度
infinibandで組んでみようと思います。情報ありがとうございました。

918 ：不明なデバイスさん：2015/10/29(木) 14:25:47.35 ID:L5J4H9FD.net

ヤフオクでも5000円ぐらいであるよ＞MHQH
でももうConnect-X2も怪しいしなあ。

919 ：915：2015/11/07(土) 22:59:22.13 ID:DrUaCq0/.net

　ebayからHCAが届きました。ConnectX-2の2ポートですが、一枚42ドルでした。yahooの方が
安く購入できたみたい。low profile bracketだったのはショック。ブラケットを再度購入するもの
面倒なので、ブラケットの詰めを伸ばして、適当に補強を入れて固定しました。MHQH29C相当の
OEMです。

以前はInfinihostでしたが、今度はQDRでオフロードもしてくれます。
Esxi5.5 update2　+　SRP + Ubuntu14.04( ZFS + LIO )な設定ですが、このサイトの情報のおか
げで設定できました。

ネットワークアダプタのところが、速度10000から40000に変化して大変気持ちがいい。ESXi5.xが
2018年、VMのCentOS6.xが2020年までのサポートですので、あと数年はこれでいけるでしょう。

920 ：不明なデバイスさん：2015/11/10(火) 10:19:40.98 ID:uQBRpujo.net

おめ。ヤフオクのconnect-X2の1ポート品はある意味値崩れしてるよなあ。
connect-X2はQSAアダプタ使うと10GBase-SFPにもなるから、Infinibandやめてもそこそこ使えるのがいいね。

921 ：915：2015/11/11(水) 07:04:08.29 ID:G0b7/m4V.net

　ありがとうございます。利用目的がESXiのＶＭでたいしたことやってないので、
環境的には過剰でしょう。まあ手段が目的なところもあります。
アダプタの件は、.>652、>859でも見ていて気になっていました。Ｉｎｆｉｎｉｂａｎｄの
終焉後も、2次利用できそうですね。だれか徒花って書いていましたが、技術的
に発展性がないからでしょうかね。個人的には10GbEよりいいものだと思います。

922 ：不明なデバイスさん：2016/01/20(水) 21:39:03.60 ID:j2YsH0vL.net

こんなスレがあったとは。もっと早く知ってれば…

最近IBを調べ始めました。1対1で直結するESXi用のZFSストレージを安く作りたく、
Primergy TX1310 M1とWDの4TBの赤4個を買いました。SANネットワークは8Gbpsの
FCかQDRのIBで迷ってます。

・中古価格は、HBA (HCA) はだいたい同じくらい、ケーブルはFCが安い
・簡単でトラブル起きにくそうなのはFC
・スイッチはどちらも高いので買わないけどIBの方は将来手が届きそう
・OSは、FCだとLinuxもSolarisもOK、IBだとLinux一択（OpenSMがSolarisで動かないため）
・速度は（カタログ数値なら）圧倒的にQDR IB

こんな認識で合ってますか？

923 ：不明なデバイスさん：2016/01/20(水) 23:18:38.61 ID:1LOmrt6V.net

頭痛が痛い

924 ：不明なデバイスさん：2016/01/21(木) 02:14:54.01 ID:oaSW0jRp.net

関係無いけどちなみにメモリはいくら？

925 ：922：2016/01/21(木) 02:43:37.88 ID:jb96ISIz.net

TX1310のメモリは8GB

926 ：不明なデバイスさん：2016/01/21(木) 03:09:53.08 ID:GXgdraJH.net

スイッチはFCの中古が安いかもナ。

927 ：不明なデバイスさん：2016/01/21(木) 11:44:25.52 ID:LEArpA3a.net

>>922
【SAN,NAS】ストレージ鯖総合【iSCSI,FC,IB,10GbE】
http://peace.2ch.net/test/read.cgi/hard/1321055812/

こっちでも良さそうな内容ではあるが、多分見てる人は同じだな（笑

4Gまでならスイッチ考えても、恐らくFCが一番安くて手っ取り早い、
直結なら８Gもあり、スイッチはどうだったか・・・中古の玉が少ないかも。
IBスイッチは、まぁDDRまでならともかく、QDRは絶望的かな。有ってもFC程安くない。

latencyは圧倒的にFC、SRP/iWARPが使えれば、IBでも？
IPoIBでiSCSIだと多分勝負にならない。

targetはFreeBSDでもいけるけど、IBだと一手間かかる、FCはwwnのアクセス制御が
まだ実装されてない。
FCならQlogic鉄板、間違ってもEmulexは買わないように。targetとして使えん。少なくともSolaris系とFreeBSDは。
Linuxは知らん。（知ってる範囲で、出来たって情報見た記憶が無い）
Initiatorならありだけど、あえて選ぶ必要は多分無い。

928 ：不明なデバイスさん：2016/02/03(水) 01:23:04.51 ID:yTeaPjWA.net

ConnectX-2を入手しました。最終的にはWindows10でSRPをしたいんですが
WinOF-3.2が入りません。このスレの上の方に出てくるorcaってなんですか？

929 ：不明なデバイスさん：2016/02/03(水) 01:59:56.68 ID:yTeaPjWA.net

レイテンシーはFCとSRPで比較してFCのがいいんですか？SRPだと思ってました。
なんとなく。

FCは自分もCOMSTARでかなり苦労しました。emulexとqlogicで4G，8G，合計4パターン
全部試してqlogicは全勝，emulexは全負でした。oracleの公式サイトではemulexも
行けそうなふうに読めるんだけど…

930 ：不明なデバイスさん：2016/02/03(水) 02:01:31.52 ID:yTeaPjWA.net

>>929は>>927へのコメントです。

931 ：不明なデバイスさん：2016/02/03(水) 11:13:56.85 ID:Ua3q8SeF.net

orcaはmsiをいじるツールで、orca msiで検索すればダウンロード先とかわかると思う。
ACT（互換性データベース）のほうを編集する手もあるけど、これもごにょり技だよなあ。

932 ：不明なデバイスさん：2016/02/03(水) 14:52:23.98 ID:4ws8gJvv.net

>>929
Emulexでのtarget。確かに使えそうな書き方されてるけど、駄目なんだなーこれが。
どっかで試した人の情報見た気がするけど、成功した記録無し。

現行世代のLPe16xxx(一部LPe15xxx)に限っては、
http://www.emulex.com/downloads/emulex/onecore-storage-drivers/overview/
Emulexが公式でSDK出したので、多分targetとして使える。
ま、現行世代のカードなんて高くて使えんから、試せてないけど。

レイテンシーはSRP/iWARPの方が良いかも？
結構環境が限られるんで、自分もテストはしてない。
SRP/iWARPでまともなtargetってSolaris系一択？Linuxがよく分からん、使わないので。
Initiator側がOFEDポシャったおかげで、Windowsで使うのは面倒になったし。
仮想系のインフラ組んでる人が使うぐらい？

933 ：不明なデバイスさん：2016/02/03(水) 23:10:15.19 ID:yTeaPjWA.net

>>931
ありがとう。しかしよくわからないのでVisual StudioとかWindows SDKとかたくさん
入れてみるもorcaが見当たらず。まだまだ先は長そうです。まさか
Windowsやinitiator側で苦労するとは思わなかった…

>>932
solarisはopensmが動かないのが痛恨。

934 ：不明なデバイスさん：2016/02/04(木) 18:16:28.89 ID:KxpO74Mr.net

>>931
orcaでLaunchConditionの(VersionNT=601) [ProductName] requires Widnows 7 or Server 2008 R2 to install.をdrop row してインストール試みました。
Windows 7 or Windows 2012 R2うんぬんというエラーは出なくなりましたが

OpenFabrics Enterprise Distribution v3.2 (GA) x64 Setup Wizard ended prematurely

と出てインストール中断します。何を調べればいいですか？

935 ：不明なデバイスさん：2016/02/06(土) 14:18:24.04 ID:Lzj5wgzL.net

だとするとWinOF-3.2とWin10ではだめなのかもしれん。

936 ：不明なデバイスさん：2016/02/06(土) 14:24:29.05 ID:Lzj5wgzL.net

そういやConnectX-2ならMLNX_OFEDのちょい古い版とかでいいんじゃない？ SRPがだめなんだっけ？

937 ：不明なデバイスさん：2016/02/07(日) 22:50:56.47 ID:SwdVZWY/.net

ConnectX-3をゲットした
SR-IOVを使ってみたけどゲストの2012R2で動かん
VirtualFunctionEthernetAdapterは認識はするけど
ドライバがだめっぽい

ちなみにホストはproxmox(debian8.3)なんだが
ゲストがdebian8.3なら動作した

WinOFの更新待ちかな

938 ：不明なデバイスさん：2016/05/03(火) 23:53:36.96 ID:yTn19sKj.net

どっかに落ちてないかな

939 ：不明なデバイスさん：2016/05/04(水) 01:22:40.71 ID:GYC3vzdJ.net

うーむ、やっぱりqdrケーブルだと56gbeでリンクしないか
あとConnectX3は公式ファームじゃないと56gbeでリンクしてくれない
しかしOEM用のファームはなぜ公式と設定が違うのだろうか

940 ：不明なデバイスさん：2016/05/12(木) 10:04:19.31 ID:ESzPQ74C.net

gbeなのか？

FDRとかFDR10とかブランディングで制限かけてるだけだったり＆混乱してるからかもしれない。＞56Gbps

941 ：不明なデバイスさん：2016/11/11(金) 17:32:42.02 ID:hTPjvsQf.net

voltaire 4036がオクに出てる。なんかファンのところによごれ見えるけど。

ちなみにクソ五月蠅いよ。当たり前のことだけど書き込んでみました。

942 ：不明なデバイスさん：2016/11/13(日) 21:10:04.80 ID:rTm+feMM.net

KVM環境でSRIOVがまともに動くようになってるな
56GB x2 portのsmb directが物理仮想間でちゃんと動く

943 ：不明なデバイスさん：2016/11/25(金) 10:21:22.45 ID:+llrVi8C.net

http://itpro.nikkeibp.co.jp/atcl/column/16/111800261/112100002/?P=2

944 ：不明なデバイスさん：2017/04/01(土) 23:48:24.97 ID:iTocyRPe.net

うーん、OpenSM起動しない・・・

945 ：不明なデバイスさん：2017/04/15(土) 12:31:50.40 ID:OmvYEFzt.net

久々にやってきたけど、このスレまだ続いてたんだ。
うれしかったので、ネタ投下。
ConnextX-3のMCX354A-FCBTのOEM版使ってる人は自己責任だけど、Mellanox版のものに変更できるよ。
https://forums.servethehome.com/index.php?threads/connectx-3-hp-to-mellanox-firmware-help.12452/
OEM版だと40GbE制限あったけど、上記の書換した後は56GbEがちゃんと出てきた。

>942
見られてないと思うけど、56GBx2ってIBでしょうか?
自分のKVM環境だとWindows 2012R2 の仮想マシンのEtherでSMB Directが動かないっす。
IBの方だと、SMB Direct動いてるんですが。

>944
環境書いてくれたら、ヘルプできるならするよー

946 ：不明なデバイスさん：2017/04/15(土) 19:48:11.64 ID:OVyYBDwU.net

知人からコネクトx2を何枚かタダで貰ったんですけど（背面シールにはMHQH19B-XTR Rev.A1）
コネクトx2ってうるおぼえですがファームを入れ替えて10GbEとしても使えたように記憶しています

WIN-WIN間のファイル共有が高速になってくれれば十分なんですが、インフィニットバンドとして
使うのと10GbEで使うのはどっちがいいんでしょうか？
スイッチとかは無いので2台のマシンを直結の予定です

947 ：不明なデバイスさん：2017/04/15(土) 20:58:35.12 ID:OmvYEFzt.net

>946
その型番なら、ファーム入れ替えしなくても10GbEで使えるよ。
あと、使ってるWindowsがServer系か10とか8.1とかProとかHomeとかで違ってくるので、
いまの情報だと、どっちが良いかは言えないかな。
楽なのは、10GbEとして使うのが楽だと思う。
Windows Server 2012以降とWindows10Enterpriseで、ストレージが1GB/s以上でるなら
インフィニバンドでの接続を薦める。

948 ：不明なデバイスさん：2017/04/16(日) 14:26:43.77 ID:yo3fUb6X.net

SGIのNUMAのように、InfiniBandで接続した複数のノードを1台の仮想的なSMPマシンに見せかけるソリューションはありませんか？

949 ：不明なデバイスさん：2017/04/16(日) 15:17:37.33 ID:UC4qbPkZ.net

>>946
ブツがタダで流れてくるなんて羨ましいなぁ
ファイル共有なら10GbEで使うのが普通っぽいけど
インフィニにした場合共有形態はどうなるんだ？

950 ：不明なデバイスさん：2017/04/16(日) 17:07:01.76 ID:Knr7cwku.net

>>949
ConnectX2だと、WinでRDMA使えん気がしたので、
SMB Directは無理。
そうすると、IPoIBでCIFSしか無いのでは。

951 ：不明なデバイスさん：2017/04/16(日) 17:17:30.63 ID:LLNX3LoS.net

ファームのバージョン上げればConnectX2でもリモートDMA使えたと思ったが
最新の2.9.1000なら使えたような気が

952 ：不明なデバイスさん：2017/04/16(日) 17:36:41.01 ID:zPRwP/lp.net

>950
確か、WinOFの4.70辺りのFirm当てたらRDMA使えるようになるはず。
質問者のカードだと多分いけるけど、MHZH29B-XTRはダメだった。
MHQH29B-XTRは行けたけど。

953 ：不明なデバイスさん：2017/04/16(日) 22:12:50.09 ID:zxlDdvEW.net

>>948
ないと思う。openMPIなりでセコセコ書くしかないかと。

954 ：不明なデバイスさん：2017/04/16(日) 22:20:14.42 ID:zxlDdvEW.net

そういやopenmpのほうはInfinibandに載るのかな？そんなライブラリがofedにあったようななかったような。
載るならMPIを意識せずに書けるね。遅いだろうけど。

955 ：不明なデバイスさん：2017/05/20(土) 08:55:03.46 ID:99THfoCe.net

Mellanoxのカスタムファームウェアダウンロードするページ無くなった？
oemに純正のあたるのかなぁ

956 ：不明なデバイスさん：2017/05/23(火) 00:14:15.01 ID:tZy0OIh6.net

>>955
ちょっとこれちょっと気になりますねー
気になりますねー、これ。ちょっと気になりますねー
最近OEMのConnectX-2を買ったところなので私、すごく気になります

957 ：不明なデバイスさん：2017/05/25(木) 09:12:19.18 ID:1Y7WW9R+.net

HPのconnectX3買って56G対応のケーブル付けたらOEMファームでも56Gでリンクした。IBMブランドの00D9552は公式ファームにしても40Gのリンクだった。残念。

958 ：不明なデバイスさん：2017/05/25(木) 09:20:43.91 ID:qm5PyFC4.net

俺の使ってるHPのはデフォだとだめだったな
カスタムファームウェアで56G用のリンク設定書き込んだらいけた

959 ：945：2017/05/26(金) 03:38:59.84 ID:IShtCY/1.net

>955
自分が書いた時点では､まだカスタムファームは
http://www.mellanox.com/supportdownloader/
のページから落とせたけど､今確認すると無くなってるね｡
(こっそりみたいな感じでカスタムファームへのリンクあったんだけど)
カスタムファームはSTHのページからのリンクからは落とせるからそっちから落とすしかないかな｡
http://www.mellanox.com/downloads/firmware/disclaimer.php?download=/downloads/firmware/ConnectX3-rel-2_40_5030.tgz
は､まだ落とせるからこっちから落として､一回純正PSIDへ書換しやってやる必要がある｡
flind -d /dev/mst/mt4099_pci_cr0 q
で､PSIDがMT_1090120019(これ多分カードによるので注意) に書き換わってたら､
あとは､LinuxのMLNX_OFEDでFWバージョンアップしてやったら､最新のFWに書き換わってた｡
これは､あくまで自分でやって成功した事例なので､参考までに｡

>957
OEM先によっていけたりいけなかったりするのね｡
参考になりました｡

>958
HPでも駄目なやつあるんだ｡
自分でも､純正のカードとHPのOEMカードで設定の比較してみたけど､かなり違うよね｡
純正はConnectX3-rel-2_40_5030.tgz ベースで比較したけど､HPの設定項目が少なくて
えらい純正と差を付けてるなーと思った｡

HPのカードで､純正書換いけたカードリビジョン見てみるよ｡
カードのリビジョンによってはいけたりいけなかったり有るかもしれないので｡

960 ：不明なデバイスさん：2017/11/02(木) 08:11:37.71 ID:kRAC/zqA.net

MLNX OFED 4.2やっと公開か
これでDebian9に入れられる

961 ：不明なデバイスさん：2017/11/03(金) 14:53:15.67 ID:zCiqPSUt.net

インフィニットバンドはケーブルが太すぎて取り回しがえらい
１０Ｇベースに走ってしまうわ

962 ：不明なデバイスさん：2017/11/03(金) 16:08:33.38 ID:GK+LHFGv.net

その単語で登録されてるんだ。

963 ：不明なデバイスさん：2017/11/04(土) 01:59:47.42 ID:lzNs/RaI.net

そういうわざとやってるかまってちゃんは黙殺推奨

964 ：不明なデバイスさん：2018/01/01(月) 19:09:25.80 ID:zbLcFcaT.net

興味がある人だけどうぞ。ネット小遣い稼ぎ方法など。

グーグル検索⇒『工藤のジョウノウノウ』

YEDQIKDYF4

965 ：不明なデバイスさん：2018/01/02(火) 17:25:56.18 ID:sXYqtjyB.net

インフィニ

966 ：不明なデバイスさん：2018/07/05(木) 10:22:59.50 ID:to6k2B8a.net

友達から教えてもらった自宅で稼げる方法
興味がある人はどうぞ
検索してみよう『ネットで稼ぐ方法 モニアレフヌノ』

CQR

967 ：不明なデバイスさん：2018/08/26(日) 04:07:04.19 ID:heIPyWlT.net

いくらなんでも寂れすぎ

968 ：不明なデバイスさん：2018/09/07(金) 13:23:43.46 ID:aZGDeoGt.net

個人ではうるさすぎるからねー。

969 ：不明なデバイスさん：2018/09/07(金) 23:31:49.96 ID:GqBleuM5.net

うるさい？何が？何がうるさいの？うるさいって？
何がうるさいの？うるさいって何が？

970 ：不明なデバイスさん：2018/09/08(土) 00:34:37.02 ID:zWil2rKR.net

突っ込み待ちですねわかります

971 ：不明なデバイスさん：2019/03/22(金) 11:05:15.24 ID:LpimGuu9.net

うぉーメラがNVidiaに買われたのか。
nvlinkのコンシューマ向けスイッチとかストレージプロトコル出るかな？

972 ：不明なデバイスさん：2020/04/28(火) 16:36:38 ID:mCinIjGf.net

>>971
4/27に買収完了とのこと

973 ：不明なデバイスさん：2020/07/16(木) 06:05:14.50 ID:H5zyA0En.net

MCX354A-FCCTを3枚買ったった
使い道はこれから考える

974 ：不明なデバイスさん：2020/07/23(木) 11:34:36.79 ID:qjtssT8w.net

qsfp+ を導入したいと考えています。候補はQLOGIC 12200-18 です
Netgear の 1g sfp switch　は持っているのですが、
ブレイクアウトケーブルを用いて、通信できるのでしょうか？

975 ：不明なデバイスさん：2020/07/24(金) 15:39:28.67 ID:j5WNnXP/.net

ブレイクアウトで分岐したSFP+をSFPポートに挿して動くかどうか？
それダメなヤツ。
https://community.fs.com/jp/blog/sfp-vs-sfp-vs-sf-p28-vs-qsfp-vs-qsf-p28-what-are-the-differences.html

976 ：974：2020/07/25(土) 09:01:03.13 ID:zoGUVFRJ.net

レスありがとうございます
Router が無いと swithing hub が使えない者です
RJ45 と qsfp+ を接続するにはどうすればいいんでしょうか？
CRS305 とトランシーバーを用いて stack させれば通信出来るのでしょうか？

977 ：不明なデバイスさん：2020/07/25(土) 11:36:29.52 ID:9DYL8FuT.net

>>976
とりあえず、qsfp+でrj45を使いたいならqsfp+からsfp+に変換するアダプタ挿してrj45モジュールを挿せばいいかと。

で、QLOGIC 12200-18ってinfinibandのSWだと思うんだけど、これってcrs305とかと接続できないじゃない？
mellanoxのnicみたいにinfinibandとetherのモード切り替えとかないですよね。

978 ：974：2020/07/25(土) 12:22:25.18 ID:zoGUVFRJ.net

レスありがとうございます
infiniband 初心者で良く分かってませんでした
Mellanox MIS5023Q-1BFR ならqsfp+変換アダプタかまして通信できますでしょうか？

979 ：不明なデバイスさん：2020/07/25(土) 13:22:33.65 ID:9DYL8FuT.net

>>977
ebayあたりで安い中古探して40G環境作ろうとしてる？
とりあえず直結から始めたら？

980 ：974：2020/07/25(土) 13:40:02.34 ID:zoGUVFRJ.net

そうです。
使う環境は、Windows,ESXi,NAS なのでswitch が欲しいです

981 ：不明なデバイスさん：2020/07/25(土) 14:34:56.58 ID:9DYL8FuT.net

>>980
それらが各1台ずつで40G接続したいのがwindows-esxi間だけならsw無くても直結でいいだろ

ブロードバンドルータ
　　　| 192.168.0.0/24
　　ESXi(仮想ルータ)
　　　| 192.168.1.0/24
　windows

上記構成でブロードバンドルータにwindowsに対するルーティングを仮想ルータ宛に書けばいい。
esxi上の仮想ルータはなんでも良くて面倒ならwindowsでもrouting and remote accessを有効にすればいい。
これでnasをブロードバンドルータに接続すればokかと。

そもそもESXiっていったらドライバあるの？から始まるわけだがその辺は大丈夫なのか？

982 ：974：2020/07/25(土) 16:49:21.11 ID:zoGUVFRJ.net

その辺は調べました
ESXi は公式にサポートされています、FreeNASは動かしている人がいるようです
NAS の速度を主に改善したいと考え、懸案しています。
いずれはiSCSIで接続しようとしています。

983 ：不明なデバイスさん：2020/07/25(土) 17:08:29.64 ID:9DYL8FuT.net

うーん…
サポートされてるってカードのことだよね？
mellanoxだとは思うけどそれをinfinibandとして使うのか、イーサネットで使うのか？だな。
mellanoxでESXiのHCL確認するとenドライバ(イーサネットドライバ)しか出てこないと思うんだが…
イーサネットドライバ使う前提ならinfinibandスイッチは使わないかと。

984 ：974：2020/07/25(土) 17:18:12.72 ID:zoGUVFRJ.net

大人しく 10G sfp+ LAN にしといたほうが無難ですかね？

985 ：不明なデバイスさん：2020/07/25(土) 18:16:01.82 ID:9DYL8FuT.net

infinibandを使いたいなら、それって何？くらいは調べないと。
wikipediaでも「非常に高いRAS（信頼性・可用性・保守性）を持つ基幹系・HPC系のサーバ/クラスター用高速I/Oバスアーキテクチャ及びインターコネクトのこと。」とある。
インターコネクト用なんだから内部接続にしか使えないだろ。
逆に内部接続を高速化したいならアリかと。

ま、10G SFP+で問題ないならそっちの方がいいだろね。

986 ：974：2020/07/25(土) 19:31:32.51 ID:zoGUVFRJ.net

欲しいカードは消費電力を考えて、Connetx-3 or AQC107　なんだけども
cost のことも考えて、アドバイス通り
infiniband で直結してみます。

987 ：不明なデバイスさん：2020/07/25(土) 20:10:21.09 ID:9DYL8FuT.net

>>986
まだ選択肢があって10Gでいいなら普通にイーサネットカードでよくね？
この辺とDACで安くできるだろ
https://www.ebay.com/itm/Mellanox-MCX341A-XCGN-MCX311A-XCAT-ConnectX-3-EN-10G-Ethernet-SFP-Network-Card/124186551829?hash=item1cea186615

sw買うにしてもmikrotekで安くあるからな
完全にスレチで申し訳ない

988 ：974：2020/07/25(土) 20:32:44.93 ID:zoGUVFRJ.net

長々とお付き合いいただきありがとうございました。
それを買わせて頂きます

989 ：不明なデバイスさん：2020/08/12(水) 11:37:03.64 ID:yjd493KF.net

FDRの環境を仮構築した。

接続が速くなると、内部ストレージと外部ストレージの境目が曖昧になるね。
こりゃ楽しい。
使い道もなしに買ったけれど、これで一年くらい楽しめそうだ。

990 ：989：2020/08/13(木) 10:20:50.83 ID:/5TtSDc8.net

自動メトリックが効いていないのか1000BASE-Tで接続する時がある
手動設定しないとダメかな

2ndポートがactiveにならない問題もあるし、サブネットマネージャーの挙動は怪しいし、HCAは発熱激しいしホント楽しい

現在、IPoIBで実効速度は14Gbpsが限界
ボトルネック探しもしないといけない

皆さんは、実効速度はどのくらい出てらっしゃいますか？

991 ：不明なデバイスさん：2020/08/13(木) 15:15:48.94 ID:llFoqrdY.net

infinibandではなくてスレチかもしれんがrdma繋がりということで。

こちらは2秒間隔での瞬間値でこんな感じ
読込36.9Gbps
書込32.3Gbps

connectx 4/4 lxをQSF+で直結、ストレージはGen4NVMeの例のやつ。
ファイルサーバはwindows server 2019でクライアントはwin10

シーケンシャルについてはローカルとほぼ同等の速度がでていて動画編集とかはかなり快適な感じです。

https://i.imgur.com/N7xhbaB.png

992 ：不明なデバイスさん：2020/08/13(木) 17:46:17.37 ID:AizG8fax.net

おおおシーケンシャルならRWとも4000Mbyte/s超えますか
ネットワーク越しとは思えない爆速
ちなみにストレージはGen4NVMeの例のやつが思い当たらない
メーカーどこですか？

993 ：不明なデバイスさん：2020/08/13(木) 18:10:55.19 ID:gCQnUpTu.net

>>990
ConnectX2直結のIPoIBでiperf 30gbpsとか出てた記憶。(FreeBSD)
取り合えずCPUの省電力系の機能全OFFから確認。
CPUが熱いとかアイドル時の電気食い過ぎとか、全部無視すること。
両立出来ないので。

CPUはSandyクラスなら通信自体は実効値の限界は行くはず。
後はサービス側がどこまで頑張れるか。

994 ：不明なデバイスさん：2020/08/13(木) 19:45:28.27 ID:llFoqrdY.net

>>992
今gen4.0のnvmeって一種類しかないよ。
ウチはcssd-m2b1tpg3vnf

>>993
ethernetの限界か、rdmaなしだと全然性能でない。
改めてiperf3やってみたけど7〜10Gbpsくらいしかでない。
まあsmbが早ければ困らないからいいんだけど。

995 ：不明なデバイスさん：2020/10/14(水) 22:03:32.16 ID:O3oKuxs0.net

羅津

996 ：不明なデバイスさん：2020/10/14(水) 22:03:55.31 ID:O3oKuxs0.net

民意

997 ：不明なデバイスさん：2020/10/14(水) 22:04:21.97 ID:O3oKuxs0.net

偵察

998 ：不明なデバイスさん：2020/10/14(水) 22:04:49.94 ID:O3oKuxs0.net

横山緑地

999 ：不明なデバイスさん：2020/10/14(水) 22:05:31.90 ID:O3oKuxs0.net

腕白

1000 ：不明なデバイスさん：2020/10/14(水) 22:05:52.05 ID:O3oKuxs0.net

なんでも実況Jまでおいでませ！

1001 ：2ch.net投稿限界：Over 1000 Thread

2ch.netからのレス数が1000に到達しました。