■ このスレッドは過去ログ倉庫に格納されています
InfiniBandについて語るスレ
- 1 :不明なデバイスさん:2011/05/16(月) 22:25:36.24 ID:uoQmaZZN.net
- InfiniBand(IB)について語るスレ
普通に買うと高いけど、ebayなどで安価なHCAやスイッチを購入可能です。
主要ベンダ
http://www.mellanox.com/
http://www.qlogic.com/
規格・管理ソフト等
http://www.openfabrics.org/
使用可能OS
Windows・Linux・vSphere Server・Solaris・HP-UX・AIX
参考
http://www.atmarkit.co.jp/fnetwork/tokusyuu/51ib01/01.html
http://ja.wikipedia.org/wiki/InfiniBand
- 952 :不明なデバイスさん:2017/04/16(日) 17:36:41.01 ID:zPRwP/lp.net
- >950
確か、WinOFの4.70辺りのFirm当てたらRDMA使えるようになるはず。
質問者のカードだと多分いけるけど、MHZH29B-XTRはダメだった。
MHQH29B-XTRは行けたけど。
- 953 :不明なデバイスさん:2017/04/16(日) 22:12:50.09 ID:zxlDdvEW.net
- >>948
ないと思う。openMPIなりでセコセコ書くしかないかと。
- 954 :不明なデバイスさん:2017/04/16(日) 22:20:14.42 ID:zxlDdvEW.net
- そういやopenmpのほうはInfinibandに載るのかな?そんなライブラリがofedにあったようななかったような。
載るならMPIを意識せずに書けるね。遅いだろうけど。
- 955 :不明なデバイスさん:2017/05/20(土) 08:55:03.46 ID:99THfoCe.net
- Mellanoxのカスタムファームウェアダウンロードするページ無くなった?
oemに純正のあたるのかなぁ
- 956 :不明なデバイスさん:2017/05/23(火) 00:14:15.01 ID:tZy0OIh6.net
- >>955
ちょっとこれちょっと気になりますねー
気になりますねー、これ。ちょっと気になりますねー
最近OEMのConnectX-2を買ったところなので私、すごく気になります
- 957 :不明なデバイスさん:2017/05/25(木) 09:12:19.18 ID:1Y7WW9R+.net
- HPのconnectX3買って56G対応のケーブル付けたらOEMファームでも56Gでリンクした。IBMブランドの00D9552は公式ファームにしても40Gのリンクだった。残念。
- 958 :不明なデバイスさん:2017/05/25(木) 09:20:43.91 ID:qm5PyFC4.net
- 俺の使ってるHPのはデフォだとだめだったな
カスタムファームウェアで56G用のリンク設定書き込んだらいけた
- 959 :945:2017/05/26(金) 03:38:59.84 ID:IShtCY/1.net
- >955
自分が書いた時点では、まだカスタムファームは
http://www.mellanox.com/supportdownloader/
のページから落とせたけど、今確認すると無くなってるね。
(こっそりみたいな感じでカスタムファームへのリンクあったんだけど)
カスタムファームはSTHのページからのリンクからは落とせるからそっちから落とすしかないかな。
http://www.mellanox.com/downloads/firmware/disclaimer.php?download=/downloads/firmware/ConnectX3-rel-2_40_5030.tgz
は、まだ落とせるからこっちから落として、一回純正PSIDへ書換しやってやる必要がある。
flind -d /dev/mst/mt4099_pci_cr0 q
で、PSIDがMT_1090120019(これ多分カードによるので注意) に書き換わってたら、
あとは、LinuxのMLNX_OFEDでFWバージョンアップしてやったら、最新のFWに書き換わってた。
これは、あくまで自分でやって成功した事例なので、参考までに。
>957
OEM先によっていけたりいけなかったりするのね。
参考になりました。
>958
HPでも駄目なやつあるんだ。
自分でも、純正のカードとHPのOEMカードで設定の比較してみたけど、かなり違うよね。
純正はConnectX3-rel-2_40_5030.tgz ベースで比較したけど、HPの設定項目が少なくて
えらい純正と差を付けてるなーと思った。
HPのカードで、純正書換いけたカードリビジョン見てみるよ。
カードのリビジョンによってはいけたりいけなかったり有るかもしれないので。
- 960 :不明なデバイスさん:2017/11/02(木) 08:11:37.71 ID:kRAC/zqA.net
- MLNX OFED 4.2やっと公開か
これでDebian9に入れられる
- 961 :不明なデバイスさん:2017/11/03(金) 14:53:15.67 ID:zCiqPSUt.net
- インフィニットバンドはケーブルが太すぎて取り回しがえらい
10Gベースに走ってしまうわ
- 962 :不明なデバイスさん:2017/11/03(金) 16:08:33.38 ID:GK+LHFGv.net
- その単語で登録されてるんだ。
- 963 :不明なデバイスさん:2017/11/04(土) 01:59:47.42 ID:lzNs/RaI.net
- そういうわざとやってるかまってちゃんは黙殺推奨
- 964 :不明なデバイスさん:2018/01/01(月) 19:09:25.80 ID:zbLcFcaT.net
- 興味がある人だけどうぞ。ネット小遣い稼ぎ方法など。
グーグル検索⇒『工藤のジョウノウノウ』
YEDQIKDYF4
- 965 :不明なデバイスさん:2018/01/02(火) 17:25:56.18 ID:sXYqtjyB.net
- インフィニ
- 966 :不明なデバイスさん:2018/07/05(木) 10:22:59.50 ID:to6k2B8a.net
- 友達から教えてもらった自宅で稼げる方法
興味がある人はどうぞ
検索してみよう『ネットで稼ぐ方法 モニアレフヌノ』
CQR
- 967 :不明なデバイスさん:2018/08/26(日) 04:07:04.19 ID:heIPyWlT.net
- いくらなんでも寂れすぎ
- 968 :不明なデバイスさん:2018/09/07(金) 13:23:43.46 ID:aZGDeoGt.net
- 個人ではうるさすぎるからねー。
- 969 :不明なデバイスさん:2018/09/07(金) 23:31:49.96 ID:GqBleuM5.net
- うるさい?何が?何がうるさいの?うるさいって?
何がうるさいの?うるさいって何が?
- 970 :不明なデバイスさん:2018/09/08(土) 00:34:37.02 ID:zWil2rKR.net
- 突っ込み待ちですねわかります
- 971 :不明なデバイスさん:2019/03/22(金) 11:05:15.24 ID:LpimGuu9.net
- うぉーメラがNVidiaに買われたのか。
nvlinkのコンシューマ向けスイッチとかストレージプロトコル出るかな?
- 972 :不明なデバイスさん:2020/04/28(火) 16:36:38 ID:mCinIjGf.net
- >>971
4/27に買収完了とのこと
- 973 :不明なデバイスさん:2020/07/16(木) 06:05:14.50 ID:H5zyA0En.net
- MCX354A-FCCTを3枚買ったった
使い道はこれから考える
- 974 :不明なデバイスさん:2020/07/23(木) 11:34:36.79 ID:qjtssT8w.net
- qsfp+ を導入したいと考えています。候補はQLOGIC 12200-18 です
Netgear の 1g sfp switch は持っているのですが、
ブレイクアウトケーブルを用いて、通信できるのでしょうか?
- 975 :不明なデバイスさん:2020/07/24(金) 15:39:28.67 ID:j5WNnXP/.net
- ブレイクアウトで分岐したSFP+をSFPポートに挿して動くかどうか?
それダメなヤツ。
https://community.fs.com/jp/blog/sfp-vs-sfp-vs-sf-p28-vs-qsfp-vs-qsf-p28-what-are-the-differences.html
- 976 :974:2020/07/25(土) 09:01:03.13 ID:zoGUVFRJ.net
- レスありがとうございます
Router が無いと swithing hub が使えない者です
RJ45 と qsfp+ を接続するにはどうすればいいんでしょうか?
CRS305 とトランシーバーを用いて stack させれば通信出来るのでしょうか?
- 977 :不明なデバイスさん:2020/07/25(土) 11:36:29.52 ID:9DYL8FuT.net
- >>976
とりあえず、qsfp+でrj45を使いたいならqsfp+からsfp+に変換するアダプタ挿してrj45モジュールを挿せばいいかと。
で、QLOGIC 12200-18ってinfinibandのSWだと思うんだけど、これってcrs305とかと接続できないじゃない?
mellanoxのnicみたいにinfinibandとetherのモード切り替えとかないですよね。
- 978 :974:2020/07/25(土) 12:22:25.18 ID:zoGUVFRJ.net
- レスありがとうございます
infiniband 初心者で良く分かってませんでした
Mellanox MIS5023Q-1BFR ならqsfp+変換アダプタかまして通信できますでしょうか?
- 979 :不明なデバイスさん:2020/07/25(土) 13:22:33.65 ID:9DYL8FuT.net
- >>977
ebayあたりで安い中古探して40G環境作ろうとしてる?
とりあえず直結から始めたら?
- 980 :974:2020/07/25(土) 13:40:02.34 ID:zoGUVFRJ.net
- そうです。
使う環境は、Windows,ESXi,NAS なのでswitch が欲しいです
- 981 :不明なデバイスさん:2020/07/25(土) 14:34:56.58 ID:9DYL8FuT.net
- >>980
それらが各1台ずつで40G接続したいのがwindows-esxi間だけならsw無くても直結でいいだろ
ブロードバンドルータ
| 192.168.0.0/24
ESXi(仮想ルータ)
| 192.168.1.0/24
windows
上記構成でブロードバンドルータにwindowsに対するルーティングを仮想ルータ宛に書けばいい。
esxi上の仮想ルータはなんでも良くて面倒ならwindowsでもrouting and remote accessを有効にすればいい。
これでnasをブロードバンドルータに接続すればokかと。
そもそもESXiっていったらドライバあるの?から始まるわけだがその辺は大丈夫なのか?
- 982 :974:2020/07/25(土) 16:49:21.11 ID:zoGUVFRJ.net
- その辺は調べました
ESXi は公式にサポートされています、FreeNASは動かしている人がいるようです
NAS の速度を主に改善したいと考え、懸案しています。
いずれはiSCSIで接続しようとしています。
- 983 :不明なデバイスさん:2020/07/25(土) 17:08:29.64 ID:9DYL8FuT.net
- うーん…
サポートされてるってカードのことだよね?
mellanoxだとは思うけどそれをinfinibandとして使うのか、イーサネットで使うのか?だな。
mellanoxでESXiのHCL確認するとenドライバ(イーサネットドライバ)しか出てこないと思うんだが…
イーサネットドライバ使う前提ならinfinibandスイッチは使わないかと。
- 984 :974:2020/07/25(土) 17:18:12.72 ID:zoGUVFRJ.net
- 大人しく 10G sfp+ LAN にしといたほうが無難ですかね?
- 985 :不明なデバイスさん:2020/07/25(土) 18:16:01.82 ID:9DYL8FuT.net
- infinibandを使いたいなら、それって何?くらいは調べないと。
wikipediaでも「非常に高いRAS(信頼性・可用性・保守性)を持つ基幹系・HPC系のサーバ/クラスター用高速I/Oバスアーキテクチャ及びインターコネクトのこと。」とある。
インターコネクト用なんだから内部接続にしか使えないだろ。
逆に内部接続を高速化したいならアリかと。
ま、10G SFP+で問題ないならそっちの方がいいだろね。
- 986 :974:2020/07/25(土) 19:31:32.51 ID:zoGUVFRJ.net
- 欲しいカードは消費電力を考えて、Connetx-3 or AQC107 なんだけども
cost のことも考えて、アドバイス通り
infiniband で直結してみます。
- 987 :不明なデバイスさん:2020/07/25(土) 20:10:21.09 ID:9DYL8FuT.net
- >>986
まだ選択肢があって10Gでいいなら普通にイーサネットカードでよくね?
この辺とDACで安くできるだろ
https://www.ebay.com/itm/Mellanox-MCX341A-XCGN-MCX311A-XCAT-ConnectX-3-EN-10G-Ethernet-SFP-Network-Card/124186551829?hash=item1cea186615
sw買うにしてもmikrotekで安くあるからな
完全にスレチで申し訳ない
- 988 :974:2020/07/25(土) 20:32:44.93 ID:zoGUVFRJ.net
- 長々とお付き合いいただきありがとうございました。
それを買わせて頂きます
- 989 :不明なデバイスさん:2020/08/12(水) 11:37:03.64 ID:yjd493KF.net
- FDRの環境を仮構築した。
接続が速くなると、内部ストレージと外部ストレージの境目が曖昧になるね。
こりゃ楽しい。
使い道もなしに買ったけれど、これで一年くらい楽しめそうだ。
- 990 :989:2020/08/13(木) 10:20:50.83 ID:/5TtSDc8.net
- 自動メトリックが効いていないのか1000BASE-Tで接続する時がある
手動設定しないとダメかな
2ndポートがactiveにならない問題もあるし、サブネットマネージャーの挙動は怪しいし、HCAは発熱激しいしホント楽しい
現在、IPoIBで実効速度は14Gbpsが限界
ボトルネック探しもしないといけない
皆さんは、実効速度はどのくらい出てらっしゃいますか?
- 991 :不明なデバイスさん:2020/08/13(木) 15:15:48.94 ID:llFoqrdY.net
- infinibandではなくてスレチかもしれんがrdma繋がりということで。
こちらは2秒間隔での瞬間値でこんな感じ
読込36.9Gbps
書込32.3Gbps
connectx 4/4 lxをQSF+で直結、ストレージはGen4NVMeの例のやつ。
ファイルサーバはwindows server 2019でクライアントはwin10
シーケンシャルについてはローカルとほぼ同等の速度がでていて動画編集とかはかなり快適な感じです。
https://i.imgur.com/N7xhbaB.png
- 992 :不明なデバイスさん:2020/08/13(木) 17:46:17.37 ID:AizG8fax.net
- おおおシーケンシャルならRWとも4000Mbyte/s超えますか
ネットワーク越しとは思えない爆速
ちなみにストレージはGen4NVMeの例のやつが思い当たらない
メーカーどこですか?
- 993 :不明なデバイスさん:2020/08/13(木) 18:10:55.19 ID:gCQnUpTu.net
- >>990
ConnectX2直結のIPoIBでiperf 30gbpsとか出てた記憶。(FreeBSD)
取り合えずCPUの省電力系の機能全OFFから確認。
CPUが熱いとかアイドル時の電気食い過ぎとか、全部無視すること。
両立出来ないので。
CPUはSandyクラスなら通信自体は実効値の限界は行くはず。
後はサービス側がどこまで頑張れるか。
- 994 :不明なデバイスさん:2020/08/13(木) 19:45:28.27 ID:llFoqrdY.net
- >>992
今gen4.0のnvmeって一種類しかないよ。
ウチはcssd-m2b1tpg3vnf
>>993
ethernetの限界か、rdmaなしだと全然性能でない。
改めてiperf3やってみたけど7〜10Gbpsくらいしかでない。
まあsmbが早ければ困らないからいいんだけど。
- 995 :不明なデバイスさん:2020/10/14(水) 22:03:32.16 ID:O3oKuxs0.net
- 羅津
- 996 :不明なデバイスさん:2020/10/14(水) 22:03:55.31 ID:O3oKuxs0.net
- 民意
- 997 :不明なデバイスさん:2020/10/14(水) 22:04:21.97 ID:O3oKuxs0.net
- 偵察
- 998 :不明なデバイスさん:2020/10/14(水) 22:04:49.94 ID:O3oKuxs0.net
- 横山緑地
- 999 :不明なデバイスさん:2020/10/14(水) 22:05:31.90 ID:O3oKuxs0.net
- 腕白
- 1000 :不明なデバイスさん:2020/10/14(水) 22:05:52.05 ID:O3oKuxs0.net
- なんでも実況Jまでおいでませ!
- 1001 :2ch.net投稿限界:Over 1000 Thread
- 2ch.netからのレス数が1000に到達しました。
総レス数 1001
366 KB
掲示板に戻る
全部
前100
次100
最新50
read.cgi ver 2014.07.20.01.SC 2014/07/20 D ★