2ちゃんねる スマホ用 ■掲示板に戻る■ 全部 1- 最新50    

■ このスレッドは過去ログ倉庫に格納されています

InfiniBandについて語るスレ

1 :不明なデバイスさん:2011/05/16(月) 22:25:36.24 ID:uoQmaZZN.net
InfiniBand(IB)について語るスレ
普通に買うと高いけど、ebayなどで安価なHCAやスイッチを購入可能です。

主要ベンダ
http://www.mellanox.com/
http://www.qlogic.com/

規格・管理ソフト等
http://www.openfabrics.org/

使用可能OS
Windows・Linux・vSphere Server・Solaris・HP-UX・AIX

参考
http://www.atmarkit.co.jp/fnetwork/tokusyuu/51ib01/01.html
http://ja.wikipedia.org/wiki/InfiniBand

952 :不明なデバイスさん:2017/04/16(日) 17:36:41.01 ID:zPRwP/lp.net
>950
確か、WinOFの4.70辺りのFirm当てたらRDMA使えるようになるはず。
質問者のカードだと多分いけるけど、MHZH29B-XTRはダメだった。
MHQH29B-XTRは行けたけど。

953 :不明なデバイスさん:2017/04/16(日) 22:12:50.09 ID:zxlDdvEW.net
>>948
ないと思う。openMPIなりでセコセコ書くしかないかと。

954 :不明なデバイスさん:2017/04/16(日) 22:20:14.42 ID:zxlDdvEW.net
そういやopenmpのほうはInfinibandに載るのかな?そんなライブラリがofedにあったようななかったような。
載るならMPIを意識せずに書けるね。遅いだろうけど。

955 :不明なデバイスさん:2017/05/20(土) 08:55:03.46 ID:99THfoCe.net
Mellanoxのカスタムファームウェアダウンロードするページ無くなった?
oemに純正のあたるのかなぁ

956 :不明なデバイスさん:2017/05/23(火) 00:14:15.01 ID:tZy0OIh6.net
>>955
ちょっとこれちょっと気になりますねー
気になりますねー、これ。ちょっと気になりますねー
最近OEMのConnectX-2を買ったところなので私、すごく気になります

957 :不明なデバイスさん:2017/05/25(木) 09:12:19.18 ID:1Y7WW9R+.net
HPのconnectX3買って56G対応のケーブル付けたらOEMファームでも56Gでリンクした。IBMブランドの00D9552は公式ファームにしても40Gのリンクだった。残念。

958 :不明なデバイスさん:2017/05/25(木) 09:20:43.91 ID:qm5PyFC4.net
俺の使ってるHPのはデフォだとだめだったな
カスタムファームウェアで56G用のリンク設定書き込んだらいけた

959 :945:2017/05/26(金) 03:38:59.84 ID:IShtCY/1.net
>955
自分が書いた時点では、まだカスタムファームは
http://www.mellanox.com/supportdownloader/
のページから落とせたけど、今確認すると無くなってるね。
(こっそりみたいな感じでカスタムファームへのリンクあったんだけど)
カスタムファームはSTHのページからのリンクからは落とせるからそっちから落とすしかないかな。
http://www.mellanox.com/downloads/firmware/disclaimer.php?download=/downloads/firmware/ConnectX3-rel-2_40_5030.tgz
は、まだ落とせるからこっちから落として、一回純正PSIDへ書換しやってやる必要がある。
flind -d /dev/mst/mt4099_pci_cr0 q
で、PSIDがMT_1090120019(これ多分カードによるので注意) に書き換わってたら、
あとは、LinuxのMLNX_OFEDでFWバージョンアップしてやったら、最新のFWに書き換わってた。
これは、あくまで自分でやって成功した事例なので、参考までに。

>957
OEM先によっていけたりいけなかったりするのね。
参考になりました。

>958
HPでも駄目なやつあるんだ。
自分でも、純正のカードとHPのOEMカードで設定の比較してみたけど、かなり違うよね。
純正はConnectX3-rel-2_40_5030.tgz ベースで比較したけど、HPの設定項目が少なくて
えらい純正と差を付けてるなーと思った。

HPのカードで、純正書換いけたカードリビジョン見てみるよ。
カードのリビジョンによってはいけたりいけなかったり有るかもしれないので。

960 :不明なデバイスさん:2017/11/02(木) 08:11:37.71 ID:kRAC/zqA.net
MLNX OFED 4.2やっと公開か
これでDebian9に入れられる

961 :不明なデバイスさん:2017/11/03(金) 14:53:15.67 ID:zCiqPSUt.net
インフィニットバンドはケーブルが太すぎて取り回しがえらい
10Gベースに走ってしまうわ

962 :不明なデバイスさん:2017/11/03(金) 16:08:33.38 ID:GK+LHFGv.net
その単語で登録されてるんだ。

963 :不明なデバイスさん:2017/11/04(土) 01:59:47.42 ID:lzNs/RaI.net
そういうわざとやってるかまってちゃんは黙殺推奨

964 :不明なデバイスさん:2018/01/01(月) 19:09:25.80 ID:zbLcFcaT.net
興味がある人だけどうぞ。ネット小遣い稼ぎ方法など。

グーグル検索⇒『工藤のジョウノウノウ』

YEDQIKDYF4

965 :不明なデバイスさん:2018/01/02(火) 17:25:56.18 ID:sXYqtjyB.net
インフィニ

966 :不明なデバイスさん:2018/07/05(木) 10:22:59.50 ID:to6k2B8a.net
友達から教えてもらった自宅で稼げる方法
興味がある人はどうぞ
検索してみよう『ネットで稼ぐ方法 モニアレフヌノ』

CQR

967 :不明なデバイスさん:2018/08/26(日) 04:07:04.19 ID:heIPyWlT.net
いくらなんでも寂れすぎ

968 :不明なデバイスさん:2018/09/07(金) 13:23:43.46 ID:aZGDeoGt.net
個人ではうるさすぎるからねー。

969 :不明なデバイスさん:2018/09/07(金) 23:31:49.96 ID:GqBleuM5.net
うるさい?何が?何がうるさいの?うるさいって?
何がうるさいの?うるさいって何が?

970 :不明なデバイスさん:2018/09/08(土) 00:34:37.02 ID:zWil2rKR.net
突っ込み待ちですねわかります

971 :不明なデバイスさん:2019/03/22(金) 11:05:15.24 ID:LpimGuu9.net
うぉーメラがNVidiaに買われたのか。
nvlinkのコンシューマ向けスイッチとかストレージプロトコル出るかな?

972 :不明なデバイスさん:2020/04/28(火) 16:36:38 ID:mCinIjGf.net
>>971
4/27に買収完了とのこと

973 :不明なデバイスさん:2020/07/16(木) 06:05:14.50 ID:H5zyA0En.net
MCX354A-FCCTを3枚買ったった
使い道はこれから考える

974 :不明なデバイスさん:2020/07/23(木) 11:34:36.79 ID:qjtssT8w.net
qsfp+ を導入したいと考えています。候補はQLOGIC 12200-18 です
Netgear の 1g sfp switch は持っているのですが、
ブレイクアウトケーブルを用いて、通信できるのでしょうか?

975 :不明なデバイスさん:2020/07/24(金) 15:39:28.67 ID:j5WNnXP/.net
ブレイクアウトで分岐したSFP+をSFPポートに挿して動くかどうか?
それダメなヤツ。
https://community.fs.com/jp/blog/sfp-vs-sfp-vs-sf-p28-vs-qsfp-vs-qsf-p28-what-are-the-differences.html

976 :974:2020/07/25(土) 09:01:03.13 ID:zoGUVFRJ.net
レスありがとうございます
Router が無いと swithing hub が使えない者です
RJ45 と qsfp+ を接続するにはどうすればいいんでしょうか?
CRS305 とトランシーバーを用いて stack させれば通信出来るのでしょうか?

977 :不明なデバイスさん:2020/07/25(土) 11:36:29.52 ID:9DYL8FuT.net
>>976
とりあえず、qsfp+でrj45を使いたいならqsfp+からsfp+に変換するアダプタ挿してrj45モジュールを挿せばいいかと。

で、QLOGIC 12200-18ってinfinibandのSWだと思うんだけど、これってcrs305とかと接続できないじゃない?
mellanoxのnicみたいにinfinibandとetherのモード切り替えとかないですよね。

978 :974:2020/07/25(土) 12:22:25.18 ID:zoGUVFRJ.net
レスありがとうございます
infiniband 初心者で良く分かってませんでした
Mellanox MIS5023Q-1BFR ならqsfp+変換アダプタかまして通信できますでしょうか?

979 :不明なデバイスさん:2020/07/25(土) 13:22:33.65 ID:9DYL8FuT.net
>>977
ebayあたりで安い中古探して40G環境作ろうとしてる?
とりあえず直結から始めたら?

980 :974:2020/07/25(土) 13:40:02.34 ID:zoGUVFRJ.net
そうです。
使う環境は、Windows,ESXi,NAS なのでswitch が欲しいです

981 :不明なデバイスさん:2020/07/25(土) 14:34:56.58 ID:9DYL8FuT.net
>>980
それらが各1台ずつで40G接続したいのがwindows-esxi間だけならsw無くても直結でいいだろ

ブロードバンドルータ
   | 192.168.0.0/24
  ESXi(仮想ルータ)
   | 192.168.1.0/24
 windows

上記構成でブロードバンドルータにwindowsに対するルーティングを仮想ルータ宛に書けばいい。
esxi上の仮想ルータはなんでも良くて面倒ならwindowsでもrouting and remote accessを有効にすればいい。
これでnasをブロードバンドルータに接続すればokかと。

そもそもESXiっていったらドライバあるの?から始まるわけだがその辺は大丈夫なのか?

982 :974:2020/07/25(土) 16:49:21.11 ID:zoGUVFRJ.net
その辺は調べました
ESXi は公式にサポートされています、FreeNASは動かしている人がいるようです
NAS の速度を主に改善したいと考え、懸案しています。
いずれはiSCSIで接続しようとしています。

983 :不明なデバイスさん:2020/07/25(土) 17:08:29.64 ID:9DYL8FuT.net
うーん…
サポートされてるってカードのことだよね?
mellanoxだとは思うけどそれをinfinibandとして使うのか、イーサネットで使うのか?だな。
mellanoxでESXiのHCL確認するとenドライバ(イーサネットドライバ)しか出てこないと思うんだが…
イーサネットドライバ使う前提ならinfinibandスイッチは使わないかと。

984 :974:2020/07/25(土) 17:18:12.72 ID:zoGUVFRJ.net
大人しく 10G sfp+ LAN にしといたほうが無難ですかね?

985 :不明なデバイスさん:2020/07/25(土) 18:16:01.82 ID:9DYL8FuT.net
infinibandを使いたいなら、それって何?くらいは調べないと。
wikipediaでも「非常に高いRAS(信頼性・可用性・保守性)を持つ基幹系・HPC系のサーバ/クラスター用高速I/Oバスアーキテクチャ及びインターコネクトのこと。」とある。
インターコネクト用なんだから内部接続にしか使えないだろ。
逆に内部接続を高速化したいならアリかと。

ま、10G SFP+で問題ないならそっちの方がいいだろね。

986 :974:2020/07/25(土) 19:31:32.51 ID:zoGUVFRJ.net
欲しいカードは消費電力を考えて、Connetx-3 or AQC107 なんだけども
cost のことも考えて、アドバイス通り
infiniband で直結してみます。

987 :不明なデバイスさん:2020/07/25(土) 20:10:21.09 ID:9DYL8FuT.net
>>986
まだ選択肢があって10Gでいいなら普通にイーサネットカードでよくね?
この辺とDACで安くできるだろ
https://www.ebay.com/itm/Mellanox-MCX341A-XCGN-MCX311A-XCAT-ConnectX-3-EN-10G-Ethernet-SFP-Network-Card/124186551829?hash=item1cea186615

sw買うにしてもmikrotekで安くあるからな
完全にスレチで申し訳ない

988 :974:2020/07/25(土) 20:32:44.93 ID:zoGUVFRJ.net
長々とお付き合いいただきありがとうございました。
それを買わせて頂きます

989 :不明なデバイスさん:2020/08/12(水) 11:37:03.64 ID:yjd493KF.net
FDRの環境を仮構築した。

接続が速くなると、内部ストレージと外部ストレージの境目が曖昧になるね。
こりゃ楽しい。
使い道もなしに買ったけれど、これで一年くらい楽しめそうだ。

990 :989:2020/08/13(木) 10:20:50.83 ID:/5TtSDc8.net
自動メトリックが効いていないのか1000BASE-Tで接続する時がある
手動設定しないとダメかな

2ndポートがactiveにならない問題もあるし、サブネットマネージャーの挙動は怪しいし、HCAは発熱激しいしホント楽しい

現在、IPoIBで実効速度は14Gbpsが限界
ボトルネック探しもしないといけない

皆さんは、実効速度はどのくらい出てらっしゃいますか?

991 :不明なデバイスさん:2020/08/13(木) 15:15:48.94 ID:llFoqrdY.net
infinibandではなくてスレチかもしれんがrdma繋がりということで。

こちらは2秒間隔での瞬間値でこんな感じ
読込36.9Gbps
書込32.3Gbps

connectx 4/4 lxをQSF+で直結、ストレージはGen4NVMeの例のやつ。
ファイルサーバはwindows server 2019でクライアントはwin10

シーケンシャルについてはローカルとほぼ同等の速度がでていて動画編集とかはかなり快適な感じです。

https://i.imgur.com/N7xhbaB.png

992 :不明なデバイスさん:2020/08/13(木) 17:46:17.37 ID:AizG8fax.net
おおおシーケンシャルならRWとも4000Mbyte/s超えますか
ネットワーク越しとは思えない爆速
ちなみにストレージはGen4NVMeの例のやつが思い当たらない
メーカーどこですか?

993 :不明なデバイスさん:2020/08/13(木) 18:10:55.19 ID:gCQnUpTu.net
>>990
ConnectX2直結のIPoIBでiperf 30gbpsとか出てた記憶。(FreeBSD)
取り合えずCPUの省電力系の機能全OFFから確認。
CPUが熱いとかアイドル時の電気食い過ぎとか、全部無視すること。
両立出来ないので。

CPUはSandyクラスなら通信自体は実効値の限界は行くはず。
後はサービス側がどこまで頑張れるか。

994 :不明なデバイスさん:2020/08/13(木) 19:45:28.27 ID:llFoqrdY.net
>>992
今gen4.0のnvmeって一種類しかないよ。
ウチはcssd-m2b1tpg3vnf

>>993
ethernetの限界か、rdmaなしだと全然性能でない。
改めてiperf3やってみたけど7〜10Gbpsくらいしかでない。
まあsmbが早ければ困らないからいいんだけど。

995 :不明なデバイスさん:2020/10/14(水) 22:03:32.16 ID:O3oKuxs0.net
羅津

996 :不明なデバイスさん:2020/10/14(水) 22:03:55.31 ID:O3oKuxs0.net
民意

997 :不明なデバイスさん:2020/10/14(水) 22:04:21.97 ID:O3oKuxs0.net
偵察

998 :不明なデバイスさん:2020/10/14(水) 22:04:49.94 ID:O3oKuxs0.net
横山緑地

999 :不明なデバイスさん:2020/10/14(水) 22:05:31.90 ID:O3oKuxs0.net
腕白

1000 :不明なデバイスさん:2020/10/14(水) 22:05:52.05 ID:O3oKuxs0.net
なんでも実況Jまでおいでませ!

1001 :2ch.net投稿限界:Over 1000 Thread
2ch.netからのレス数が1000に到達しました。

総レス数 1001
366 KB
掲示板に戻る 全部 前100 次100 最新50
read.cgi ver 2014.07.20.01.SC 2014/07/20 D ★