Windows Server 2012とInfinibandで遊ぶ（MHGH28-XTCの入手とファーム更新編）
Windows Server 2012でInfinibandを使ってみたいのだけれど、いまいちどう動くのかわからない。
この道は昔Fibre Channelで通った道。
実際に触ってみないとさっぱり理解できない。
まず、Infiniband HCA（カード）を入手する。
今回の目的は、Windows Server 2012で動かすことなので、ヤフオクに安く出品されているInfiniHost系は使えない（と思う）。
ConnectX-2とかになるとなかなかお高い。しかしConnectX系ならなんとかなりそうだ。
また、今回は3台のサーバをどうInfinibandで繋げられるのか、というのを確かめたいので、速度はあまり重要ではない。
というわけで、Mellanox ConnectXのHCAで、Dual Portのもの（MHGH28-XTC）を予備を入れてまとめて輸入してみた。
CX4のケーブルはヤフオクで調達。
MHGH28-XTCと書かれていたが、実際にはHPのOEMの448397-B21であった。
しかもRevisionがバラバラである。
とりあえずWindows Server 2012に指してみたが、デバイスは見えるものの起動時にエラーになっているので、最新のMellanox Firmware Toolsをダウンロードしてインストールしてみても、flintで現在のファームウェアバージョンの確認もできない。
Windows Server 2008 R2でも同様であった。
しかたなく、Windows Server 2008無印をセットアップして、Mellanoxのアーカイブから WinOF for Windows（Version 2.0.0, December 2008）を勘で入れてみた。
http://www.mellanox.com/page/products_dyn?product_family=32&mtag=windows_sw_drivers
認識成功。Mellanox IPoIB Adapterが２個見える状態となった。
さっそく現在のファームウェアのバージョンを確認してみる。
C:\Users\Administrator>mst status
MST devices:
- -
mt25418_pciconf0
mt25418_pci_cr0C:\Users\Administrator>flint -d mt25418_pci_cr0 query
Image type: ConnectX
FW Version: 2.6.0
Device ID: 25418
Description: Node Port1 Port2 Sys image
GUIDs: 001e0bffff4c8958 001e0bffff4c8959 001e0bffff4c895a 001e0bffff4c
895b
MACs: ffffffffffffffff ffffffffffffffffWarning: Bad mac address (ffffffffffffffff): Multicast bit (bit 40) is set
Warning: Bad mac address (ffffffffffffffff): Multicast bit (bit 40) is setBoard ID: (HP_09D0000001)
VSD:
PSID: HP_09D0000001
現在のファームウェアバージョンは2.6.0のようだ。Windows Server 2012で動かないのも仕方ない。
しかもなんだかMACアドレスが可哀想なことになっている。
ファームウェアを最新の2.9.1000まで上げてみる。
手順が下記のサイトに美しくまとまっていて大変参考になりました。ありがとうございます。
http://moca.espresso.gr.jp/wiki/wiki.cgi?page=InfiniBand
MellanoxのOEM用のファームウェア置き場から、MHGH28-XTC用の2.9.1000をもらってくる。
http://www.mellanox.com/page/custom_firmware_table
tgzをWindowsで解凍してとりあえずCドライブ直下においた。
C:\Users\Administrator>cd c:\ConnectX-rel-2_9_1000
C:\ConnectX-rel-2_9_1000>flint -d mt25418_pci_cr0 dc > hp-connectx-ddr-pem-HP_09D0000001-orig.ini
C:\ConnectX-rel-2_9_1000>mlxburn -d mt25418_pci_cr0 -fw fw-25408-rel.mlx -conf hp-connectx-ddr-pem-HP_09D0000001-orig.ini
- I- Generating image ...
Current FW version on flash: 2.6.0
New FW version: 2.9.1000Burning FW image without signatures - OK
Restoring signature - OK
- I- Image burn completed successfully.
C:\ConnectX-rel-2_9_1000>flint -d mt25418_pci_cr0 query
Image type: ConnectX
FW Version: 2.9.1000
Device ID: 25418
Description: Node Port1 Port2 Sys image
GUIDs: 001e0bffff4c8958 001e0bffff4c8959 001e0bffff4c895a 001e0bffff4c
895b
MACs: 001e0b4c8959 001e0b4c895a
Board ID: (HP_09D0000001)
VSD:
PSID: HP_09D0000001
ファームウェアが2.9.1000になって、MACアドレスもいい感じになっているようだ。
さて、このHCAはWindows Server 2012でさくっと使えるのだろうか。
