10G 網卡測試(加快Hyper-v vm mirgrate 速度)

過年前一周,到了一位前輩公司機房參觀了一下,真是專業的機房(下重本),當然也聊了一些東西。

因為我本身公司環境尚未使用到10G的網路卡,正好前輩這已經有server 用了10G的網卡

他們主要是用在Hyper-v  主機中的Replica 功能上,1G 網卡則時提供用戶服務用。

我也把我自己想法和他分享一下主要是我自己的環境VM越來越多,備份時間會是一個問題,又因為我沒Hyper-v Cluster所以share nothing live mirgrate 時間也是個問題,因為我的備份主機可以使用特定網段來備份,且hyper-v 主機在Live mirgrate 也可以指定網段,正好可以來達到我需求。

剛好前輩說他這裡有多兩張10G 網卡和線材,可以借我回去先利用對接方式測試一下是否真的有明顯速度上升,這樣要和長官說明也有個數據。

測試

分別接再DELL R720 & DELL R610 主機上,OS 為Windows server 2012 R2 ,裝上後驅動程式不需要另外再安裝。

線材使用 Fiber Channel Over Ethernet (FCoE)

IMAG0396

網卡是Brocade ,有兩個port

IMAG0394

IMAG0395

10G-5

測試:

有一台虛擬機器SQL Server ,有2個虛擬硬碟總共約155 G  左右,原來我在1G網路下做VM 遷移,約每分鐘5XXMB – 600MB,大約要30幾分鐘才可以完成。

下圖是當虛擬機器在R610時,將VM 遷移至R720 主機大約每分鐘 1.3G 左右

10G-1

下圖是當虛擬機器在R720時,將VM 遷移至R610 主機大約每分鐘 2.1G左右

10G-4

可能是因為主機效能關係所以有些許落差,但是就我測試這大約15分鐘可以完成VM遷移動作,所以時間正好是縮減一半。

如果我單一再這兩台主機間COPY 大檔案,下圖是我copy 約80G VHDX  檔案,每分鐘可以達5.X G 的速度,比起1G網卡真的是差很多的 。

10G-2

 

如果適用測試頻寬軟體數據如下(10G網卡)

E:\iperf-2.0.5-3-win32>iperf.exe -c 192.168.20.100
————————————————————
Client connecting to 192.168.20.100, TCP port 5001
TCP window size: 63.0 KByte (default)
————————————————————
[  3] local 192.168.20.99 port 56404 connected with 192.168.20.100 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-10.0 sec  2.67 GBytes  2.29 Gbits/sec

下圖則是1G 的測試數據

1G-1

所以測試下來10G網卡確實可以提高效率(有感),且目前價錢方面已經是可以接受的範圍

前輩借我的這片網卡約2萬以內(可能更低),那我自己請廠商先幫我問一款 intel 10G 的網卡(RJ 45 介面)則是1萬5上下,其實是可以投資的。

至於switch 部分,我個人則是會用2線的10G switch相對便宜,因為前面我提到的我是用在做遷移及備份的獨立網路,所以我個人覺得OK,前輩也提醒我,若真的要買的時候就是要多買一台當備用就是了,主要原因若是2線廠牌,廠商有可能不會有多的備品待命,所以當真的故障調貨會比較麻煩,所以採購多買一台真的發生故障可以馬上替換,且只是L2的Switch。



本篇瀏覽人數: 9912
分類: Hyper-V篇。這篇內容的永久連結

在〈10G 網卡測試(加快Hyper-v vm mirgrate 速度)〉中有 10 則留言

  1. Roger表示:

    您好,我對10G規格並不是很了解,實做就更沒經驗,想請教:
    請問您是直接兩台SERVER插上網卡對接測試嗎?
    另想請教您說的 intel 10G 的網卡(RJ 45 介面),是直接接RJ45線嗎?能跑到10G?您是要直接對接還是會透過SWITCH?若有透過SWITCH,那10G部份我看都是要SPF的,莫非也有RJ45的規格?

  2. Tommas表示:

    請問下版大,為什麼我在server 2012 r2 x64,剛安裝好時,安裝INTEL 10G光纖網卡,對接,對傳資料速度可以達到6Gbit,但是當其中一台架起了AD後,對傳速度就會降至2Gbit?如果再升級DC再安裝Hyper-v後,做live migration時,速度會再降至1Gbit? 這樣就無法發揮10G網卡的效能了?請問為什麼同主機架了AD後傳輸速度會打對折?

    • 榮哥表示:

      您好
      理論上啟用AD 及hyper-v 應該部會,你這幾台主機都是有一張10G網卡還有1G的網卡嗎?

      • Tommas表示:

        內建1G網卡當控制用,外加10G光纖網卡做移轉用,發現只要本機當AD後,速度馬上打對折,很詭異!剛安裝完成server後,兩台使用10G光纖網卡對傳,速度可以達到PCIE-SSD卡的極速,約5XXMB,但是當其中一台再安裝AD升級DC後,再兩台使用10G網段對傳也只能最快僅達到1XXMB,若此時再使用Hyper-v做及時移轉時,就是維持1.2Gb的上限沒辦法再高(有在及時移轉那邊設定僅使用10G網卡網段對傳),找好久才發現這個問題,一直以為是哪個硬體環節出問題…整台server重灌後就正常,但是只要上AD後就會有問題,移除AD也是會有這個問題存在,不知道被更改了哪些東西…

        • 榮哥表示:

          您好

          您可以看一下smb 相關設定 Get-SmbServerConfiguration 查看看或許是這個參數造成RequireSecuritySignature
          詳細 可以看一下 http://blog.pmail.idv.tw/?p=13419
          還有不建議AD主機也擔任hyper-v 角色
          對了可以分享一下你這張光纖卡的型號給我嗎?我最近也在考慮採購10G網卡

發佈回覆給「Tommas」的留言 取消回覆

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *