Gen8再出发&屎坑总结/Esxi6.7/LSI9211直通

Gen8历史

Gen8买来已经有四年了,一直在角落里安静的工作,买的时候只买了乞丐版G1610T,加了一条2g内存。宿主系统Server2008,风扇转速稳定6%,各方面都比较完美,Hyper-V跑黑群晖5.2,也非常稳定,维持着四个PT站也顺顺利利的。

但是,一个躁动的心一致在那里调疼,特别是近期玩手游的时候发现,向7×24小时挂机的话,客厅干的J3455实在是捉捉襟见肘,卡的慢死。于是动了升级的念头,Gen8在各方面还都是比较ok的,感觉在战个三四年不成问题。

配置选择

  • CPU:原来的G1610T升级为E3-1265L-v2,TDP从35w提升到45w,对于被动散热的这个家伙,我觉着这应该是极限了。当初E3-1265L-v2售价高达一千多的,现在只要780搞定。
  • 内存:原来的2条2g替换为金士顿纯ECC8g x2 ,组成16g内存,这也是Gen8支持的最大内存了。但是没有了HP的Smart….略显遗憾,但是原装的太贵了,一条8g的现在还卖800+。
  • SSD:前期购入了了一块英睿达的480g的BX系列,360+入手,现在的SSD真实白菜价啊,虽然不是MX但是应付Sata5的Gen8端口绰绰有余。
  • 宿主系统:一直想试试Esxi,但是由于这个坑太多没有信心来做,但是这次借这个机会试试吧。经过这几年Gen8也基本被研究明白了。
  • 其他:购入闪迪16gU盘一个,用来做Esxi的宿主系统;购入Gen8的Sata5一体化线一根。

成本计算:CPU 780元+ 内存630元+ SSD0元+U盘20元+一体化线18元 = 1448元。

另外关于HBA卡目前还在犹豫中,感觉需求不是很强烈,另外也没研究明白HBA卡最大的用途是什么。

今天先写到这里,等硬件到齐了继续更新。


方案一:Gen8安装win server 2008/2012,这是我原来选的方案

放弃这个方案的原因是,希望更大程度的利用主机资源,Esxi自身在资源占用方面毕竟小很多,而且还是在专门做虚拟机的。Server2008之前用的非常顺利,Hyper-V不支持6.0以上的DSM黑群晖,考虑到这几个原因放弃了方案一。

方案二:Gen8安装Esxi,之后在安装各种虚拟机。

这个方案目前存在的问题包括:

  1. Esxi6.0/6.5对Gen8的B120i的Raid驱动有问题,6.0以前的可以通过降低驱动版本解决,6.5没办法。直接的结果是导致硬盘IO掉速。
  2. 所以我选择了ACHI,但如果选择了ACHI那么ilo无法读取04的硬盘温度,所以导致风扇转速提高。在Server2008的时候我风扇常年保持6%,目前14%-22%不等,不如以前安静了。
  3. Esxi下如果加壮HBA卡可以解决以上问题,可一个把整个硬盘直通给黑群晖,目测应该是最好的解决方案了。目前9211
    8i的HBA卡咸鱼只要180快左右。

最终选择方案二,ACHI模式,没有加HBA卡,用RDM直通的方式。

首先手一个题目,就是在Gen8+Esxi+DSM群晖下的纠结和坑,首先如果选择Esxi就是一个大坑,要不断的填坑,这就是个试错游戏,而且是真的好难。


硬件安装

安装方面没有什么问题,Gen8整个架构设计非常好,甚至不用螺丝都就能完成。

  • 拧开机箱后面两个螺丝
  • 拆掉主板上的线,包括SAS、电源、风扇等
  • 拉开主板
  • 更换CPU、内存
  • 原顺序装回去

IMG_20190402_222644.jpg

IMG_20190402_222639.jpg

安装SSD需要一个小4pin转sata电源线,我从淘宝买了一个电源+数据线一体的
IMG_20190402_224323.jpg

ilo/SPP/HPIP/BIOS升级

Gen8买来就没有升过级,ilo版本2.1,BIOS还是2013年的,反正折腾一次就全部升级了吧。

升级的顺序推荐SPP-HPIP-BIOS-ILO,因为spp可能会包含一些其他的内容,会顺带这把BIOS/ilo一块升级,但是不会升级到最新版。
以下是最后升级的结果:
chrome_2019-04-06_16-53-14.png

SPP

gen8最后支持的spp版本是P03093_001_spp-Gen8.1-SPPGen81.4.iso
下载地址:https://www.chiphell.com/thread-1796234-1-1.html,这里有个镜像很不错

HPIP

目前最新版本是1.70.63
下载地址:

BIOS

最后的版本就是2015-7-16的这个
BIOS 2015-07-16版,链接:http://pan.baidu.com/s/1pKnKl43 密码:m1u3
BIOS 2014-06-06版,链接:http://pan.baidu.com/s/1gemEANT 密码:0hfr

ilo

推荐到这里下载:https://pingtool.org/latest-hp-ilo-firmwares/
HP官方也有:https://support.hpe.com/hpsc/swd/public/detail?sp4ts.oid=5390291&swItemId=MTX_9ec0af96264647e8bb73fbae9b&swEnvOid=4184#tab6

另外在chiphell还有几个:
iLO v2.30,链接:http://pan.baidu.com/s/1sk7YYFr 密码:c1ur
iLO v2.10,链接:http://pan.baidu.com/s/1kUxvS3d 密码:vmjx
iLO v2.03,链接:http://pan.baidu.com/s/1ntWnwKD 密码:zavs
iLO v1.51,链接:http://pan.baidu.com/s/1pKgsCWV 密码:rzwp
iLO v1.32破解版,链接:http://pan.baidu.com/s/1o7apmUu 密码:ewns,SATA、AHCI模式下风扇转速超低

目前风扇转速一般维持在14%
chrome_2019-04-06_16-52-33.png


Esxi安装

这里解释一个概念,HP在服务器领域叫做HPE,所以Gen8的网址都是hpe.com,下面是Esxi针对HP定制的固件。
https://www.hpe.com/us/en/servers/hpe-esxi.html

chrome_2019-04-06_15-39-32.png

RDM直通

在配置好虚拟机后,6.5需要ssh手动挂载RDM直通,具体教程省略,留下几个mark

vmkfstools -z /vmfs/devices/disks/t10.ATA_____TOSHIBA_DT01ABA300V________________________________87SRNPDAS /vmfs/volumes/5ca3e7ca-f9790d98-4229-d0bf9c465bd4/TOSHIBA-1.vmdk

vmkfstools -z /vmfs/devices/disks/t10.ATA_____ST2000DM0012D1CH164__________________________________W1E1R9MM /vmfs/volumes/5ca3e7ca-f9790d98-4229-d0bf9c465bd4/SEAGATE-1.vmdk

vmkfstools -z /vmfs/devices/disks/t10.ATA_____ST2000VX0002D1ES164__________________________________W4Z1Y4G5 /vmfs/volumes/5ca3e7ca-f9790d98-4229-d0bf9c465bd4/SEAGATE-2.vmdk

查看SMART信息

esxcli storage core device smart get -d t10.ATA_____TOSHIBA_DT01ABA300V________________________________87SRNPDAS

黑群晖安装

在黑群晖安装的时候遇到了太多问题可太多坑。

第一次在xpenology.com上参照教程来做的,但是实验一百次都失败,这里对硬盘、sata等等一堆问题搞不明白。但毕竟是官方的所以有愿意折腾的可以去看看:https://xpenology.com/forum/topic/12952-dsm-62-loader/

主要的问题在群晖洗白上。群晖如果向洗白或者半洗白,都要修改sn和mac,就在这里多次搞不明白。

后来在nas2x.com上找到了解决方案,也安装成功了。下面是分别6.2和5.2版本的dsm,建议直接下载vmdk文件,不要在折腾。

黑群晖系统: DSM 6.1.7-15284 Update3 (首选推荐版本) 引导版本: 1.02b 针对机型: DS3617+
引导方式: UEFI
https://www.nas2x.com/downloads/xpenology-dsm-6-2-0.8/history

黑群晖系统: DSM 5.2-5967.1 (次选推荐版本) 引导版本: XPEnoboot for DSM 5.2-5967.1 x64
针对机型: DS3615+ 引导方式: 传统BIOS
https://www.nas2x.com/threads/xpenoboot-for-dsm-5-2-5967-1.13/

唯一要注意的是引导盘必须在sata(0:0),选择独立-非持久。
chrome_2019-04-06_16-38-53.png

Win7/ubuntu安装都比较简单了,这里不说了。

USB image tools克隆镜像

由于Esxi安装在一个sandisk的u盘上,担心u盘的寿命,所以把整个U盘克隆的img/iso留下备份,万一哪天u盘坏掉了可以恢复。
IMG_20190402_224341.jpg

后记:恢复了半天,感觉没有用啊,对更换U盘的感觉不靠谱,最好两个u盘一模一样。


2019.4.22更新

致命错误

今天犯了一个致命的错误,把usb设备给直通了,出现的结果就是,加载U盘的那个口也被直通了,无法在改回来,因为一旦系统加载完毕后,esxi进入内存,就无法看到直通的usb控制器,无法把配置写会u盘。

这是在网上了一个错误的教程,6 Series/C200 Series Chipset Family USB Enhanced Host Controller #2并不是控制内置的us设备,而是控制所有的设备:

从一个国外网站找到这份清单,虽然没验证,但是看样子差不多,今晚验证。

0000:00:1a.0
6 Series/C200 Series Chipset Family USB Enhanced Host Controller #2
Internal USB port
2x Rear USB 2.0 ports
2x Front USB 2.0 ports
0000:00:1d.0
6 Series/C200 Series Chipset Family USB Enhanced Host Controller #1
Not sure
0000:04:00.0
uPD720201 USB 3.0 Host Controller
2x USB 3.0 ports (Rear)

购买HBA卡

由于这个错误,无法解决,从官方查到了这个问题,但是官方居然让我重新安装Esxi,这就导致我的群晖的数据很难再恢复,因为原来通过RDM映射我不保证能恢复如初。

所以一狠心260买了一个LSI 9211 8i的HBA卡,已经在路上。HBA卡直通给DSM,方便数据的保存和转移。即使有一天GEN8废了,重新装了NAS也可以简便的转移过去。

不过这也下定决心,重要数据不再群晖存了,考虑个6T-8T的外置硬盘吧,冷备份+主PC备份应该算是比较靠谱,NAS24小时开机实在是不敢冒险。


2019.4.25更新

LSI 9211 8i的卡到手之后,一气呵成,重新安装Esxi、DSM,但是DSM6.1后居然只能看到一块硬盘(差了4块)

在网上查阅资料,说是需要修改grub中的SataPort参数,但最终依然没用,乖乖的用回DSm5.2
Nas2x.com的最好用:https://www.nas2x.com/threads/xpenoboot-for-dsm-5-2-5967-1.13/

贴上Esxi的参数,引导文件选择独立-非持久,否则在安装的时候会被一块格式化掉。
chrome_2019-04-26_11-02-54.png
LSI 当做PCI设备直接直通就ok了
chrome_2019-04-26_11-03-11.png
在DSM中可以看到硬盘,也可以看到SMART的信息,真好啊!
chrome_2019-04-26_11-05-19.png
chrome_2019-04-26_11-05-39.png


最后备份几个有帮助的文章:
https://www.chiphell.com/thread-1196090-1-1.html
https://jayshao.com/gen8-esxi-best-practise/
https://www.chiphell.com/thread-1565626-1-1.html
http://eool.net/?p=65
https://www.chiphell.com/thread-1859898-1-1.html
https://www.z2os.com/other/96.html
https://www.chiphell.com/thread-1977138-1-1.html
https://www.mobibrw.com/2017/8432
https://mega.nz/#F!yQpw0YTI!DQqIzUCG2RbBtQ6YieScWg
https://note.wuze.me/liu-shui/zai-esxi-6.5-zhong-an-zhuang-qun-hui-dsm-6.1
https://gugucomputing.wordpress.com/2018/10/26/%E5%9C%A8esxi%E4%B8%AD%E5%AE%89%E8%A3%9Ddsm6-2-1-%E6%BA%96%E5%82%99dsm%E7%92%B0%E5%A2%83/
https://gugucomputing.wordpress.com/2018/10/26/%E5%9C%A8esxi%E4%B8%AD%E5%AE%89%E8%A3%9Ddsm6-2-1-%E5%AE%89%E8%A3%9Ddsm%E7%B3%BB%E7%B5%B1/

最后修改:2019 年 04 月 26 日 11 : 08 AM

9 条评论

  1. m

    回复楼主的……选择 ESXi 6.7 的优势是什么?这般折腾之后风扇转速是多少呢

    1. Rui
      @m

      硬盘用的Raid模式,夏天转速14%-%徘徊,用AHCI应该更好一点。

      1. m
        @Rui

        用 raid 不是可以达到 6% 转速吗?而且用 raid 为啥还要 hba 卡呢?不太明白

        1. Rui
          @m

          主要是方面以后转移,连hba卡和硬盘一块转入新系统。Gen8的raid拆下来换别的机子就没法用了

          1. m
            @Rui

            为啥不直接使用 AHCI,硬盘拆下来也可以放到别的机器里面使用。我一开始以为是为了追求更低的转速才用的 RAID

  2. 情留メ蚊子

    #1 是SD卡 #2 是全部USB2.0

  3. 情留メ蚊子

    对于直通 USB2.0 #1 #2 的结果呢?

    1. m
      @情留メ蚊子

      选择 ESXi 6.7 的优势是什么?这般折腾之后风扇转速是多少呢

    2. Rui
      @情留メ蚊子

      #2 应该是包括所有的USB2.0 和内置USB #1没弄明白是什么

发表评论