Gen8 加装nvme SSD EXSI 虚拟机扩容 操作记录

test11

硬件更换篇

操作系统: exsi 6.5.0 Update 3 (Build 18678235)

引导方式: TF卡装exsi,由TF卡直接引导

硬盘: 数据盘满4块机械盘 光驱位sata5接了一块Intel DS S3500 160G 2.5寸

---------------------------------

sata5的那块SSD用来做EXSI的数据盘,近来160G 捉襟见肘,有部分虚拟机空间不够用了,所以想换一块数据盘

gen8 内还有一条pcie插槽,考虑过直接上一块SSD,但PICE式的SSD基本买不到了.就算能买到,性价比也极低

最终决定使用NVME转PCIE,然后插一根M2的SSD 这样既实惠,性能又起飞..

台式机正好有2条三星970PRO 1T和512G
512G的给GEN8正合适.这样准备工作只需要一张转接卡了,JD 12包邮一张卡

安装过程极为简单,拆开机箱,不用拔4条机械盘,PCIE插槽就在侧面,所以主板不用抽出,开机就能看到识别到nvme的SSD了

在上图中点击新添加的这块盘,进去,新建数据存储即可
接下来是我转移虚拟机的过程

• 优先转移重要性最低的虚拟机,例如我先转移winServer2008r2,这是我用来做SMB共享的,
• 对待转移的虚拟机执行关机操作,因为RDM直通文件还在160G盘中,所以关机后编辑虚拟机,将RDM直通的硬盘卸载掉
• 在虚拟机列表取消注册该虚拟机
• 在数据存储浏览器中,直接对虚拟机数据文件夹整体移动到新的存储区中
• 新建虚拟机,选择已有虚拟机,加载新存储区中,虚拟机文件夹路径
• 删除原存储器中RDM直通文件,然后利用SSH重新建立RDM硬盘直通文件到新存储区
• 编辑虚拟机,添加已有磁盘,载入新的RDM硬盘直通文件
• 启动虚拟机,提示移动了 或 复制了虚拟机,选择移动
  

附2张在同一个winserver2008r2下写盘测试图

之前Intel DC S3500 160G 在sata下的表现


现在nvme的970pro的表现

虽然在pcie 2.0上根本跑不起来,但这速度对比之前sata已经很感动了
应该可以充分发挥VMFS6多虚拟机并发读写的优势了.

那块160G的也不准备拆了,准备用来存放一些常用ISO以及虚拟机的系统备份,

---

虚拟机扩容篇

数据磁盘焕发新容,500G的大空间可以好好折腾一下了,接下来的内容是对一个centos7虚拟机进行扩容


直接EXSI 在虚拟机开机状态下,直接编辑,对目标磁盘设定理想的大小
注意:

• 厚置备,置零的盘,也就是当初直接分配所有空间的盘,也能扩容,不受影响
• 厚置备,置零的盘扩容后,会变成延迟置零
• 如果要改回置零,需要在扩容后,SSH连一下EXSI对虚拟机vmdk文件进行转换具体往下看
  

接下来连接该虚拟机的shell执行命令

1. 
   
2. //1.用于扩容
   
3. yum install -y cloud-utils-growpart
   
4. 
   
5. //2.用来支持**分区
   
6. yum install -y gdisk
   
7. 
   
8. //3.查看当前磁盘结构
   
9. lsblk
   
10. 
    
11. //得到结果
    
12. //sda这块硬盘
    
13. //sda3为需要扩容的分区
    
14. //centos-root是需要扩容的逻辑卷
    

复制代码

1. 
   
2. 
   
3. //4.查看分区情况
   
4. df -Th
   
5. 
   
6. //最终确定磁盘分区地址为 /dev/sda3
   

复制代码

1. 
   
2. //5.扫描sda这块盘,因为在虚拟机外变更了大小 防止扩容时认为没有额外空间
   
3. echo 1 > /sys/block/sda/device/rescan
   
4. 
   
5. //6.扩容开始对sda3扩容,sda和3之间有空格
   
6. growpart /dev/sda 3
   

复制代码

1. 
   
2. //7. 再次运行
   
3. lsblk
   
4. // 可以看到sda3已经扩容成功
   
5. // 但lvm的逻辑分区centos-root 还是没变化
   
6. // 接下来要让它享用所有剩余空间
   

复制代码

1. 
   
2. //8.对逻辑卷扩容
   
3. pvdisplay
   
4. pvresize /dev/sda3
   
5. lvextend -l +100%FREE /dev/mapper/centos-root
   
6. 
   
7. //9. 查看结果
   
8. lsblk
   
9. 
   
10. //可以看到图中逻辑卷已经扩容成功了,但还没有结束
    
11. 
    

复制代码

1. 
   
2. //查看分区情况
   
3. df -PTh
   
4. 
   
5. //发现还是没变化
   

复制代码

1. 
   
2. // 10. 最后一步了,对这块逻辑分区扩容,就当前面的操作是它有了空间,但未实际分配吧
   
3. xfs_growfs /dev/mapper/centos-root
   
4. //这一步操作之后,就彻底完事了
   

复制代码

---

磁盘类型转换篇

将后置备,延迟置零磁盘转换为置零

先将该虚拟机关机

1. 
   
2. //SSH连接EXSI 找到虚拟机文件目录
   
3. cd /vmfs/volumes/storage/webserver
   
4. ls
   
5. //进行转换,这里是保留数据的,不会有问题
   
6. //请在虚拟机关机时运行
   
7. vmkfstools --eagerzero ./webserver.vmdk
   

复制代码

1. 
   
2. //转换完毕后查看磁盘格式
   
3. vmkfstools -t0 webserver.vmdk
   
4. //看到一长串的数据,圈起来那一列,是-- 代表就是置零的
   

复制代码

但你在exsi界面编辑虚拟机时,硬盘中显示还是厚置备,延迟置零,

说明编辑器界面读取的数据并不会扫磁盘文件实际格式,而对磁盘文件进行的修改,它并不知道,可能这里想要修改回来,就要去修改对应配置文件了

不过应该没有必要,想要达的到的目的已经做好了,厚置备置零是性能最佳的类型,实际上它没有错就OK.

gaoyi124

挺不错,我的gen8就一个黑群晖,也空闲了一个pcie16的位置,有点浪费,不过你这个用法,我黑裙升级意义不大,还是凑合用吧

test11

gaoyi124 发表于 2023-3-19 21:55
挺不错,我的gen8就一个黑群晖,也空闲了一个pcie16的位置,有点浪费,不过你这个用法,我黑裙升级意义不大,还是 ...

恩,我虚拟机多,主要是有一个centos7是主力,里面很多内网的WEB服务,系统盘都不够用了.扩容数据盘,迫在眉睫,这下,能榨干的全榨了..这机子最大的遗憾就是内存不能再高了.唉CPU都能忍,主要是内存

zxn

我的大脑被监控了
刚有这个想法就看到本贴。

weston

gaoyi124 发表于 2023-3-19 21:55
挺不错,我的gen8就一个黑群晖,也空闲了一个pcie16的位置,有点浪费,不过你这个用法,我黑裙升级意义不大,还是 ...

我PCIE插了个10G网卡，裸跑着openwrt

seemeagain

weston 发表于 2023-3-22 14:27
我PCIE插了个10G网卡，裸跑着openwrt

哪個型號的網卡？

weston

seemeagain 发表于 2023-3-22 14:42
哪個型號的網卡？

垃圾货，x540-T2

picky1234

我觉得gen8的PCI槽拿来插10G网卡才是最划算的，我4机械盘组的SHR 倒数据轻松超过500M/S，板载千兆哪怕是往机械盘上倒数据也能烦死个人，NVME SSD一般日常应用感知倒不是太明显。 我是板载千兆连连路由，下载什么的就走这个，PCIE 10G直连PC映射驱动器，成本低速度快。

test11

picky1234 发表于 2023-3-22 17:49
我觉得gen8的PCI槽拿来插10G网卡才是最划算的，我4机械盘组的SHR 倒数据轻松超过500M/S，板载千兆哪怕是往 ...

这个还要分情况.我从不用群晖,也没有直接映射磁盘的需求,功能与服务都是web提供在线服务再到局域网各客户端访问,而且虚拟机比较多,加上正好空间不够用了,换个大点空间再提升并行读写能力,对于多虚拟机多服务,更有意义 ..

fly9902

pci转nvme用了一段时间之后貌似都不稳定，不知道你这个怎么样

test11

fly9902 发表于 2023-3-22 20:59
pci转nvme用了一段时间之后貌似都不稳定，不知道你这个怎么样

不知道你说的不稳定是啥情况,我估计不是这里的问题,你应该检查下别的原因.NVME本身用的就是PCIE通道转接其实不会有损耗相当于直插.与原生的没啥区别.

zhgna

gen8的pcie还闲着，现在ssd这么白菜，感觉可以搞一条插上

zhgna

weston 发表于 2023-3-22 16:57
垃圾货，x540-T2

请问你买的那款x540-T2？稳定性怎样？也想上一块试试

weston

zhgna 发表于 2023-3-23 13:08
请问你买的那款x540-T2？稳定性怎样？也想上一块试试

咸鱼上一两百的那种，好像是HP版本的，半高卡，我现在家里万兆内网，有好几块这种网卡的，电口有点热，有的我加了风扇吹的，感觉没啥问题，但是也不排除有很细微的问题我觉察不到

zhgna

weston 发表于 2023-3-23 13:55
咸鱼上一两百的那种，好像是HP版本的，半高卡，我现在家里万兆内网，有好几块这种网卡的，电口有点热，有 ...

谢谢！看了下拆机x540-T2，是不是hp561FLR-T？但这款插普通主板pcie要用到转接卡，gen8可以直插的吗？

weston

zhgna 发表于 2023-3-23 14:32
谢谢！看了下拆机x540-T2，是不是hp561FLR-T？但这款插普通主板pcie要用到转接卡，gen8可以直插的吗？ ...

我家里有一台HP DL388，所以有一张这个网卡，可以直接用，但是其他的卡都不是这个，不需要转接卡的那种

zhgna

weston 发表于 2023-3-23 14:41
我家里有一台HP DL388，所以有一张这个网卡，可以直接用，但是其他的卡都不是这个，不需要转接卡的那种 ...

这样啊，刚问了下，microserver gen8不支持这张卡直插的，加转接卡又变成全高挡板

就爱TJ

https://www.chiphell.com/thread-2503401-1-1.html

想到一块去了，欢迎讨论

落鸡啊7210

pcie NVME和B120I 软RAID可以同时使用吗？

nn1122

fly9902 发表于 2023-3-22 20:59
pci转nvme用了一段时间之后貌似都不稳定，不知道你这个怎么样

稳定都没问题，只是楼主用的是三丧970 pro。。

zhgna

请问lz，gen8插pcie+ssd稳定吗？图片中的pcie转接是好像长挡板，实际用的是什么牌子的，想照单来一块，现在杂牌ssd太白菜，搞一块临时下载用。

test11

zhgna 发表于 2023-3-25 18:18
请问lz，gen8插pcie+ssd稳定吗？图片中的pcie转接是好像长挡板，实际用的是什么牌子的，想照单来一块，现在 ...

我在JD搜的,我用的佳翼 NVME转接卡扩展卡 才12块钱,图中那个档版,我直接扔了,根本没安..这玩意.其实啥牌都行.又没芯片的,就是个接口转接,做工都没问题,我没遇到什么稳定性的问题..现在很好..和直插PCIE的SSD没区别的.就是我用的这个970不支持引导,只能当存储用,支持引导的那些品牌型号全停产了,能买到也很贵,要玩EXSI的话,TF卡装系统,我觉的很不错.所以SSD无所谓是不是能支持引导

test11

就爱TJ 发表于 2023-3-23 15:46
https://www.chiphell.com/thread-2503401-1-1.html

想到一块去了，欢迎讨论

改的不错..gen8还是挺经典的..

zhgna

test11 发表于 2023-3-26 02:02
我在JD搜的,我用的佳翼 NVME转接卡扩展卡 才12块钱,图中那个档版,我直接扔了,根本没安..这玩意.其实啥牌都 ...

谢谢！
pcie ssd老主板引导系统都有问题，需要bios支持，以前自己曾经改过一块主板。对gen8需求，主要是存储就可以了，现在一块sata ssd用于win平台下载，想加一块pcie ssd给虚拟机下载用。

test11

zhgna 发表于 2023-3-26 14:07
谢谢！
pcie ssd老主板引导系统都有问题，需要bios支持，以前自己曾经改过一块主板。对gen8需求，主要是 ...

完全没问题.走NVME转PCIE是个不错的选择,性价比很高

fugan2

fly9902 发表于 2023-3-22 20:59
pci转nvme用了一段时间之后貌似都不稳定，不知道你这个怎么样

挖个坟。

英特尔 760P 512GB SSD 固态搭配索厉 NVME 协议转接卡。在 Gen 8 上今天遇到的唯一一次掉盘，工作了刚好 5 年。

应该是固态坏了，用硬盘盒拷贝数据出来的时候会掉盘，而且啥也不操作都温度炸裂。