Gen8 加装nvme SSD EXSI 虚拟机扩容 操作记录
本帖最后由 test11 于 2023-3-20 02:02 编辑硬件更换篇
操作系统: exsi 6.5.0 Update 3 (Build 18678235)
引导方式: TF卡装exsi,由TF卡直接引导
硬盘: 数据盘满4块机械盘 光驱位sata5接了一块Intel DS S3500 160G 2.5寸
---------------------------------
sata5的那块SSD用来做EXSI的数据盘,近来160G 捉襟见肘,有部分虚拟机空间不够用了,所以想换一块数据盘
gen8 内还有一条pcie插槽,考虑过直接上一块SSD,但PICE式的SSD基本买不到了.就算能买到,性价比也极低
最终决定使用NVME转PCIE,然后插一根M2的SSD 这样既实惠,性能又起飞..
台式机正好有2条三星970PRO 1T和512G
512G的给GEN8正合适.这样准备工作只需要一张转接卡了,JD 12包邮一张卡
安装过程极为简单,拆开机箱,不用拔4条机械盘,PCIE插槽就在侧面,所以主板不用抽出,开机就能看到识别到nvme的SSD了
在上图中点击新添加的这块盘,进去,新建数据存储即可
接下来是我转移虚拟机的过程
[*] 优先转移重要性最低的虚拟机,例如我先转移winServer2008r2,这是我用来做SMB共享的,
[*] 对待转移的虚拟机执行关机操作,因为RDM直通文件还在160G盘中,所以关机后编辑虚拟机,将RDM直通的硬盘卸载掉
[*] 在虚拟机列表取消注册该虚拟机
[*] 在数据存储浏览器中,直接对虚拟机数据文件夹整体移动到新的存储区中
[*] 新建虚拟机,选择已有虚拟机,加载新存储区中,虚拟机文件夹路径
[*] 删除原存储器中RDM直通文件,然后利用SSH重新建立RDM硬盘直通文件到新存储区
[*] 编辑虚拟机,添加已有磁盘,载入新的RDM硬盘直通文件
[*] 启动虚拟机,提示移动了 或 复制了虚拟机,选择移动
附2张在同一个winserver2008r2下写盘测试图
之前Intel DC S3500 160G 在sata下的表现
现在nvme的970pro的表现
虽然在pcie 2.0上根本跑不起来,但这速度对比之前sata已经很感动了
应该可以充分发挥VMFS6多虚拟机并发读写的优势了.
那块160G的也不准备拆了,准备用来存放一些常用ISO以及虚拟机的系统备份,
虚拟机扩容篇
数据磁盘焕发新容,500G的大空间可以好好折腾一下了,接下来的内容是对一个centos7虚拟机进行扩容
直接EXSI 在虚拟机开机状态下,直接编辑,对目标磁盘设定理想的大小
注意:
[*]厚置备,置零的盘,也就是当初直接分配所有空间的盘,也能扩容,不受影响
[*]厚置备,置零的盘扩容后,会变成延迟置零
[*]如果要改回置零,需要在扩容后,SSH连一下EXSI对虚拟机vmdk文件进行转换具体往下看
接下来连接该虚拟机的shell执行命令
//1.用于扩容
yum install -y cloud-utils-growpart
//2.用来支持**分区
yum install -y gdisk
//3.查看当前磁盘结构
lsblk
//得到结果
//sda这块硬盘
//sda3为需要扩容的分区
//centos-root是需要扩容的逻辑卷
//4.查看分区情况
df -Th
//最终确定磁盘分区地址为 /dev/sda3
//5.扫描sda这块盘,因为在虚拟机外变更了大小 防止扩容时认为没有额外空间
echo 1 > /sys/block/sda/device/rescan
//6.扩容开始对sda3扩容,sda和3之间有空格
growpart /dev/sda 3
//7. 再次运行
lsblk
// 可以看到sda3已经扩容成功
// 但lvm的逻辑分区centos-root 还是没变化
// 接下来要让它享用所有剩余空间
//8.对逻辑卷扩容
pvdisplay
pvresize /dev/sda3
lvextend -l +100%FREE /dev/mapper/centos-root
//9. 查看结果
lsblk
//可以看到图中逻辑卷已经扩容成功了,但还没有结束
//查看分区情况
df -PTh
//发现还是没变化
// 10. 最后一步了,对这块逻辑分区扩容,就当前面的操作是它有了空间,但未实际分配吧
xfs_growfs /dev/mapper/centos-root
//这一步操作之后,就彻底完事了
磁盘类型转换篇
将后置备,延迟置零磁盘转换为置零
先将该虚拟机关机
//SSH连接EXSI 找到虚拟机文件目录
cd /vmfs/volumes/storage/webserver
ls
//进行转换,这里是保留数据的,不会有问题
//请在虚拟机关机时运行
vmkfstools --eagerzero ./webserver.vmdk
//转换完毕后查看磁盘格式
vmkfstools -t0 webserver.vmdk
//看到一长串的数据,圈起来那一列,是-- 代表就是置零的
但你在exsi界面编辑虚拟机时,硬盘中显示还是厚置备,延迟置零,
说明编辑器界面读取的数据并不会扫磁盘文件实际格式,而对磁盘文件进行的修改,它并不知道,可能这里想要修改回来,就要去修改对应配置文件了
不过应该没有必要,想要达的到的目的已经做好了,厚置备置零是性能最佳的类型,实际上它没有错就OK.
挺不错,我的gen8就一个黑群晖,也空闲了一个pcie16的位置,有点浪费,不过你这个用法,我黑裙升级意义不大,还是凑合用吧 gaoyi124 发表于 2023-3-19 21:55
挺不错,我的gen8就一个黑群晖,也空闲了一个pcie16的位置,有点浪费,不过你这个用法,我黑裙升级意义不大,还是 ...
恩,我虚拟机多,主要是有一个centos7是主力,里面很多内网的WEB服务,系统盘都不够用了.扩容数据盘,迫在眉睫,这下,能榨干的全榨了..这机子最大的遗憾就是内存不能再高了.唉CPU都能忍,主要是内存 我的大脑被监控了
刚有这个想法就看到本贴。 gaoyi124 发表于 2023-3-19 21:55
挺不错,我的gen8就一个黑群晖,也空闲了一个pcie16的位置,有点浪费,不过你这个用法,我黑裙升级意义不大,还是 ...
我PCIE插了个10G网卡，裸跑着openwrt weston 发表于 2023-3-22 14:27
我PCIE插了个10G网卡，裸跑着openwrt
哪個型號的網卡？ seemeagain 发表于 2023-3-22 14:42
哪個型號的網卡？
垃圾货，x540-T2 我觉得gen8的PCI槽拿来插10G网卡才是最划算的，我4机械盘组的SHR 倒数据轻松超过500M/S，板载千兆哪怕是往机械盘上倒数据也能烦死个人，NVME SSD一般日常应用感知倒不是太明显。 我是板载千兆连连路由，下载什么的就走这个，PCIE 10G直连PC映射驱动器，成本低速度快。
picky1234 发表于 2023-3-22 17:49
我觉得gen8的PCI槽拿来插10G网卡才是最划算的，我4机械盘组的SHR 倒数据轻松超过500M/S，板载千兆哪怕是往 ...
这个还要分情况.我从不用群晖,也没有直接映射磁盘的需求,功能与服务都是web提供在线服务再到局域网各客户端访问,而且虚拟机比较多,加上正好空间不够用了,换个大点空间再提升并行读写能力,对于多虚拟机多服务,更有意义 .. pci转nvme用了一段时间之后貌似都不稳定，不知道你这个怎么样https://cdn.jsdelivr.net/gh/master-of-forums/master-of-forums/public/images/patch.gif fly9902 发表于 2023-3-22 20:59
pci转nvme用了一段时间之后貌似都不稳定，不知道你这个怎么样
不知道你说的不稳定是啥情况,我估计不是这里的问题,你应该检查下别的原因.NVME本身用的就是PCIE通道转接其实不会有损耗相当于直插.与原生的没啥区别. gen8的pcie还闲着，现在ssd这么白菜，感觉可以搞一条插上 weston 发表于 2023-3-22 16:57
垃圾货，x540-T2
请问你买的那款x540-T2？稳定性怎样？也想上一块试试 zhgna 发表于 2023-3-23 13:08
请问你买的那款x540-T2？稳定性怎样？也想上一块试试
咸鱼上一两百的那种，好像是HP版本的，半高卡，我现在家里万兆内网，有好几块这种网卡的，电口有点热，有的我加了风扇吹的，感觉没啥问题，但是也不排除有很细微的问题我觉察不到 weston 发表于 2023-3-23 13:55
咸鱼上一两百的那种，好像是HP版本的，半高卡，我现在家里万兆内网，有好几块这种网卡的，电口有点热，有 ...
谢谢！看了下拆机x540-T2，是不是hp561FLR-T？但这款插普通主板pcie要用到转接卡，gen8可以直插的吗？ zhgna 发表于 2023-3-23 14:32
谢谢！看了下拆机x540-T2，是不是hp561FLR-T？但这款插普通主板pcie要用到转接卡，gen8可以直插的吗？ ...
我家里有一台HP DL388，所以有一张这个网卡，可以直接用，但是其他的卡都不是这个，不需要转接卡的那种 weston 发表于 2023-3-23 14:41
我家里有一台HP DL388，所以有一张这个网卡，可以直接用，但是其他的卡都不是这个，不需要转接卡的那种 ...
这样啊，刚问了下，microserver gen8不支持这张卡直插的，加转接卡又变成全高挡板 https://www.chiphell.com/thread-2503401-1-1.html
[偷笑]想到一块去了，欢迎讨论 pcie NVME和B120I 软RAID可以同时使用吗？ fly9902 发表于 2023-3-22 20:59
pci转nvme用了一段时间之后貌似都不稳定，不知道你这个怎么样
稳定都没问题，只是楼主用的是三丧970 pro。。[偷笑] 请问lz，gen8插pcie+ssd稳定吗？图片中的pcie转接是好像长挡板，实际用的是什么牌子的，想照单来一块，现在杂牌ssd太白菜，搞一块临时下载用。 zhgna 发表于 2023-3-25 18:18
请问lz，gen8插pcie+ssd稳定吗？图片中的pcie转接是好像长挡板，实际用的是什么牌子的，想照单来一块，现在 ...
我在JD搜的,我用的佳翼 NVME转接卡扩展卡 才12块钱,图中那个档版,我直接扔了,根本没安..这玩意.其实啥牌都行.又没芯片的,就是个接口转接,做工都没问题,我没遇到什么稳定性的问题..现在很好..和直插PCIE的SSD没区别的.就是我用的这个970不支持引导,只能当存储用,支持引导的那些品牌型号全停产了,能买到也很贵,要玩EXSI的话,TF卡装系统,我觉的很不错.所以SSD无所谓是不是能支持引导 就爱TJ 发表于 2023-3-23 15:46
https://www.chiphell.com/thread-2503401-1-1.html
想到一块去了，欢迎讨论
[傻笑] 改的不错..gen8还是挺经典的.. test11 发表于 2023-3-26 02:02
我在JD搜的,我用的佳翼 NVME转接卡扩展卡 才12块钱,图中那个档版,我直接扔了,根本没安..这玩意.其实啥牌都 ...
谢谢！
pcie ssd老主板引导系统都有问题，需要bios支持，以前自己曾经改过一块主板。对gen8需求，主要是存储就可以了，现在一块sata ssd用于win平台下载，想加一块pcie ssd给虚拟机下载用。 zhgna 发表于 2023-3-26 14:07
谢谢！
pcie ssd老主板引导系统都有问题，需要bios支持，以前自己曾经改过一块主板。对gen8需求，主要是 ...
完全没问题.走NVME转PCIE是个不错的选择,性价比很高 fly9902 发表于 2023-3-22 20:59
pci转nvme用了一段时间之后貌似都不稳定，不知道你这个怎么样
挖个坟。
英特尔 760P 512GB SSD 固态搭配索厉 NVME 协议转接卡。在 Gen 8 上今天遇到的唯一一次掉盘，工作了刚好 5 年。
应该是固态坏了，用硬盘盒拷贝数据出来的时候会掉盘，而且啥也不操作都温度炸裂。
页:
[1]