找回密码
 加入我们
搜索
      
查看: 6961|回复: 40

[NAS] SA6400无法打开虚拟机?

[复制链接]
发表于 2023-8-12 01:24 | 显示全部楼层 |阅读模式
本帖最后由 hawie 于 2023-8-12 01:25 编辑

纯净安装最新版本,全黑或半白都一样的现象——无法打开虚拟机。
创建任意虚拟机之后,启动虚拟机之时,总是提示这个:
截屏2023-08-11 23.49.23.png
物理机安装:N100。求解。

为什么想用SA6400呢?因为发现它在RAID5可以启用TRIM,正好需要。
而DS3622xs+/DS920+/DS918+等机型,只能在RAID1以下启用TRIM。
发表于 2023-8-12 03:20 | 显示全部楼层
RAID5可以启用TRIM
难道不是跟ssd主控固件来的吗 raid5/6需要DRAT/RZAT这两种trim
 楼主| 发表于 2023-8-12 07:01 | 显示全部楼层
YsHaNg 发表于 2023-8-12 03:20
难道不是跟ssd主控固件来的吗 raid5/6需要DRAT/RZAT这两种trim

我也是被惊讶到的,有可能是这个机型群晖采用了新内核的原因,RAID5这个TRIM参数,在SA6400中出现了:
截屏2023-08-12 06.57.51.png
发表于 2023-8-12 07:06 | 显示全部楼层
本帖最后由 YsHaNg 于 2023-8-11 23:15 编辑
hawie 发表于 2023-8-11 23:01
我也是被惊讶到的,有可能是这个机型群晖采用了新内核的原因,RAID5这个TRIM参数,在SA6400中出现了:
...


是什么硬盘组阵列
  1. hdparm -I
复制代码
看看output
看你是m2 nvme的trim DEALLOCATE是无条件Deterministic的 另配合WRITE ZEROES实现RZAT 这样符合群晖的raid5 trim要求
内核的话epyc7002-gcc1220_glibc236_x86_64-GPL.txz        AMD x86 Linux Linux 5.10.55 (epyc7002) libata-core.c和之前的内核没太大差别 应该没有白名单增加
我也挺好奇你怎么拿epyc7002固件装n100上 也差太大了吧
 楼主| 发表于 2023-8-12 07:44 | 显示全部楼层
本帖最后由 hawie 于 2023-8-12 07:48 编辑
YsHaNg 发表于 2023-8-12 07:06
是什么硬盘组阵列  看看output
看你是m2 nvme的trim DEALLOCATE是无条件Deterministic的 另配合WRITE ZER ...


在群晖下,无法读取这个信息。

  1. ~$ sudo hdparm -I /dev/nvme0n1

  2. /dev/nvme0n1:
  3. HDIO_DRIVE_CMD(identify) failed: Inappropriate ioctl for device
复制代码


TxBench的Drive Information,可以看到是否支持RZAT与DRAT,回头看看。

不过,RZAT支持与否,应该也可以不影响RAID5/6的XOR数据有效性。返回0当然是可以的,
但保留原数据,只要每个RAID的盘,都是同样的保留了原数据,那么RAID的数据校验也是成立的,
这样,还可以恢复误删数据。

RAID5所用的盘是P7000Z 2TB,"Disk model: aigo NVMe SSD P7000Z 2TB", 4颗。
  1. ~$ sudo fdisk -l /dev/nvme0n1
  2. Password:
  3. Disk /dev/nvme0n1: 1.9 TiB, 2048408248320 bytes, 4000797360 sectors
  4. Disk model: aigo NVMe SSD P7000Z 2TB               
  5. Units: sectors of 1 * 512 = 512 bytes
  6. Sector size (logical/physical): 512 bytes / 512 bytes
  7. I/O size (minimum/optimal): 512 bytes / 512 bytes
  8. Disklabel type: dos
  9. Disk identifier: 0x0de21b3a

  10. Device         Boot    Start        End    Sectors  Size Id Type
  11. /dev/nvme0n1p1          8192   16785407   16777216    8G fd Linux raid autodetec
  12. /dev/nvme0n1p2      16785408   20979711    4194304    2G fd Linux raid autodetec
  13. /dev/nvme0n1p3      21241856 4000592543 3979350688  1.9T fd Linux raid autodetec
复制代码

 楼主| 发表于 2023-8-12 07:54 | 显示全部楼层
epyc7002固件装n100, 不是我所想~
试了几个机型,意外发现这个支持RAID5 TRIM,就暂时选了这个。不知道还有没有其他群晖支持的机型是支持RAID5 TRIM的?

但是,VMM启动不了虚拟机了。可能是CPU等资源识别的,与机型配置的不一致,导致了意外,或许改个配置文件之类的可以修正?
 楼主| 发表于 2023-8-12 08:22 | 显示全部楼层
我还有点好奇,不支持RAID5 TRIM的那么多机型,装备SSD时,回收怎么做的?
那个“数据清理”,在不具备TRIM的SSD环境,能起到相似的作用吗?
发表于 2023-8-12 09:49 | 显示全部楼层
本帖最后由 goldgod 于 2023-8-12 09:56 编辑

第一次知道SA6400还能当虚拟机
mark下同机型的哥们!


PS:这个SA系列用非群晖的硬盘会不停的报错说未认证。通过命令能关掉本机的认证,扩展柜的关不掉。哪个大神能解决这个问题。同为SA6400的哥们


微信图片_20230812095606.png

评分

参与人数 1邪恶指数 +10 收起 理由
hawie + 10 真壕,口水啊!!!

查看全部评分

 楼主| 发表于 2023-8-12 10:31 | 显示全部楼层
goldgod 发表于 2023-8-12 09:49
第一次知道SA6400还能当虚拟机
mark下同机型的哥们!


https://github.com/007revad/Syno ... tags/v3.1.62.tar.gz
解压,root权限运行:
  1. ./syno_hdd_db.sh -nr
复制代码
重启即可。

不能科学,直接下这个:
http://usa1.cyder.club/syno_hdd_db.sh
发表于 2023-8-12 16:20 | 显示全部楼层
本帖最后由 goldgod 于 2023-8-12 16:38 编辑


个人科学没问题,那SA6400 肯定不行。在内网

还是继续要请教下hawie,我可以telnet 到SA6400上,怎么把syno_hdd_db.sh cp 到系统下没看明白,我这个linux,不是很熟悉。麻烦hawie再教我下

感谢!

这个报错非常恶心,群晖中国说没找到咋改扩展柜的命令,我只改过一次主机

Screenshot 2023-08-12 163617.png
 楼主| 发表于 2023-8-12 17:09 | 显示全部楼层
goldgod 发表于 2023-8-12 16:20
个人科学没问题,那SA6400 肯定不行。在内网

还是继续要请教下hawie,我可以telnet 到SA6400上,怎么把s ...

你这配置,60盘位?硬盘数量跟HD6500一样了。
发表于 2023-8-12 17:19 | 显示全部楼层
本帖最后由 goldgod 于 2023-8-12 17:23 编辑
hawie 发表于 2023-8-12 17:09
你这配置,60盘位?硬盘数量跟HD6500一样了。


一共现在扩展4个盘柜、还有4个闲着

一共可以12x9吧
 楼主| 发表于 2023-8-12 17:35 | 显示全部楼层
goldgod 发表于 2023-8-12 17:19
一共现在扩展4个盘柜、还有4个闲着

一共可以12x9吧

这么多,原来真是……限制了想象力
发表于 2023-8-12 19:17 | 显示全部楼层
本帖最后由 goldgod 于 2023-8-12 19:25 编辑
hawie 发表于 2023-8-12 17:35
这么多,原来真是……限制了想象力


感谢大神!

不报错的又回来了!

我再问下,是不是每次升级系统都要运行这个shell呀?
Screenshot 2023-08-12 191701.png
发表于 2023-8-12 19:37 | 显示全部楼层
goldgod 发表于 2023-8-12 19:17
感谢大神!

不报错的又回来了!

自定义任务计划里面添加就好了,源文件放在nas主机里,让机器每次开机都执行一次就好了
发表于 2023-8-12 22:23 | 显示全部楼层
CPU问题,这个版本只能是AMD的CPU,开发这个引导的大佬曾经说过,INTEL不行的

评分

参与人数 1邪恶指数 +5 收起 理由
hawie + 5

查看全部评分

 楼主| 发表于 2023-8-12 22:45 | 显示全部楼层
auge 发表于 2023-8-12 22:23
CPU问题,这个版本只能是AMD的CPU,开发这个引导的大佬曾经说过,INTEL不行的 ...

也有个可能性,是VMM负优化,现在920+ DSM7跑VMM ROS丢包,而之前的918+ DSM6同样VMM跑ROS就没问题。
6400引导用的23.8.x通用版本。
发表于 2023-8-12 22:46 来自手机 | 显示全部楼层
hawie 发表于 2023-8-11 23:44
在群晖下,无法读取这个信息。



Raid下没那么简单 有这么一段解释
比如说3个盘D1/D2/D3组RAID 5, 盘1和盘2的数据XOR后存入盘3。具体操作中,是这样的:

LBA 0 (D3) = LBA 0(D1) xor LBA 0(D2)。

假如LBA 0(D1), 被Trim成0了,然后LBA 0(D2)遇到了错误需要恢复。

原本LBA 0 (D2) = LBA 0(D1) xor LBA 0(D3), 现在变成

LBA 0 (D2) = 0 xor LBA 0(D3);数据完全丢了,RAID数据保护无效了!
发表于 2023-8-12 23:35 来自手机 | 显示全部楼层
hawie 发表于 2023-8-12 00:22
我还有点好奇,不支持RAID5 TRIM的那么多机型,装备SSD时,回收怎么做的?
那个“数据清理”,在不具备TRIM ...

那个是阵列维护 trim是对disk lba块 所以我意思是 raid5要看ssd而不是机器 别的机器比如920装mx500就不能 装西数红盘ssd就可以 区别在于rzat
 楼主| 发表于 2023-8-13 00:03 | 显示全部楼层
YsHaNg 发表于 2023-8-12 22:46
Raid下没那么简单 有这么一段解释
比如说3个盘D1/D2/D3组RAID 5, 盘1和盘2的数据XOR后存入盘3。具体操作 ...

如果有的盘支持RZAT,有的不支持,混用,组成一个RAID,会出现你说的情况。

但是,
假设同型号同固件盘,TRIM只有两种可能性,
如果不支持RZAT, TRIM之后,数据原样未变,多盘之间的XOR关系仍然成立;
如果支持RZAT,TRIM之后,数据清0,多盘之间的XOR关系自然也成立。

如果TRIM在多盘之间没有同步处理,有的盘TRIM,有的盘没有TRIM,那就是系统调度的问题,而非固件的问题。猜测SA6400是做了一些系统层面的工作,来控制同时操作多盘的TRIM,从而支持RAID5 TRIM。

发表于 2023-8-13 02:07 来自手机 | 显示全部楼层
hawie 发表于 2023-8-12 16:03
如果有的盘支持RZAT,有的不支持,混用,组成一个RAID,会出现你说的情况。

但是,

不支持rzat trim后数据是undefined 因为此时是non-deterministic os没法保证状态 这还涉及到有些ssd固件没有严谨执行queued trim 就是我上面说的libata-core.c拉了个白名单和黑名单 群晖Linux也会有参考
你说的没错 rzat并不是必要条件 其实可以绕过的 就看群晖懒不懒 我见过有把sata trim指令发成scsi unmap以便sas阵列卡正确执行https://github.com/ReimuNotMoe/trim2unmap

评分

参与人数 1邪恶指数 +10 收起 理由
hawie + 10

查看全部评分

 楼主| 发表于 2023-8-13 11:33 | 显示全部楼层
YsHaNg 发表于 2023-8-13 02:07
不支持rzat trim后数据是undefined 因为此时是non-deterministic os没法保证状态 这还涉及到有些ssd固件 ...


用TxBench查看了, 只能看到sata ssd的DRAT/RZAT特性,手上两片sata盘,一片sandisk的,支持DRAT,不支持RZAT;一片长城的,DRAT/RZAT两者都不支持。

mx500在NAS中没取下来,不过hdparm可取得信息:
  1. ash-4.4# hdparm -I /dev/sata1

  2. /dev/sata1:

  3. ATA device, with non-removable media
  4.         Model Number:       CT2000MX500SSD1                        
  5.         Serial Number:            
  6.         Firmware Revision:  M3CR033
  7.         Transport:          Serial, ATA8-AST, SATA 1.0a, SATA II Extensions, SATA Rev 2.5, SATA Rev 2.6, SATA Rev 3.0
  8. Standards:
  9.         Used: unknown (minor revision code 0x006d)
  10.         Supported: 10 9 8 7 6 5
  11.         Likely used: 10
  12. Configuration:
  13.         Logical                max        current
  14.         cylinders        16383        0
  15.         heads                16        0
  16.         sectors/track        63        0
  17.         --
  18.         LBA    user addressable sectors:   268435455
  19.         LBA48  user addressable sectors:  3907029168
  20.         Logical  Sector size:                   512 bytes
  21.         Physical Sector size:                  4096 bytes
  22.         Logical Sector-0 offset:                  0 bytes
  23.         device size with M = 1024*1024:     1907729 MBytes
  24.         device size with M = 1000*1000:     2000398 MBytes (2000 GB)
  25.         cache/buffer size  = unknown
  26.         Form Factor: 2.5 inch
  27.         Nominal Media Rotation Rate: Solid State Device
  28. Capabilities:
  29.         LBA, IORDY(can be disabled)
  30.         Queue depth: 32
  31.         Standby timer values: spec'd by Standard, with device specific minimum
  32.         R/W multiple sector transfer: Max = 1        Current = 1
  33.         Advanced power management level: disabled
  34.         DMA: mdma0 mdma1 mdma2 udma0 udma1 udma2 udma3 udma4 udma5 *udma6
  35.              Cycle time: min=120ns recommended=120ns
  36.         PIO: pio0 pio1 pio2 pio3 pio4
  37.              Cycle time: no flow control=120ns  IORDY flow control=120ns
  38. Commands/features:
  39.         Enabled        Supported:
  40.            *        SMART feature set
  41.                     Security Mode feature set
  42.            *        Power Management feature set
  43.            *        Write cache
  44.            *        Look-ahead
  45.            *        WRITE_BUFFER command
  46.            *        READ_BUFFER command
  47.            *        NOP cmd
  48.            *        DOWNLOAD_MICROCODE
  49.                     Advanced Power Management feature set
  50.            *        48-bit Address feature set
  51.            *        Mandatory FLUSH_CACHE
  52.            *        FLUSH_CACHE_EXT
  53.            *        SMART error logging
  54.            *        SMART self-test
  55.            *        General Purpose Logging feature set
  56.            *        WRITE_{DMA|MULTIPLE}_FUA_EXT
  57.            *        64-bit World wide name
  58.            *        WRITE_UNCORRECTABLE_EXT command
  59.            *        {READ,WRITE}_DMA_EXT_GPL commands
  60.            *        Segmented DOWNLOAD_MICROCODE
  61.                     unknown 119[8]
  62.            *        Gen1 signaling speed (1.5Gb/s)
  63.            *        Gen2 signaling speed (3.0Gb/s)
  64.            *        Gen3 signaling speed (6.0Gb/s)
  65.            *        Native Command Queueing (NCQ)
  66.            *        Phy event counters
  67.            *        READ_LOG_DMA_EXT equivalent to READ_LOG_EXT
  68.            *        DMA Setup Auto-Activate optimization
  69.                     Device-initiated interface power management
  70.            *        Software settings preservation
  71.                     Device Sleep (DEVSLP)
  72.            *        SMART Command Transport (SCT) feature set
  73.            *        SCT Features Control (AC4)
  74.            *        SCT Data Tables (AC5)
  75.            *        SANITIZE_ANTIFREEZE_LOCK_EXT command
  76.            *        SANITIZE feature set
  77.            *        CRYPTO_SCRAMBLE_EXT command
  78.            *        BLOCK_ERASE_EXT command
  79.            *        reserved 69[3]
  80.            *        reserved 69[4]
  81.            *        reserved 69[7]
  82.            *        DOWNLOAD MICROCODE DMA command
  83.            *        WRITE BUFFER DMA command
  84.            *        READ BUFFER DMA command
  85.            *        Data Set Management TRIM supported (limit 8 blocks)
  86. Security:
  87.         Master password revision code = 65534
  88.                 supported
  89.         not        enabled
  90.         not        locked
  91.                 frozen
  92.         not        expired: security count
  93.                 supported: enhanced erase
  94.         2min for SECURITY ERASE UNIT. 2min for ENHANCED SECURITY ERASE UNIT.
  95. Logical Unit WWN Device Identifier: 500a0751e599d374
  96.         NAA                : 5
  97.         IEEE OUI        : 00a075
  98.         Unique ID        : 1e599d374
  99. Device Sleep:
  100.         DEVSLP Exit Timeout (DETO): 100 ms (drive)
  101.         Minimum DEVSLP Assertion Time (MDAT): 10 ms (drive)
  102. Checksum: correct
复制代码

有一台920+,是MX500 2TBx2(@sata III), P7000Z 2TBx1(@pcie2.0*2),  容量(扇区总数)一致,物理速度相差不大。目前是前者RAID1 + 后者basic,都开启TRIM。

有点想将这三个盘做成RAID5,担心是没法开启RAID5 TRIM,那么存储池的数据清理功能,能不能满足日常使用需求?如果满足不了,那么除SA6400之外的那么多群晖机型,都不能用纯固态盘组RAID5以上使用?似乎说不过去吧。

这样大胆推测,是不是数据清理,只是多占一些CPU,多一些数据I/O,但达到的效果,应该也不差于让盘体本身执行TRIM?
如果这个推测成立,那么,就可以无视RAID5 TRIM支持与否,随便什么机型都可以组全固态的RAID5/6了。
发表于 2023-8-13 12:29 来自手机 | 显示全部楼层
hawie 发表于 2023-8-13 11:33
用TxBench查看了, 只能看到sata ssd的DRAT/RZAT特性,手上两片sata盘,一片sandisk的,支持DRAT,不支持R ...

印象中920的内核还是4.x,923的是5.x,923默认支持NVMe SSD当存储,和sa6400是一样的内核,我建议可以试试923。
 楼主| 发表于 2023-8-13 17:42 | 显示全部楼层
雨季不再来 发表于 2023-8-13 12:29
印象中920的内核还是4.x,923的是5.x,923默认支持NVMe SSD当存储,和sa6400是一样的内核,我建议可以试 ...

920默认也支持NVMe SSD当存储。
特意看了一下923+,内核没有更新。1823xs+也是这个内核。确认都不支持RAID5 TRIM。目前除了SA6400,没有看到哪个型号支持RAID5 TRIM。
  1. ~$ uname -a
  2. Linux N100 4.4.302+ #64570 SMP Thu Jul 20 00:04:37 CST 2023 x86_64 GNU/Linux synology_r1000_923+
复制代码
发表于 2023-8-13 18:24 来自手机 | 显示全部楼层
雨季不再来 发表于 2023-8-13 04:29
印象中920的内核还是4.x,923的是5.x,923默认支持NVMe SSD当存储,和sa6400是一样的内核,我建议可以试 ...

923也是4.4 只有7002 1619几个机型是5.10
发表于 2023-8-13 18:45 来自手机 | 显示全部楼层
hawie 发表于 2023-8-13 03:33
用TxBench查看了, 只能看到sata ssd的DRAT/RZAT特性,手上两片sata盘,一片sandisk的,支持DRAT,不支持R ...

mx500只支持基本trim 群晖工作人员去年在reddit解答过 raid5 trim要deterministic trim 这要求和lsi sas的硬卡一样 有人试过 920上面用三星几个pro和西数红盘可以raid5 trim 阵列data scrubbing不等于trim 更像是效验除位反转 btrfs也可以做 trim是os发送的 ssd内部还有gc 红帽还有各家Linux wiki是建议raid不要开trim 曾经有数据损毁案例 libata-core.c里面拉名单就是这个原因 反正服务器ssd耐写 大op顶着写入放大工作也行 还有就是服务器上阵列一般用在热存储 1dwpd全盘写入不trim没差别 消费者当然很少做阶梯存储 家用nas顶多算用读取型ssd 现阶段要么raid 1 trim 要么买支持高级trim功能的企业产品(镁光鸡贼)当然也不排除群晖软raid做了些工作终于支持 办法总是有的看他们想不想做 多少年前小海豚家的FlashRaid就可以做到
发表于 2023-8-13 18:49 来自手机 | 显示全部楼层
hawie 发表于 2023-8-13 03:33
用TxBench查看了, 只能看到sata ssd的DRAT/RZAT特性,手上两片sata盘,一片sandisk的,支持DRAT,不支持R ...

raid应该只能同种硬盘组 sata不能和nvme
 楼主| 发表于 2023-8-13 19:41 | 显示全部楼层
YsHaNg 发表于 2023-8-13 18:49
raid应该只能同种硬盘组 sata不能和nvme

是,群晖做了这个限制,其实在性能相近的情况下,sata与nvme混合raid的性能损失并不大。实测这个限制可以绕过。
 楼主| 发表于 2023-8-13 19:55 | 显示全部楼层
YsHaNg 发表于 2023-8-13 18:45
mx500只支持基本trim 群晖工作人员去年在reddit解答过 raid5 trim要deterministic trim 这要求和lsi sas ...

国货热门MAP1602消费固态盘,提供跟企业盘相当的约1dwpd五年保,OP虽不高,写入放大也是可以承受的。如果仅仅是写入放大,那就不是问题了。

但是,最初TRIM解决的问题,是没有gc导致碎片、盘满(其实未满),性能严重下降。
如果不启用TRIM,这个RAID5/6用一段时间之后,会不会导致单盘没有TRIM的同样问题呢?

打算RAID5不启用TRIM,试试用一段时间看看。
 楼主| 发表于 2023-8-13 20:24 | 显示全部楼层
YsHaNg 发表于 2023-8-13 18:24
923也是4.4 只有7002 1619几个机型是5.10

有具体机型吗?7002估计会面临sa6400一样的问题,1619指哪个,rs1619xs+?这个也不支持。
  1. $ uname -a
  2. Linux N100 4.4.302+ #64570 SMP Thu Jul 20 00:06:30 CST 2023 x86_64 GNU/Linux synology_broadwellnk_rs1619xs+
复制代码
您需要登录后才可以回帖 登录 | 加入我们

本版积分规则

Archiver|手机版|小黑屋|Chiphell ( 沪ICP备12027953号-5 )沪公网备310112100042806 上海市互联网违法与不良信息举报中心

GMT+8, 2024-5-12 21:36 , Processed in 0.014552 second(s), 7 queries , Gzip On, Redis On.

Powered by Discuz! X3.5 Licensed

© 2007-2024 Chiphell.com All rights reserved.

快速回复 返回顶部 返回列表