编辑中把折腾进行到底——我的高性能家用NAS搭建之二:软...

ahfncj · 发表于 2018-3-19 22:49

pve看起来好复杂的样子还是用esxi吧，。。。。。。。。

carrionlee · 发表于 2018-3-21 21:25

牛逼，坐等大神更新完毕

savioler · 发表于 2018-4-27 00:48

好文，终于搞懂proxmox ve怎样直通设备了，谢谢

面团 · 发表于 2018-4-28 23:56

高端技术贴。。。厉害！

hzqim · 发表于 2018-4-30 11:10

不像家用，像企业多点

jetmiller · 发表于 2018-5-3 19:02

freenas是什么鬼？这个Proxmox VE什么的本来就是基于debian stretch，zfs作为内核模块已经原生支持

还有nextcloud架在哪个系统上？还有nextcloud这么挫的东西并发不行大容量不行有什么意义？

这不是折腾这是蛋疼

kingqueen · 发表于 2018-5-3 22:38

大神帖，留名，后续观看

savioler · 发表于 2018-5-17 06:57

本帖最后由 savioler 于 2018-5-17 07:00 编辑

问一下楼主，我按你这样做，卡在open vswitch那里，我是hp gen8,链路聚合后就不能ping通了，能给一下网络配置文件的内容给我看看么？我看错在哪里了。另外，单网卡的话应该如何设置呢？有点想把其中一个网口改为wan口。

阿崔 · 发表于 2018-5-17 13:31

本帖最后由阿崔于 2018-5-17 13:40 编辑

jetmiller 发表于 2018-5-3 19:02
freenas是什么鬼？这个Proxmox VE什么的本来就是基于debian stretch，zfs作为内核模块已经原生支持

还有n ...

呵呵，linux的zfs只是可用而已，稳定和性能还是得freebsd下的，freenas主要是管理方便，不用背一大堆命令。而且所有的hypervisor过多暴露其他服务的情况下，安全性都是存疑的，从安全角度，hypervisor上就跑vm和管理相关的东西是最好的。
nextcloud的高并发是要依赖内存数据库和分布部署的，家用的话内存数据库就足够让性能可以接受了，没必要分布部署。容量更不是问题了，我现在的nextcloud管理着俩人大概8T的各种文件（大概7.5T是SMB），没发现任何问题。请先深入了解之后再下结论，别跟着网上一堆小白人云亦云。nextcloud的社区已经非常庞大了。而且nextcloud的各种电脑/手机客户端都非常好用，还有一大堆支持nextcloud做远程存储的的app，android下面完全可以替换掉google的联系人和日程同步了，照片之类的也可以自动上传，keepass2android配合nextcloud可以完成多台电脑和手机的密码数据库同步，连gnome3里都直接内置了nextcloud支持。而且所有这些都是跑在你自己服务器上的，无需担心被存储服务提供商泄露的风险。

阿崔 · 发表于 2018-5-17 13:35

savioler 发表于 2018-5-17 06:57
问一下楼主，我按你这样做，卡在open vswitch那里，我是hp gen8,链路聚合后就不能ping通了，能给一下网络配 ...

优先考虑交换机配置问题，lacp一堆坑。。。我的配置里面因为用了巨型帧，所以额外多了些东西，你忽略mtu那些就行了。

# network interface settings; autogenerated
# Please do NOT modify this file directly, unless you know what
# you're doing.
#
# If you want to manage part of the network configuration manually,
# please utilize the 'source' or 'source-directory' directives to do
# so.
# PVE will preserve these directives, but will NOT its network
# configuration from sourced files, so do not attempt to move any of
# the PVE managed interfaces into external files!
auto lo
iface lo inet loopback
iface enp7s0 inet manual
iface enp8s0 inet manual
iface enp3s0f0 inet manual
iface enp3s0f1 inet manual
allow-vmbr0 bond0
iface bond0 inet manual
ovs_bonds enp7s0 enp8s0
ovs_type OVSBond
ovs_bridge vmbr0
ovs_options bond_mode=balance-slb lacp=active
pre-up ( ifconfig enp7s0 mtu 9000 && ifconfig enp8s0 mtu 9000 )
mtu 9000
auto vmbr0
iface vmbr0 inet manual
ovs_type OVSBridge
ovs_ports bond0 vlan50
mtu 9000
allow-vmbr0 vlan50
iface vlan50 inet static
address 10.23.59.22
netmask 255.255.255.0
gateway 10.23.59.1
ovs_type OVSIntPort
ovs_bridge vmbr0
ovs_options tag=50
mtu 1500
auto vmbr1
iface vmbr1 inet manual
ovs_type OVSBridge
ovs_ports internal
#internal networking
auto vmbr2
iface vmbr2 inet manual
ovs_type OVSBridge
#vyos protected networking
allow-vmbr1 internal
iface internal inet static
address 10.53.2.22
netmask 255.255.255.0
ovs_type OVSIntPort
ovs_bridge vmbr1

复制代码

声色茶马 · 发表于 2018-5-17 14:43

LZ这是重度折腾有瘾派的。赞一发。

不太折腾派的就ESXI了。话说这货免费了？

更不折腾派的直接2016 R2了。

savioler · 发表于 2018-5-17 22:10

本帖最后由 savioler 于 2018-5-17 22:31 编辑

阿崔发表于 2018-5-17 13:35
优先考虑交换机配置问题，lacp一堆坑。。。我的配置里面因为用了巨型帧，所以额外多了些东西，你忽略mtu ...

lacp还是不行，单网口倒可以了，但按你文章进行硬件直通，显示
TASK ERROR: Cannot open iommu_group: No such file or directory
如何搞呢？
查了一下，难道是我的cpu不支持么？？

fgl123 · 发表于 2018-5-18 10:41

太高端了，慢慢看看。

阿崔 · 发表于 2018-5-18 11:49

本帖最后由阿崔于 2018-5-18 11:55 编辑

savioler 发表于 2018-5-17 22:10
lacp还是不行，单网口倒可以了，但按你文章进行硬件直通，显示
TASK ERROR: Cannot open iommu_group: No ...

lacp需要交换机支持。硬件直通需要cpu支持。另外ovs lacp的一个常见问题是，你装成debian源的了，那个基本不可用。。。按我给的步骤加上pve的免费源之后再重新装openvswitch就好了。

阿崔 · 发表于 2018-5-18 11:58

声色茶马发表于 2018-5-17 14:43
LZ这是重度折腾有瘾派的。赞一发。

不太折腾派的就ESXI了。话说这货免费了？

现在esxi的io性能没kvm+qemu的好，实测切到pve之后万兆iscsi性能提升大概30%。。。

inSeek · 发表于 2018-5-18 12:48

我也搭了一套差不多的n in 1方案，只是用的ESXi...
因为ESXi上有2个虚拟机分别做着日常办公/网游机+HTPC的事情，需要插不少卡和CPU线程性能，所以用的ATX大机器
5820K@4G + 48GB + 980Ti + 950 + HBA + 6个硬盘和4个SSD
后续性能不够的时候，就打算上E5+RECC条子了...

inSeek · 发表于 2018-5-18 12:51

阿崔发表于 2018-5-18 11:58
现在esxi的io性能没kvm+qemu的好，实测切到pve之后万兆iscsi性能提升大概30%。。。 ...

如果直通网卡进 FreeNAS 呢？

阿崔 · 发表于 2018-5-18 18:58

inSeek 发表于 2018-5-18 12:51
如果直通网卡进 FreeNAS 呢？

就是直通。。。非直通估计就没啥区别了。。。

阿崔 · 发表于 2018-5-18 18:59

inSeek 发表于 2018-5-18 12:48
我也搭了一套差不多的n in 1方案，只是用的ESXi...
因为ESXi上有2个虚拟机分别做着日常办公/网游机+HTPC的 ...

980ti你怎么做到虚拟化使用的？

inSeek · 发表于 2018-5-18 19:11

阿崔发表于 2018-5-18 18:59
980ti你怎么做到虚拟化使用的？

关键点在于不让NV的驱动识别出当前环境是虚拟机即可以了

在vmx配置文件里加上一个配置项：
hypervisor.cpuid.v0 = "FALSE"
即可

这样子，系统也不会知道当前跑在虚拟机里

inSeek · 发表于 2018-5-18 19:11

阿崔发表于 2018-5-18 18:58
就是直通。。。非直通估计就没啥区别了。。。

所以意思是ESXi的直通，通信延迟高？

savioler · 发表于 2018-5-18 21:51

阿崔发表于 2018-5-18 11:49
lacp需要交换机支持。硬件直通需要cpu支持。另外ovs lacp的一个常见问题是，你装成debian源的了，那个基本 ...

是按你那个步骤装的，但我也不清楚装的是debian的还是proxmox ve的open vswitch。

xuchux · 发表于 2018-5-18 22:22

厉害，看着头晕哦

阿崔 · 发表于 2018-5-21 12:21

inSeek 发表于 2018-5-18 19:11
关键点在于不让NV的驱动识别出当前环境是虚拟机即可以了

在vmx配置文件里加上一个配置项：

好吧，发现kvm+qemu也一大堆用GTX passthrough的。。。

阿崔 · 发表于 2018-5-21 12:42

savioler 发表于 2018-5-18 21:51
是按你那个步骤装的，但我也不清楚装的是debian的还是proxmox ve的open vswitch。 ...

执行

dpkg -l | grep openvswitch

复制代码

，如果返回版本号是2.7.0，那就是proxmox的，否则就是debian的

呆吵吵 · 发表于 2018-5-22 15:26

存起来回头有空了看

savioler · 发表于 2018-5-24 09:25

问问楼主知道怎样备份thin-lvm里面的虚拟机文件么？我看那个也不是路径来的，也不知道怎样找到虚拟机文件。

阿崔 · 发表于 2018-5-24 13:20

savioler 发表于 2018-5-24 09:25
问问楼主知道怎样备份thin-lvm里面的虚拟机文件么？我看那个也不是路径来的，也不知道怎样找到虚拟机文件。 ...

用备份功能备份，thin-lvm里还是做为卷存在的，而不是文件。

carrionlee · 发表于 2018-5-25 08:49

楼主怎么把各vlan的管理端口统一到同一个vlan中的

阿崔 · 发表于 2018-5-28 14:05

carrionlee 发表于 2018-5-25 08:49
楼主怎么把各vlan的管理端口统一到同一个vlan中的

不懂你的意思，我的管理端口都是划分在一个独立的vlan下面的

账号		自动登录	找回密码
密码			加入我们

[电脑] 编辑中 把折腾进行到底——我的高性能家用NAS搭建之二:软...

[电脑] 编辑中把折腾进行到底——我的高性能家用NAS搭建之二:软...