执墨 发表于 2025-10-11 22:07

那些说自己网络牛逼、电脑牛逼、网卡牛逼的,来玩玩

本帖最后由 执墨 于 2025-10-11 22:10 编辑

不会python的直接X掉就好,以下需要一定的python基础。

学习爬虫期间,学到这个开源代码:

(这里不谈9KG什么的,中年人对这个一点兴趣没有,这里只谈技术层面)

https://github.com/hect0x7/JMComic-Crawler-Python

首先说,这是我见过最离谱的多线程并发代码。
因为image=6+photo=12并发情况下,干爆了我的14700KF+32G,重装系统仍然爆:
(爆指:CPU、内存直接拉满,整个局域网死掉掉网,检查了代码是没有重大bug的。)

1、然后我换了265K+64G,接着爆;
2、然后我换了9800X3D+64G,接着爆;
3、然后我换了9950X3D+96G,接着爆;

这NM不对啊,不应该啊,转换思路(基于9950X3D+96G):

4、然后我换了最贵的COMFAST的977AX那个无线网卡,接着爆;
5、然后我换了INTEL I225V,接着爆;
6、然后我换了螃蟹PCI-E,接着爆;

至此,1个月过去了;转换思路,是不是路由器瓶颈?

7、然后路由光猫直连电脑,电脑ppoe拨号,接着爆;
8、光猫—华为凌霄—电脑,接着爆;
9、光猫—n100软路由—电脑,接着爆;
10、光猫—14400+16G软路由+openwrt,接着爆;

至此,2个月过去了,我已经彻底怀疑人生,并对DIY生涯产生严重幻觉;
转换思路,是不是路由器网卡瓶颈?

11、下单这个4口1000M网卡,接软路由:



终于正常,cpu、内存虽然还是高,但至少系统不卡死了,局域网别的电脑能正常上网。
而我同时,得到了两台电脑:



好了,小作文写完。要不你试试?


xy. 发表于 2025-10-11 22:13

按 readme 快速上手中的做么? 全程 cpu 没超过 3%...

执墨 发表于 2025-10-11 22:15

xy. 发表于 2025-10-11 22:13
按 readme 快速上手中的做么? 全程 cpu 没超过 3%...

多线程批量,你开1000个本子试试卡不卡。

银月 发表于 2025-10-11 22:15

不试了,目测干不掉我的网络

weindy 发表于 2025-10-11 22:19

没事去人肉ddos禁漫娘么[偷笑]

xy. 发表于 2025-10-11 22:36

执墨 发表于 2025-10-11 22:15
多线程批量,你开1000个本子试试卡不卡。

https://s21.ax1x.com/2025/10/11/pVbiPHI.png

我真没试出来压力在哪.. 都是按你的描述来的

jocover 发表于 2025-10-11 22:38

本帖最后由 jocover 于 2025-10-11 22:49 编辑

毫无压力呀,就8GB内存跑的

jaycty 发表于 2025-10-11 22:38

这网站的心也够大的,同一个IP这么大并发居然不BAN

太有钱了

tnnd 发表于 2025-10-11 22:46

网站挺牛逼的,能让人这么搞

pdvc 发表于 2025-10-11 23:03



本项目的核心功能是下载本子[偷笑]

YsHaNg 发表于 2025-10-11 23:12

换半天硬件 有没有可能是你软件问题[偷笑]

IamAeon 发表于 2025-10-12 03:29

现在个人PC能上256G内存。

enolc 发表于 2025-10-12 05:46

14700KF+32G 其实应该够用了[偷笑]

tedaz 发表于 2025-10-12 07:35

这网站有什么值得下载的?

B1ackCatz 发表于 2025-10-12 10:07

jm只看姐姐本。[可爱]

moveable 发表于 2025-10-12 14:30

网站这么卡的原因找到了

重庆森林 发表于 2025-10-12 14:41

什么正常人开爬虫用1000个线程的啊

remidre 发表于 2025-10-12 14:49

这么大量的多线程爬虫居然没有触发jm的cf人机检测吗?
页: [1]
查看完整版本: 那些说自己网络牛逼、电脑牛逼、网卡牛逼的,来玩玩