jedi1029 发表于 2025-3-18 13:55
你需要的最最基础解决办法就是文档索引工具，FileLocatorPro，DtSearch WEB 、桌面版等都可以做到，在0.X ...
谢谢您！
信息差的打破来自“恬不知耻”与“乐于助人”
quzhou2001 发表于 2025-3-18 08:50
在家部署好后带入公司。不过这帖子就是个广告，骗骗人的。部署个8B模型有什么用。。。 ...
😆，我还纳闷用这部署的意义是什么
广告味道太重了
老饭 发表于 2025-3-18 13:06
SER8用户飘过，wifi蓝牙信号差到没法用，后悔死
感谢解毒～
看不懂，太复杂[偷笑]
内卷无处不在
大佬能不能发个帖子你是怎么利用本地模型喂公司制度或者修订公司制度的，很想学学
有个问题啊？LM读取附件不是都只能读取片段吗？你说的32个制度。。。你怎么全部让大模型全部读取啊？
问下楼主，我是8745H，24g*2，能不能显存划分32g用来跑7B模型
本地部署折腾过，我现在问我自己：为什么不用API调用呢？
[偷笑]本地部署
一个是保密单位，但是保密单位你还用得着，或者说你还想自己搞？
一个是搞不方便上api的内容自娱自乐
现在几家都在卷api了，但凡没以上需求，一个328 3A钱都够玩好一阵了，ds原厂的价格一天能用2-3块钱都是很高强度使用了
虽然能调用核显，但那个NPU占用0还是难绷
纯粹搞笑
小白求大佬指点，通常说的“DEEPSEEK本地化部署“是什么意思？和普通的用电脑上DEEPSEEK网页进行问答（R1+联网）有何区别？
Rainwolf_Q 发表于 2025-3-18 14:02
谢谢您！
信息差的打破来自“恬不知耻”与“乐于助人”
那位朋友推荐的是英文版，国内有个免费的叫“AnyTXT Searcher”，百度谷歌都能搜到。
下载和试用全免费，内置的文件快速预览功能可以在公众号免费领三天的体验码（可无限重复领取），或者分享朋友圈三天换永久使用码。
学习贴好评啊[傻笑]
我就是很奇怪，这么贵的小机器真的有多少人去买呢，加一点钱配套台机不香吗～～～～
设计失控 发表于 2025-3-19 11:05
我就是很奇怪，这么贵的小机器真的有多少人去买呢，加一点钱配套台机不香吗～～～～ ...
所以你才看到了这帖子
搞笑贴。一个笔记本就能干的事，搞得这么复杂。
本地化部署这句话本身就很搞笑， 我通过docker vllm 拉一个32B 到笔记本本地然后把网线拔了也算部署吧， 然后直接带进公司不就行了， 为什么一定要依赖这个盒子？
连用统一内存架构的Mac选配超大内存跑大模型推理都近乎行为艺术，你这玩意简直搞笑
看到8B还要四位量化我就已经笑得合不拢嘴了
Chouchoufish 发表于 2025-3-18 16:58
有个问题啊？LM读取附件不是都只能读取片段吗？你说的32个制度。。。你怎么全部让大模型全部读取啊？ ...
单个文件夹，可以设置最大30个文档，转MD格式投喂，不超过这个文档数量，推理能力还是可以的。
通过CPU+内存 的方式如何实现本地化部署？能不能详细的说一下，谢谢指教。
那个宣称ai的npu是个摆设？
70b的感觉出来的东西都完全没法接受
不错不错，感谢分享～
我 mac mini 也是用lm，这玩意安全吗，数据和文件传到哪。
不如2999的macminim4 跑蒸馏模型用不到24G显存 MAC16G内存都能被当作显存 算力也比这个高
既然都只用14b模型了，干嘛不上丐版M4 mac mini？早上在costco看到上海国补到手也就3400+