
最近让我又开始折腾家里电脑的,是一个叫 Strata 的开源项目。项目由 Niko 发起,他在 GitHub 上用 Niko1221 这个名字。模型来自 Qwen 团队,Niko 和贡献者做的是让它在个人电脑上运行的引擎,并把代码按 MIT 协议开放出来。
翻它的发布记录,首个版本是在 2026 年 9 月 24 日放出来的。当时准备好的 Windows 引擎,主要面向较新的 NVIDIA 显卡。项目从一开始就想让普通电脑用上 Qwen3.8-Flash-Next 这个 125B 模型,安装入口也做成了可以直接启动的脚本。
随后,支持的设备逐渐多起来,AMD 显卡、多显卡使用和日常安装里的问题,都有人接着做。到 10 月 8 日的更新,它还在改短请求的响应、多卡运行和内存紧张时的处理。老卡这一边,也有社区开发者公开了 V100 的移植和修复记录。
我就是顺着这些记录,开始试自己的 V100。
V100 这一代是 NVIDIA 在 2017 年发布的。它当年是数据中心里的设备,如今到了我这样的普通用户手里,常被叫作“洋垃圾”。我买来以后给它接了外置显卡坞,连着一台二手笔记本。现在这套设备又跑上了一个新的大模型,光是这件事,我就觉得挺有意思。
我已经用过一阵 27B 本地模型。转写后的文字整理、翻译、从长材料里找内容,都做过。看到 Strata 的时候,我想的是,手里的设备既然还能继续试,就先试一下。
把它接回我自己的电脑
社区里有人跑通,对我来说是个很好的起点。可到了自己的电脑上,安装还是没那么顺。驱动检查过不去,编译报错,链接时又冒出一长串红字。
这个项目是我用 DeepSeek Harness(DSH)做的。我没有学过编程,那些报错大部分看不懂,就把完整内容交给它,让它去查。我再按改好的办法重试。原来跑着的转写和其他工具也要顾着,不能为了试一个新模型,把已经能用的东西全弄坏。
这一段折腾花了不少时间。等终于能启动,回复却很慢,感觉又绕回去了。我当时最想知道的,是这套设备到底能不能用,值不值得再往下花时间。
后来,日志里只剩大约 1GB 空闲显存的提示,把问题带到了一个旧程序上。
以前为了让模型在卸载以后能自己恢复,我加过自动看护。换成 Strata,它还在照原来的规则,把旧的 27B 模型重新装回来。于是新模型刚开始用显卡,旧程序就把地方占回去了。
我原来还在担心 V100 太老。找到这个原因以后,才松了一点。先把看护逻辑改好,让新引擎安排自己的加载,回复终于顺了起来。
回头看,这个问题很像我平时用软件碰到的麻烦:一个功能以前确实有用,用久了就习惯了它的存在。换了底下的东西,再回来检查,才发现它也需要跟着改。
这种时候,我最能感觉到自己在参与开发。代码是 DeepSeek Harness 帮我处理的,我得记得以前为什么加过这个功能,也得坐在电脑前试,告诉它现在发生了什么。没有哪一条错误提示,会直接替我把这段来龙去脉讲完。
用了一阵以后,才知道它能留下什么
跑起来以后,我拿以前实际做过的任务继续试。模型能接收一大段文字,按要求抽出内容,也能给后面的程序返回需要的格式。有些以前没有拿到结果的请求,这次终于有了返回。
我会去打开结果看。它有没有真的读到材料,摘出的数字能不能在原文里找到,后面的文件有没有保存,这些都要接着确认。模型已经开始回话,心里会高兴;东西能拿来用,才会让我第二天还愿意再打开它。
这一轮也有让我收回判断的时候。有一批结果看着很奇怪,查下去,发现材料预处理把正文漏掉了。模型收到的只剩分隔符。我先前怀疑它能力不行,实际却是送进去的东西出了问题。
还有一份给播客稿逐行写演绎提示的测试,旧的 27B 写得更贴每一行。新的模型在那次回答里,反复用了相近的模板。模型名字大了一截,也还是要看它遇到具体的工作时怎样表现。
我也试过更占资源的量化版本。下载、准备、把原来的任务再跑一遍,试完以后,我换回了现在这档。那一轮多占了内存,速度也慢了,我没有找到足够值得留下来的收益。
做到这里,我对“换模型”这件事反而没那么着急了。手里有一个用得顺的配置,就先多用一阵。遇到它确实做不好的工作,再想下一步。每个新版本都追,电脑里会留下很多东西,自己却未必多得到一份能用的结果。
我现在更愿意把时间花在日常的细节上:材料能不能完整送进去,任务做完以后我找不找得到,出错时有没有线索继续查。这部分做好了,模型才容易变成一个平时用得上的工具。
这台旧电脑还可以留着
以前碰到一个不顺手的软件,常常只能多点几下,或者换一个工具继续凑合。现在能把自己的要求说给 AI,再拿它改出来的版本亲手试一遍,已经让我想做的事情多了不少。
从二手笔记本,到外置显卡坞,再到 V100,这套设备是一件件添起来的。前一篇写过这段过程。买的时候,也没想到以后会给它接上模型中心、任务队列,再折腾到 125B。
开源项目让我能站在别人已经做过的工作上继续试。有人写引擎,有人让老显卡跑起来,有人把自己遇到的错误贴出来。我拿着这些现成的东西,在自己的电脑上又走一遍,才能把它们慢慢接到自己的生活里。
这让我对二手设备多了一点耐心。它们确实有自己的限制,安装时也会麻烦一些,可手头的事情做出来了,就还能继续用。预算有限的时候,我很愿意先走这条路。
本地推理省下了按请求计费的那部分开销,材料也可以留在自己的电脑里处理。硬盘、内存、电费和折腾的时间仍然要花,这轮开发用的是 DeepSeek Harness。我会按自己实际能用上的东西,判断这笔花费值不值。
现在我还不会独立写出这套软件。但这张老显卡能在家里接住一些工作,我已经亲手试过。接下来就继续用,碰到问题再改。等真有一件事情把它难住,再考虑添设备。
