现在大家在地方的AI圈子里面聊的话题都是关于参数还有显存的, 但是对于普普通通的人来讲, 他们真正想要知道的事情是, 自己买下来一台能够跑的动大模型的电脑的这个行为, 到底可以用来做些什么具体的工作。
至顶AI实验室在最新的一期的测试里面, 使用了十二种不同的应用来给出一个明确的答案, 结果显示, 拥有32GB内存的这一个条件, 可能就是让本地这个AI具备了完整的生产力的一个非常关键的标志点或者说法叫做分水岭。
语音转写分两步走
语音输入的处理流程其实包含了识别和清理这两个具体的环节。首先是把声音转化成文字的这个过程, 这一步是由语音模型来完成的。紧接着是文本模型开始工作, 它负责把口头语去掉, 同时也能清除中途的那些修改内容。
在测试的时候, 如果是比较简单的会议场合, 使用轻量级的模型就可以了。但是, 如果是好几个人同时在说话的复杂情况, NVIDIA Nemotron 3.5在区分说话人这个问题上, 优势是非常明显的。
Alex还做了演示, 展示了修改培训视频旁白的功能。用户不需要重新录音, 也能生成新的语音。新版模型在拼写错误和遗漏价格这些问题上, 相比早期版本有明显的改善。但是, 在本地生成图片方面, 还是存在明显的问题。
比如手部会出现多指的现象, 局部编辑时也会误改背景等。这些问题算是难以弥补的缺陷。这种技术也许能承担部分设计工作, 但是要完全替代商业服务, 那还需要很长的时间。
生图问答各有边界
关于图片生成这件事, 建议是预留24GB的内存空间, 如果关闭掉其他的一些应用程序之后, 用16GB内存也是可以尝试着去做的, 而对于简单的票据识别任务来说, 16GB的内存就已经足够应付了, 但面对复杂的图表时, 那就建议还是使用32GB的内存更稳妥一些。
另外, 通用视觉模型还能够把图片转换成结构化的结果内容, 这样做的话会方便后续进行处理工作。
在例行问答的时间里, Alex拿Qwen 3.8 27B这个模型去做测试。他主要考了数学题, 也考了历史知识, 还考察了对虚构情节的理解。得出的最终结论是, 本地运行的模型确实能够应对许多常见的问题, 但是千万别忘了, 不能把模型给出的回答直接当成真实的事实来看待。
接着说到写客户邮件这么件事儿上, 当时给出了包含六个要点以及五项约束条件的具体内容。可是到了实际运行的时候, 模型偶尔还是会犯毛病, 会自作主张地添加一些原文里面根本不存在的信息出来。所以, 对于最后生成的所有这些结果内容, 必须进行人工的仔细检查和核实才算完事。
读合同别只看参数
这个合同阅读的测试,揭示出了一个很容易被人们所忽视的细节, 那就是上下文窗口。Alex把模型保持为原来那样, 把合同文件也保持为原来那样, 只是把上下文窗口的值从那个比较大的数值压缩到了八千, 结果就是对于合同后半段条款的理解能力, 立刻就出现了下降的情况。
在本地去运行模型的时候, 不能仅仅是只去查看一下模型的参数量是多少, 还必须得要确认一下文件是不是完整地被加载进了上下文之中。
在测试写邮件的时候, 模型大部分时候能遵守不得主动提折扣这种约束, 但偶尔还是会加入用户没有要求的内容。这是当前本地模型的一个通用短板, 因为它更倾向于补全内容, 而不是严格地限定范围, 所以对于正式对外的邮件, 建议大家读一遍以后再发送。
二十四分钟出一页HTML
在做PPT这个事儿的过程中, 本地模型没有能够直接输出一个PPTX文件的那种格式, 而是选择了生成HTML这种文件的方式, 然后用浏览器把这个文件给展示出来, 这样从头到尾下来大概花了大约24分钟的时间, 而且在操作上它是支持使用方向键来进行切换的, 这里头是包含了图表以及数据这些内容的, 但是呢其中一部分存在文字重叠的情况, 然后留白的地方也不太合理, 主要的数据基本上都是来自原始资料的, 所以在正式交付之前还是需要进行人工调整的这个步骤的。
在进行网页开发相关的测试工作的时候, Alex使用了_Qwen 3.8 27B_这个工具来生成具体应用。随后他通过编写自动化脚本来对功能进行验证。整个流程耗费的时间大约是43分钟。生成的代码基本属于可用的范畴, 但也确实存在着一些界面设计方面的问题。
另外, 他还采用了_Hermes_这一手段, 并且搭配了本地部署的模型来处理文件夹的管理事宜。在这个过程中, 他提出了明确的要求, 即必须要实现自动化的分类和重命名操作, 同时严禁执行删除操作。目前的完成度处于尚可的水平。这种模式比较适合那些简单的自动化场景需求。
三十二G是分水岭
根据视频的测试结果来看, 32GB的内存能够运行27B级别的模型来日常处理知识类的工作任务, 而128GB的内存则主要是面向那些需要更大模型或者需要更长上下文的场景。
大家没有必要盲目地去追求最顶级的配置方案, 对于普通的用户来说, 选择32GB作为起步标准就已经具备了一定的使用价值了, 最为关键的一点是要根据自己的实际工作需求来进行合理的匹配和选择。
当任务变得非常复杂, 比如需要连续执行几十步操作, 或者是要进行大型软件的开发工作, 甚至还包括深入的研究环节时, 即便是配置了128GB内存的M5 Max版本的MacBook Pro电脑, 其性能表现也并非是最理想的方案。
在有些情况下, 更强大的模型甚至还需要依赖512GB的内存空间才可以运行顺畅。针对这一现象, Alex给出的建议是, 对于那些相对简单的日常小工具类项目, 完全可以让本地的模型来进行处理。
但是对于那些涉及面更广、逻辑更复杂的代码开发任务而言, 仍然应当更适合选用像Codex以及在云端运行的Claude Code这样的云服务解决方案来完成。
能力图怎么读
Alex没有把本地AI给神化了, 他非常明确地说出了长链路的任务和深度的研究工作, 在目前这个时间点来说, 更加适合放到云端去进行处理, 大家如果想查看关于完整测试对比的详细信息, 以及各个不同场景下所对应的内存需求情况, 可以前往m.hyjdxg.com这个网址去查阅相关资料, 如果能够在后续的过程中持续补充在长期使用过程里的成功概率具体数据, 还有人工进行干预所需花费的成本方面的数据统计信息, 那么这一整套能力框架图表所具备的参考价值将会变得更高一些。
请告诉我你正在使用的电脑配置了多大的运行内存, 同时分享一下你觉得本地的AI技术最应该优先帮你解决哪一件让你感到头疼的琐事? 欢迎大家在评论区进行交流和讨论, 如果觉得这个内容对你有帮助的话, 请点击点赞按钮并分享给其他人。
