neteroster

@neteroster #3 没注意都是用单卡测的，那就不涉及多卡推理的方式了。不过非要本地推理现在性价比高的方案应该还是游戏卡多来几张

认同这篇文章的主要观点，它谈及了一些关于本地 LLM 推理很多人没注意但很重要的内容。

先不谈高 batch （毕竟日常不常用），大多数人都没意识到 M 芯片 prefill 很慢，而这个在上下文长的情况下是挺致命的。而且其实 decode 速度也会受上下文长度影响，很多测试仅仅是在很短的 prompt 下去测生成，得到一个看起来挺好看的数字，然而实际使用中很多情况下根本不是这种场景。

个人观点是，当前，本地 LLM 推理对于大多数普通用户或开发者没有显著的使用必要，除非是特殊需求（例如强隐私需求等）。个人用户花大价钱购买设备单纯只是去推理本地 LLM 在现在看起来是不太明智的，当然如果是其他需求顺便推模型或者单纯太有钱买来玩玩那倒也没什么。即使非要谈本地推理，Mac 的应用场景也是较窄的，文章中写的已经听明白了。

文章还谈到了投机解码，这个确实很有意义，特别是对于生成内容主要是代码的情况，加速应该是相当明显（ cursor 的自动补全就用了），期待未来这方面的发展。

作为补充，看起来文章测 text generation 的时候只是用了 llama.cpp ，他的多卡实现应该还是 pipeline parallel ，有一些后端支持 tensor parallel ，多卡情况下单 batch 性能应该还能进一步提高（但对 PCIe 速度有更高要求），希望有相关测试。

机械革命翼龙 15 Pro / 8845H + 4060
更换 96G D5 RAM / 2T(SD10) + 1T SSD(RC20 ，原有) / AX210 网卡 / 相变片
>>> 合计 6298

FiiO KA3 解码小尾巴 >>> 358

@jiager #1 楼主想要的是 OpenAI 和 Claude 这种 sota 模型，本地的先别来碰瓷。

然后回答楼主问题：如果楼主在国内，现在 Claude 的 ChatGPT 官方风控都很厉害，OpenAI 是模型降智神不知鬼不觉，Claude 是直接封号。

因此买第三方比较好，比如 POE 和 you.com 这两个可以考虑下。然后如果价格合适也可以找 API 中转（这里要注意鉴别真伪），然后用本地客户端，比如 ChatBox 。

@msg7086 @Suzutan @killgfat 谢谢各位！
@Zys2017 不是，笔记本😂

70B M3 Max 之前看的数据 tg 大概只有 4-5 TPS ，而 M4 Pro 内存带宽只有 270G （ M3 Max 300 或 400G ）。这还只是 tg ，你上下文长的话还要忍受特有的超级缓慢 pp ，建议先对速度有个概念。（ tg 指文本生成速度，pp 指提示处理速度）

现在这个时间，70B+ 的模型还是用在线 API 性价比高些，尽管有各种问题但好歹基本都能解决，本地花这么多钱最后还慢的要死。真要本地玩也不建议 Mac

是的。对于准确性要求没那么高的领域帮助很大。

例如日文轻小说和 GalGame 已经有特化模型 SakuraLLM 了，仅 14B 就能达到相当可观的翻译水准，可以跑在消费级显卡上，叠上 batch 效率非常高。最新的实验版已经支持了术语表功能，显示出了良好的术语对照翻译遵循能力。社区里还有人在做小说关键词地名人名自动提取，结合模型的术语表翻译功能，翻译一致性还会再上一个台阶。

大模型的发展也极大促进了外文游戏翻译补丁的制作，现在 AI 翻译补丁制作显示出繁荣的迹象，可参看： https://2dfan.com/downloads

LobeChat 各方面比较完善，但是性能比较差。个人比较喜欢 ChatBox 。这几个都有在线 demo ，不如自己试一试

现在 Plus 能用 o1 系列，区别还是很大的。

4o 难说，有的地方说还是付费的好些，我没试过就不评价了