neteroster 最近的时间轴更新 neteroster 最近的时间轴更新 |
neterosterV2EX 第 191331 号会员，加入于 2016-09-11 21:01:55 +08:00今日活跃度排名 1582 |
neteroster 最近回复了
7 天前 回复了 zhuwd 创建的主题 › NVIDIA › NVLink 对显卡集群的影响有多大？ |
1. 都用这些设备了不用 sglang 跑去用 ollama 这种干啥
2. 没多大并发占用当然不会高，bs=1 decode 是显存带宽瓶颈。
2. 没多大并发占用当然不会高，bs=1 decode 是显存带宽瓶颈。
9 天前 回复了 meeop 创建的主题 › 奇思妙想 › 一个想法，使用大模型作为数据库的极简服务模型 |
> 数据和状态变更喂给大模型，作为增量训练数据更新大模型来实现
持续学习某种程度上是机器学习和 LLM 领域的“圣杯”，目前研究距离这个目标还远的很。除去成本因素还有一些更本质的问题，例如[灾难性遗忘]( https://arxiv.org/abs/2308.08747)。
另外，目前的大模型没法直接从预训练文本泛化到各种任务，例如通用 QA 。例如你预训练代码库，不做其他处理的情况下模型根本没法回答/检索关于这个代码库的问题。这些都是要靠数据管线做的，甚至还需要很多“智能工人”。
持续学习某种程度上是机器学习和 LLM 领域的“圣杯”，目前研究距离这个目标还远的很。除去成本因素还有一些更本质的问题，例如[灾难性遗忘]( https://arxiv.org/abs/2308.08747)。
另外，目前的大模型没法直接从预训练文本泛化到各种任务，例如通用 QA 。例如你预训练代码库，不做其他处理的情况下模型根本没法回答/检索关于这个代码库的问题。这些都是要靠数据管线做的，甚至还需要很多“智能工人”。
20 天前 回复了 drymonfidelia 创建的主题 › 程序员 › 为什么 LLM 模型不能按语言拆分，英文问题就只用英文语料训练出来的模型、日文问题就只用日文语料训练出来的模型，这样不是可以大幅减少参数量？ |
因为模型能在语言间泛化，不仅包括人类语言，也包括编程语言。而且训练多种语言之后可以承担很多跨语言任务。
#7 > LLM 翻译虽然很通顺但不准确，以前用 GPT 翻译经常把意思改了
当前 SOTA 模型在常见语言互译上已经可以做到相当高的精度，特别是在上下文充足的情况下，已经不是传统的翻译模型可以企及的了。
#7 > LLM 翻译虽然很通顺但不准确，以前用 GPT 翻译经常把意思改了
当前 SOTA 模型在常见语言互译上已经可以做到相当高的精度，特别是在上下文充足的情况下，已经不是传统的翻译模型可以企及的了。
22 天前 回复了 Mosemoseya 创建的主题 › 推广 › 求推荐 RI API 的平台｜ DeepSeek 经常挂掉，有构建一个自己的聊天工具 |
Together 和 Fireworks.ai
还有一个比较便宜的不过我没试过 https://studio.nebius.ai/playground?models=deepseek-ai%2FDeepSeek-R1
还有一个比较便宜的不过我没试过 https://studio.nebius.ai/playground?models=deepseek-ai%2FDeepSeek-R1
27 天前 回复了 frankyzf 创建的主题 › 软件 › windows 桌面端翻译软件支持大模型翻译的有哪些？ |
POT: https://pot-app.com/
27 天前 回复了 annoygaga 创建的主题 › Local LLM › 🦙 对话效果最好的 7B/1.5B 模型大家用的哪个？ |
@sworld233 R1 蒸馏的 Qwen 7B 是拿 Math 版本的，所以一般任务有点一言难尽。14B 和 32B 才是普通的版本蒸馏出来的。
---
楼上说的 Gemma2 9B 就可以，然后还有 GLM4 9B ，Qwen 2.5 7B 也还可以。
---
楼上说的 Gemma2 9B 就可以，然后还有 GLM4 9B ，Qwen 2.5 7B 也还可以。
30 天前 回复了 CC11001100 创建的主题 › 程序员 › 手贱拿大模型试了下最近一次的 LeetCode 周赛，道心破碎了，成仙路已断，前路在何方？ |
R1 确实很猛，带思考的大模型做这种题只会越来越强，毕竟：结果可验证 + R1 指明了强化学习在推理 LLM 上的有效性，这俩一结合就能预估这种算法竞赛未来的 LLM 能打过所有人类就是和 alpha go 打败人类棋手一样自然的事情。
虽说如此，实际应用场景复杂得多，还要在 Agent 、超长记忆、持续学习这几个领域有所进步才行，现在的技术这几个方面是明显薄弱的。很期待未来的发展。
虽说如此，实际应用场景复杂得多，还要在 Agent 、超长记忆、持续学习这几个领域有所进步才行，现在的技术这几个方面是明显薄弱的。很期待未来的发展。
Select Language