V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  frankyzf  ›  全部回复第 1 页 / 共 24 页
回复总数  479
1  2  3  4  5  6  7  8  9  10 ... 24  
10 天前
回复了 ota 创建的主题 OpenAI 为什么要在本地部署大模型?
@ota 主要还是没法公开的数据吧。
10 天前
回复了 ota 创建的主题 OpenAI 为什么要在本地部署大模型?
部署到本地很大一部分是因为数据安全,没法在云上泡。数据脱敏成本太高。
18 天前
回复了 frankyzf 创建的主题 海外留学 麻烦推荐个新西兰留学的中介
找到一个搜索持牌顾问的网站 https://iaa.ewr.govt.nz/PublicRegister/Search.aspx
@smallboy19991231 大语言模型只是在预测下一个最高几率的 token ,感觉用它作为百科全书不太靠谱吧。这种只能像楼上说的,先搜索再总结,LLM 顶多帮你汇总下搜索结果。
能发个例子吗,大模型有幻觉是正常的,很多情况应该能用调整 prompt 解决。
谢谢楼上各位的建议,我再排查下吧
108 天前
回复了 frankyzf 创建的主题 海外留学 麻烦推荐个新西兰留学的中介
@SiLenceControL 麻烦问下,什么是 “陶瓷申请”?
108 天前
回复了 frankyzf 创建的主题 海外留学 麻烦推荐个新西兰留学的中介
谢谢各位, 不太了解所以想找个中介。
164 天前
回复了 TyCoding 创建的主题 机器学习 同问,如何限制 LLM 响应结构
@TyCoding 如果是开源的模型,实在不行还可以用 ORPO 来 fine-tuning 模型 [Supported Training Approaches]( https://github.com/hiyouga/LLaMA-Factory?tab=readme-ov-file#supported-training-approaches)
165 天前
回复了 TyCoding 创建的主题 机器学习 同问,如何限制 LLM 响应结构
试试让大模型用 markdown 格式返回代码或 JSON ,然会只处理 markdown 里面的代码或 JSON 会不会好些
@NIIIIIIIIIICE 一直用这个插件进行分流,有什么好用的分流插件可以推荐吗?
167 天前
回复了 geekvcn 创建的主题 硬件 有必要趁着 618 囤点 N 卡吗?我怕变成违禁品
需要囤吗,感觉租显卡的网站很多。而且随着技术发展,囤显卡还是有风险的吧。个人意见。
167 天前
回复了 GuluMashimaro 创建的主题 健康 [病症] 偶发眩晕,有没有人类似症状?
颈椎拍片子看看
189 天前
回复了 frankyzf 创建的主题 OpenAI Fine-tuning 大模型时如何训练思考过程
@Volekingsg 谢谢, 我尝试下分步骤。因为现在 output 有固定格式 JSON ,估计只能在 JSON 里加个类似`explain`的字段来写出详细的推理过程,不知道能不能学习到。
189 天前
回复了 frankyzf 创建的主题 OpenAI Fine-tuning 大模型时如何训练思考过程
@ywkk 谢谢回答,只能本地部署,不能用 gpt-4 , 现在尝试用的 llama-3 8b ,感觉没足够的能力所以在 fine-tuning (上面只是一个例子,实际上是训练另外一种类似的推理能力)。
不过这显卡也真贵啊,16G 就需要 9000 ,估计我自己想试只能暂时租显卡了,等选择多了价格合适再考虑买。
@nidongpinyinme 谢谢 op ,因为需要测试加载和 fine-tuning 7b 的模型,之前还想用 mac 来代替 nvidia 的 cuda ,看来比较困难。
@nidongpinyinme 记得 mac 有自己的一套技术和 cuda 对应,好像叫 Apple Metal 什么的,是不兼容吗?
看苹果官网,32G 翻修的最低不到 13000 , 会不会更有性价比?
194 天前
回复了 HiterPang 创建的主题 程序员 C++ or Java ? 你的理由是什么?
说下新语言你想用来干什么,现在有哪门语言的经验然后大家才好说吧。
1  2  3  4  5  6  7  8  9  10 ... 24  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5617 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 32ms · UTC 06:04 · PVG 14:04 · LAX 22:04 · JFK 01:04
Developed with CodeLauncher
♥ Do have faith in what you're doing.