jinja27 最近的时间轴更新 jinja27 最近的时间轴更新 ONLINE |
jinja27V2EX 第 650734 号会员，加入于 2023-09-25 15:57:06 +08:00今日活跃度排名 3491 |
| 8 路 L40 部署 R1-671B 上限是多少呢 程序员 • jinja27 • 2 分钟前 • 最后回复来自 jinja27 | 8 |
jinja27 最近回复了
2 分钟前 回复了 jinja27 创建的主题 › 程序员 › 8 路 L40 部署 R1-671B 上限是多少呢 |
@Attenton 而且我下载的 671B 4bit 量化是 gguf 格式，VLLM 运行不了
1 小时 39 分钟前 回复了 jinja27 创建的主题 › 程序员 › 8 路 L40 部署 R1-671B 上限是多少呢 |
@kk2syc
给过了，模型共 61 层，GPU 上只有 40 层，再大显存就不够了，但是 40 层显卡几乎没工作
给过了，模型共 61 层，GPU 上只有 40 层，再大显存就不够了，但是 40 层显卡几乎没工作
1 小时 40 分钟前 回复了 jinja27 创建的主题 › 程序员 › 8 路 L40 部署 R1-671B 上限是多少呢 |
@Attenton
500G 是内存，显存的话每张显卡实际可用的只有 44 左右，8*44 约 350G
500G 是内存，显存的话每张显卡实际可用的只有 44 左右，8*44 约 350G
1 小时 49 分钟前 回复了 jinja27 创建的主题 › 程序员 › 8 路 L40 部署 R1-671B 上限是多少呢 |
@guoyijun163
但是 KT 不是走纯 CPU 方案吗？这样 8 路显卡的资源浪费不是更严重了？
但是 KT 不是走纯 CPU 方案吗？这样 8 路显卡的资源浪费不是更严重了？
351 天前 回复了 hepin1989 创建的主题 › 生活 › 发现穷人的孩子真的难翻身 |
@ttvv123 比特币除非上杠杆和玩合约，可以说是最近 10 几年最优质的投资资产了，你知道这些只能说明你认识的都是赌狗
Select Language