我很好奇,有没有人将 deepseek 搭建在服务器上,然后对外提供出租服务的? 比如给个 mstsc ,或者弄个外网访问权限的。 可以让租用的人在本地调用这个云服务器上的模型的....
1
siknet 20 小时 2 分钟前
官方不是有 API ?
|
2
fcten 19 小时 45 分钟前
官方有 api ,不过官方 api 这两天基本处于不可用的状态。
|
3
Jerry23333 18 小时 52 分钟前
阿里云百炼里面有 deepseek
|
4
hamsterbase 18 小时 24 分钟前
|
5
Themyth OP |
6
hamsterbase 17 小时 36 分钟前
@Themyth deepseek 官方应该不是亏本的,他们服务器有特殊优化的。
|
7
dream7758522 17 小时 31 分钟前 via Android
昨天凌晨 2 点多,官网 web 版也崩了,等了半个多小时,好了。联网搜索也是彻底废了。
|
8
parad 16 小时 43 分钟前 via Android
有很多,我这里做了对比
https://prompt.16x.engineer/blog/deepseek-r1-cost-pricing-speed 持续更新中 |
9
parad 16 小时 41 分钟前
域名太小众,渲染不出 link [https://prompt.16x.engineer/blog/deepseek-r1-cost-pricing-speed]( https://prompt.16x.engineer/blog/deepseek-r1-cost-pricing-speed)
|
10
akira 13 小时 43 分钟前
阿里云百炼 前天放了 deepseek 出来了。 一百万个 免费额度,足够测试了
|
11
lovestudykid 4 小时 57 分钟前
@parad #8 Deepseek 不是本来就是用 FP8 训练的吗,FP8 怎么还会有量化损失?
|
12
duzhuo 4 小时 42 分钟前
|
13
parad 17 分钟前 via Android
@lovestudykid 根据我的理解,DeepSeek 最终的 weight 是 mixed F8_E4M3 + FP32 。这个可以在 Hugging Face 的 原始 model layer details 里面看到: https://huggingface.co/deepseek-ai/DeepSeek-R1/tree/main?show_file_info=model-00027-of-000163.safetensors
而 Hyperbolic 的 FP8 是他们自己的 quantization ,是在 model 上面额外的 quantization ,这里有解释: https://docs.hyperbolic.xyz/docs/hyperbolic-ai-inference-pricing 所以我理解 Hyperbolic 应该是做了额外的 quantization 。当然有可能是我理解错了。欢迎指正。 |