V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
shebaoting
V2EX  ›  程序员

同样的 AI 应用。火山引擎的 token。用的飞快。不知道怎么回事。

  •  
  •   shebaoting · 12 小时 46 分钟前 · 1152 次点击

    字节跳动火山引擎的 token 。参加那个协作奖励计划,每天赠送 500 万 token 。我使用 python 并发请求。10 个并发。基本 2 个小时就用了 1000 万。也就是倒欠了 500 万的 token 。大概欠 9 块钱。

    但是用阿里百炼平台。之前赠送了我 1000 万的 token 。同样的 python 项目请求。同样的并发数量。用了 4 到 5 个小时。也没欠费,可能用光就停止了。

    是啥原因?有其他人遇到过吗?难道是火山引擎的应答速度更快?我也没感觉和阿里云差别有多少啊。

    10 条回复    2025-02-24 10:29:20 +08:00
    infun
        1
    infun  
       12 小时 45 分钟前
    好歹也列一下请求的什么模型,什么参数吧
    zqqian
        2
    zqqian  
       12 小时 43 分钟前
    字节的机器性能高,速度快,所以 token 用的飞快
    ttkit
        3
    ttkit  
       12 小时 37 分钟前
    接口里没响应用的 token 数?没有代码你说这有什么用。
    shebaoting
        4
    shebaoting  
    OP
       12 小时 34 分钟前
    deepseek v3 默认参数。没配置。并发是 10 个并发。
    shebaoting
        5
    shebaoting  
    OP
       12 小时 33 分钟前
    @ttkit 关键是同样的代码啊。和代码有关系吗?
    shebaoting
        6
    shebaoting  
    OP
       12 小时 33 分钟前
    @zqqian 我也在想是不是这个原因。
    keller
        7
    keller  
       9 小时 4 分钟前
    记录一下每次请求的 输入输出 token ,自己统计一下。
    visper
        8
    visper  
       1 小时 52 分钟前
    字节: 我速度快也有错?
    SakuraYuki
        9
    SakuraYuki  
       1 小时 43 分钟前
    现在 llm 最不透明的就是 token 的消耗量了,你也不知道到底是机器性能高消耗的多还是什么别的原因
    Morriaty
        10
    Morriaty  
       28 分钟前
    你看下接口返回的 tokens 消耗啊,部分接口还有命中的 cache tokens 返回
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5812 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 19ms · UTC 02:58 · PVG 10:58 · LAX 18:58 · JFK 21:58
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.