yiwanjidanmian
V2EX  ›  OpenAI

为什么国内大模型速度比 chagpt 慢很多

  •  
  •   yiwanjidanmian · May 22, 2024 · 3966 views
    This topic created in 734 days ago, the information mentioned may be changed or developed.

    我大段文本,gpt-4o 3 秒左右就能返回,国内比如智谱清言,文心一言就要 10 秒多才能返回,有没有知道原因啊,真难搞

    21 replies    2024-05-23 10:23:15 +08:00
    kyor0
        1
    kyor0  
       May 22, 2024 via iPhone
    这不正常么
    jr55475f112iz2tu
        2
    jr55475f112iz2tu  
       May 22, 2024
    虽然 4o 本身就是牺牲质量换速度
    但除了技术比不过,你觉得还能有什么其他影响因素?
    TheJustin
        3
    TheJustin  
       May 22, 2024
    老黄专程送 H200 给奥特曼,国内还在用上一代的阉割算力,阉割不说,数量还跟不上……
    Antihank
        4
    Antihank  
       May 22, 2024
    体会到了登子扼颈的窒息吧
    ktqFDx9m2Bvfq3y4
        5
    ktqFDx9m2Bvfq3y4  
       May 22, 2024
    还有就是人才的意愿问题,如果给人才一个选择的机会,去美或中,答案就是原因。
    ronyin
        6
    ronyin  
       May 22, 2024
    百度文心一言还有人用么。。
    pi7m1Dr691wfl95q
        7
    pi7m1Dr691wfl95q  
       May 22, 2024   ❤️ 8
    gpt-4o sleep()写太小了
    weijancc
        8
    weijancc  
       May 22, 2024
    我目前对比了所有国内 AI 产品,抖音的豆包和讯飞的 AI 比较快, 但是训分的 UI 太丑了.. 抖音的回答质量会稍微弱一点, 但是够用了.
    kenvix
        9
    kenvix  
       May 22, 2024
    没钱
    实际上你自己部署开源的国内大模型就会发现速度也很快的...比如阿里 Qwen1.5
    Retas
        10
    Retas  
       May 22, 2024 via iPhone
    moonshot 基本秒回
    yiwanjidanmian
        11
    yiwanjidanmian  
    OP
       May 22, 2024
    @Retas 那我试试
    Reid
        12
    Reid  
       May 22, 2024
    @Retas moonshot 输入长文本,经常卡住啊
    ardour
        13
    ardour  
       May 22, 2024
    算力都不在一个级别
    frankkly
        14
    frankkly  
       May 22, 2024
    @pingpz #7 华为:别逼我写 sleep(0)
    JoeDH
        15
    JoeDH  
       May 22, 2024
    国内的那回复都是一个一个字返回来的,gpt 的是一大段直接吐出来给你
    Donaldo
        16
    Donaldo  
       May 22, 2024
    没钱 没卡
    kenvix
        17
    kenvix  
       May 22, 2024
    @eastjoehan #15 你这说的,哪个 LLM 不是 token by ken ?
    wweerrgtc
        18
    wweerrgtc  
       May 22, 2024
    也许是需要审核 输入和输出的内容
    zhangdp
        19
    zhangdp  
       May 22, 2024   ❤️ 3
    可能需要分析审核内容耗时了,不允许违法的特别的反动的词语
    macaodoll
        20
    macaodoll  
       May 22, 2024 via Android
    问就是制裁没显卡,
    yinmin
        21
    yinmin  
       May 23, 2024 via iPhone
    试试:海螺 ai 、通义 ai 、零一万物 ai 、deepseek v2 ,都是很快的。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5704 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 132ms · UTC 02:51 · PVG 10:51 · LAX 19:51 · JFK 22:51
    ♥ Do have faith in what you're doing.