GeorgeV
V2EX  ›  Claude

从模型蒸馏想到, AI 模型的护城河可能并不深

  •  
  •   GeorgeV · Jun 26 · 3509 views

    经常看到某家 AI 公司在公开场合上蹿下跳、各种举报投诉中国公司蒸馏了自己家的模型,由此想到可能目前 AI (即使是闭源)模型的护城河其实并不深。若属实,可能很快就会看到目前这种 AI 狂热的泡沫破裂时刻。

    18 replies    2026-06-28 17:17:40 +08:00
    linbenyi
        1
    linbenyi  
    PRO
       Jun 26
    就像研究原子弹的人当中也有社会主义者。操作的人未必在意长期股东的利益。
    另外 Fable 和 5.6 不让用了。民转军。不就护城河深些了?
    GeruzoniAnsasu
        2
    GeruzoniAnsasu  
       Jun 26   ❤️ 5
    bro 以为「护城河」是那些公开能访问到的数据。 我只能说但凡刷刷 deepseek 架构解析的短视频都不至于得出这种结论
    yidinghe
        3
    yidinghe  
    PRO
       Jun 26 via Android
    不深,那你觉得有多浅,你意思是国内可以随便冒出几千家做大模型的企业?还是说随便一个本科生就能带领团队做大模型研究?
    bwnjnOEI
        4
    bwnjnOEI  
       Jun 26   ❤️ 1
    护城河不深和泡沫有什么联系吗?还是你只是想唱衰 llm
    sora2blue
        5
    sora2blue  
       Jun 26
    准确来说是闭源模型可能没有我们想象的那么一骑绝尘领先于开源模型,做算法门槛蛮高的
    Ericcccccccc
        6
    Ericcccccccc  
       Jun 26   ❤️ 1
    不深的话 fable 就没有禁用的逻辑。(它想封禁的对象用一个替代品可以做到完全一样的事情,它禁了寂寞

    特别是 cc 还有生物相关内容的白名单机制。
    lsls931011
        7
    lsls931011  
       Jun 26
    目前 AI 已经应用在我们生活的方方面面,正切实改变我们的生活,为什么还觉得 AI 是泡沫呢
    haiku
        8
    haiku  
       Jun 26 via iPhone
    不深为什么腾讯阿里谷歌 Meta 的模型做不到第一

    为什么 Grok 砸了那么多钱结果依然二三流、变成出租集群的生意了
    aireason
        9
    aireason  
       Jun 26
    主要护城河是算力、硬件基建
    argentea
        10
    argentea  
       Jun 26
    挺深的,grok 就是最好的证明,不深的话马斯克就不可能摆烂把算力租出去了
    YYYeung
        11
    YYYeung  
       Jun 27
    那应该是通过木马手段实行的蒸馏
    Librola
        12
    Librola  
       Jun 27
    护城河不深跟泡沫有什么关系,要我说,护城河浅反而更能促进几家 AI 公司互相学习、互相竞争,而不是凭借领先直接开摆。可惜 AI 护城河并没那么浅,否则 AI 也不会就那么几家打出名头来。
    AsakiEmura
        13
    AsakiEmura  
       Jun 27
    不深的话,全球的 ai base model 一定很多国家都在搞吧
    trn4
        14
    trn4  
       Jun 27
    蒸馏可以快速接近 80%甚至 90%的专项能力,但是剩下的那 10%-20%就是无法逾越的天堑。
    unusualcat
        15
    unusualcat  
       Jun 27
    护城河不深,为啥 v 站的程序员都钻窟窿打洞非要用上某家 ai 公司的 CC ?他们为啥不用国产的呢?量大管饱还不会动不动就封号不香吗?
    jqh
        16
    jqh  
       Jun 27
    有没有可能,真正厉害的模型人家根本不对外开放,听说现在 Anthropic 就已经有内部模型,只提供给少数大厂用,其他人有钱都买不到
    soulflysimple123
        17
    soulflysimple123  
       Jun 27
    护城河不深其他国家咋不蒸馏一个
    JasonYip
        18
    JasonYip  
       Jun 28 via Android
    llm 时代以前 蒸馏是模型轻量化的一个重要方法,那时候蒸馏好的方法可以发顶会的 蒸馏不是想蒸就蒸的 门槛没那么低
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   979 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 61ms · UTC 21:48 · PVG 05:48 · LAX 14:48 · JFK 17:48
    ♥ Do have faith in what you're doing.