mingtdlb
V2EX  ›  Local LLM

现在大模型主流都用哪些 nVidia GPU?

  •  
  •   mingtdlb · 2 days ago · 2855 views

    不限于参数大小

    20 replies    2026-06-11 14:57:48 +08:00
    zzutmebwd
        1
    zzutmebwd  
       2 days ago   ❤️ 1
    没有 nvlink 的最强是 pro6000 ,下面是 5090/4090 48g/4090/4080 32g 。有 nvlink 的不了解。
    zzutmebwd
        2
    zzutmebwd  
       2 days ago
    你如果说千亿参数在线 api 的话,h100 h200 b200 等的群集。
    clemente
        3
    clemente  
       2 days ago
    b200
    zzutmebwd
        4
    zzutmebwd  
       2 days ago
    @zzutmebwd 对了,有个 pro6000d 84g ,合规阉割版,算力是不如 5090 的,但差不太多,如果四万多点能买到的话还是不错的,大显存省事儿很多。
    robyn87leonard
        5
    robyn87leonard  
       2 days ago
    l20
    raycool
        6
    raycool  
       2 days ago
    H200 B200 这些吧。
    不过我还在用 4090
    v2exgo
        7
    v2exgo  
       2 days ago
    b300
    mingtdlb
        8
    mingtdlb  
    OP
       2 days ago
    @zzutmebwd #4 4090 48g/4080 32g 都是魔改版?我看官方没有这个版本
    JmHappy
        9
    JmHappy  
       2 days ago
    B300 集群,有 FP4 模块的都行
    zzutmebwd
        10
    zzutmebwd  
       2 days ago via Android
    @mingtdlb 是的 消费级+大显存基本都是魔改的,所以还是建议 pro6000d
    oldAndy
        11
    oldAndy  
       2 days ago
    H100 H200 B200
    xiaomushen
        12
    xiaomushen  
       2 days ago
    pro6000 真的爽,本地做一些 bert 训练完全够用
    zzutmebwd
        13
    zzutmebwd  
       2 days ago
    @xiaomushen 10 万了哥,现在买不划算了
    xiaomushen
        14
    xiaomushen  
       2 days ago
    @zzutmebwd 我 7 万多买的
    zzutmebwd
        15
    zzutmebwd  
       2 days ago
    8000 刀才是合理价,我 6 万买的都嫌贵。
    @xiaomushen
    liuxyon
        16
    liuxyon  
       2 days ago
    哪里有合理价格卖
    coefu
        17
    coefu  
       2 days ago
    要是能买到,amd 的 mi 系列,可能会更好点。
    xiaomushen
        18
    xiaomushen  
       2 days ago
    @zzutmebwd 没办法呀,国内对公,只能吃这个价。现在都快 10 万了
    nrtEBH
        19
    nrtEBH  
       2 days ago
    最强当然是 GB200 GB300 组的大集群
    从行业内看各种尺寸的都有 还包括魔改显存的 4090 5090
    lifechan
        20
    lifechan  
       17h 14m ago via Android
    @zzutmebwd 國外能買了帶回來嗎
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   4592 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 65ms · UTC 00:12 · PVG 08:12 · LAX 17:12 · JFK 20:12
    ♥ Do have faith in what you're doing.