yyluxe
V2EX  ›  macOS

请教 Mac studio 部署 ai,用 ollama 还是 lm studio

  •  
  •   yyluxe · May 15, 2025 · 3567 views
    This topic created in 368 days ago, the information mentioned may be changed or developed.

    请教 Mac studio 部署 ai ,用 ollama 还是 lm studio 更好一点?不甚了解,希望懂得朋友可以在给出答案的同事稍微讲一下理由 !~

    21 replies    2025-09-10 12:06:54 +08:00
    Surechun
        1
    Surechun  
       May 15, 2025
    非技术人员用 ollama ,部署简单,常用的模型都有。而 LM 一般给技术人员去折腾的,模型量会比 ollama 多一些,模型的选择源多一些(直接去 Hugging Face 下载模型用)
    ZiChun
        2
    ZiChun  
       May 15, 2025
    我的建议是 lmstudio 。我这边 M4 Max 使用 lmstudio 部署 mlx 格式的 qwen-30b-a3b 能有 95t/s ,ollama 部署 qwen-30b-a3b 大概是 75t/s 。
    fredweili
        3
    fredweili  
       May 15, 2025
    我用 ollama ,简单,模型也比较丰富
    不做微调之类的,主要学 MCP 和 Agent
    G200
        4
    G200  
       May 15, 2025
    mlx 格式优先,选 lm studio
    icestraw
        5
    icestraw  
       May 15, 2025
    我建议 API 。mac 性能太低,模型太小不实用,太大跑不动,ram 装得下并发也低,训练也跑不动。除了玩一下子没啥大用。
    heyjei
        6
    heyjei  
       May 15, 2025
    lm studio 不是更简单嘛。

    在一些网络隔离的环境下,独立部署是非常有必要的。
    234ygg
        7
    234ygg  
       May 15, 2025
    性能太低,没有部署价值,api 或网页版很便宜
    duvet
        8
    duvet  
       May 16, 2025
    API 比电费便宜,除非想自己微调或者担心隐私问题没必要本地部署
    slowgen
        9
    slowgen  
       May 17, 2025
    用 LM Studio ,配合 MLX 和 DWQ 量化(最新的一个量化方法,质量很好)很不错,开 KV Cache 也方便,我拿 M2 Ultra 跑 Qwen3-30B-A3B-DWQ 的 4bit 版可以到 105token/s ,Qwen3-235B-A22B-DWQ 的 4bit 版本也能到 32token/s
    SakuraYuki
        10
    SakuraYuki  
       May 19, 2025
    ollama 省事
    yyluxe
        11
    yyluxe  
    OP
       May 19, 2025
    @Surechun 好滴 多谢
    yyluxe
        12
    yyluxe  
    OP
       May 19, 2025
    @ZiChun 试了试 确实如你所说
    yyluxe
        13
    yyluxe  
    OP
       May 19, 2025
    @fredweili 好滴
    yyluxe
        14
    yyluxe  
    OP
       May 19, 2025
    @G200 ollama 没有这个格式?
    yyluxe
        15
    yyluxe  
    OP
       May 19, 2025
    @icestraw 私密 私密
    yyluxe
        16
    yyluxe  
    OP
       May 19, 2025
    @heyjei 是的 太对了
    yyluxe
        17
    yyluxe  
    OP
       May 19, 2025
    @duvet 私密 私密
    yyluxe
        18
    yyluxe  
    OP
       May 19, 2025
    @shuimugan 好主意
    yyluxe
        19
    yyluxe  
    OP
       May 19, 2025
    @SakuraYuki 好的 多谢
    yyluxe
        20
    yyluxe  
    OP
       Sep 10, 2025
    @G200 ollama 能用这个格式不
    yyluxe
        21
    yyluxe  
    OP
       Sep 10, 2025
    @shuimugan 这么高!
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1037 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 102ms · UTC 22:39 · PVG 06:39 · LAX 15:39 · JFK 18:39
    ♥ Do have faith in what you're doing.