zyxk
0.02D
V2EX  ›  macOS

gemma4 加载不了 mlx 系列,提示是不支持, gguf 系列可以正常用, 想问一下 mlx 系列怎么正常使用。

  •  
  •   zyxk · Apr 13 · 1883 views
    This topic created in 38 days ago, the information mentioned may be changed or developed.
    看了一下 ollama 或 unsloth 都不支持 mlx 模型 ,
    我使用 lm studio , 可以加载 qwen mlx , 却不支持 gemma4 mlx 模型,
    搜索说是不支持。那想问一下 gemma mlx 系列怎么正常使用。
    10 replies    2026-04-13 20:36:08 +08:00
    lihanst
        1
    lihanst  
       Apr 13
    我试过可以呀,全程 codex 代劳,好像是得用 mlx-vlm 。
    paynezhuang
        2
    paynezhuang  
       Apr 13
    我也用不了。我用的 gemma-4-31b-jang_4m-crack ,格式是 mlx

    ```
    🥲 Failed to load the model

    Failed to load model.

    Error when loading model: ValueError: Gemma 4 support is not ready yet, stay tuned!
    ```
    Hilalum
        3
    Hilalum  
       Apr 13
    omlx ,比其他体验都好,并且缓存在硬盘里,占内存少
    Hilalum
        4
    Hilalum  
       Apr 13
    @Hilalum 还带下载器,下载器还支持搜索。支持 hf 并且同时还支持 Modelscope ,国内下载模型可以跑满本地带宽
    youthfire
        5
    youthfire  
       Apr 13
    和 1 楼一样,用的 mlx-vlm
    my3157
        6
    my3157  
       Apr 13 via Android
    emberzhang
        7
    emberzhang  
       Apr 13
    omlx 只能跑 -it 的 gemma4 啊,thinking 的会报错
    zyxk
        8
    zyxk  
    OP
       Apr 13

    lms 已经更新啦
    zyxk
        9
    zyxk  
    OP
       Apr 13
    但是更新后还是不支持 gemmalmx
    lucifer9
        10
    lucifer9  
       Apr 13
    @paynezhuang #2 你下载这个 model 的地方没说要用 https://vmlx.net/吗
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3700 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 38ms · UTC 10:24 · PVG 18:24 · LAX 03:24 · JFK 06:24
    ♥ Do have faith in what you're doing.