看了一下 ollama 或 unsloth 都不支持 mlx 模型 ,
我使用 lm studio , 可以加载 qwen mlx , 却不支持 gemma4 mlx 模型,
搜索说是不支持。那想问一下 gemma mlx 系列怎么正常使用。
我使用 lm studio , 可以加载 qwen mlx , 却不支持 gemma4 mlx 模型,
搜索说是不支持。那想问一下 gemma mlx 系列怎么正常使用。
1
lihanst Apr 13
我试过可以呀,全程 codex 代劳,好像是得用 mlx-vlm 。
|
2
paynezhuang Apr 13
我也用不了。我用的 gemma-4-31b-jang_4m-crack ,格式是 mlx
``` 🥲 Failed to load the model Failed to load model. Error when loading model: ValueError: Gemma 4 support is not ready yet, stay tuned! ``` |
3
Hilalum Apr 13
omlx ,比其他体验都好,并且缓存在硬盘里,占内存少
|
5
youthfire Apr 13
和 1 楼一样,用的 mlx-vlm
|
6
my3157 Apr 13 via Android
ollama 等这个 merge 吧 https://github.com/ollama/ollama/pull/15244
|
7
emberzhang Apr 13
omlx 只能跑 -it 的 gemma4 啊,thinking 的会报错
|
8
zyxk OP |
9
zyxk OP 但是更新后还是不支持 gemmalmx
|
10
lucifer9 Apr 13
@paynezhuang #2 你下载这个 model 的地方没说要用 https://vmlx.net/吗
|