[Feature Request]: 哭着求MiniCPM 4和Ollama的集成？

[fishfree]

Feature request / 功能建议

MiniCPM真的是好用的感动的我要哭！！强烈请求尽快出Ollama模型，最好是能在ollama官网上上线，兼容最新版ollama。先谢过了哪位大神了~

[lucifer714]

转成gguf加载到ollama

[luckfu]

转成gguf加载到ollama
根本转换不了呢

python convert_hf_to_gguf.py models/MiniCPM3-4B --outfile models/MiniCPM3-4B-f16.gguf
INFO:hf-to-gguf:Loading model: MiniCPM3-4B
ERROR:hf-to-gguf:Model MiniCPM3ForCausalLM is not supported

[zhaoxiaozhao07]

mincpm 提供了 ollama 的编译版本。直接编译 ollama 可以运行 minicpm，当前官方暂未合并相关 PR，智能自己编译。

[LDLINGLINGLING]

是的，我们提供了自己的ollama，也提供了自己版本的llamacpp

[fishfree]

我也看到了README有这个说明。不过还是想请官方能够第一时间更新到ollama官网里，让我们这些门外汉不再为和ollama的版本兼容性问题而发愁，傻瓜式一条命令就能搞定。这也能提升你们的同行竞争力和影响力啊。

[SunShaft]

转成gguf加载到ollama
根本转换不了呢

python convert_hf_to_gguf.py models/MiniCPM3-4B --outfile models/MiniCPM3-4B-f16.gguf
INFO:hf-to-gguf:Loading model: MiniCPM3-4B
ERROR:hf-to-gguf:Model MiniCPM3ForCausalLM is not supported

这个拉最新的minicpm3分支上的就好, 不过我遇到了mmap的问题, 还是等作者看看吧.
在hugging face上找到了不少gguf的模型, 说是按照作者的方式来的, 不过下载下来都用不了XD

[LDLINGLINGLING]

需要自己编译ollama

[sunzx]

需要自己编译ollama

这个repo的ollama好像还不太对，llm/llama.cpp/ 还是连接到ggerganov的官方版，llm/llama.cpp/src/llama.cpp 这个文件里没有LLM_ARCH_MINICPM3。

[earthGavinLee]

也是类似的问题，无法运行MiniCPM3

需要自己编译ollama

这个repo的ollama好像还不太对，llm/llama.cpp/ 还是连接到ggerganov的官方版，llm/llama.cpp/src/llama.cpp 这个文件里没有LLM_ARCH_MINICPM3。

[earthGavinLee]

是的，我们提供了自己的ollama，也提供了自己版本的llamacpp

按照https://modelbest.feishu.cn/wiki/LrdMwKKt3iZgoYkQlPRcvY1PnXc文档分支编译的ollama的还是无法运行minicpm3-4b模型

[KevinLiangX]

这种小模型特别适合资源紧张的情况下使用，但是现在模型一天一样，其实最好是跟其他开源的组件进行集成，而不是自己fork，自己再搞一套，这样子对自己模型的生态不好，毕竟，不是所有人都会去编译，去更换自己环境中的组件。哈哈哈 因为我搞了好久也没搞好，很是苦恼。

[zh-zheng]

我们会尽快支持llama.cpp和Ollama的官方版本。

[KevinLiangX]

我们会尽快支持llama.cpp和Ollama的官方版本。

感谢大佬，祝愿我们MiniCPM越来越好。

[zh-zheng]

llama.cpp官方版本已经支持了MiniCPM3-4B。GGUF版本的模型见这里。

[KevinLiangX]

pip list |grep llama

llama-cpp-python 0.2.90
报的是 不支持的模型架构
llama_model_load: error loading model: error loading model architecture: unknown model architecture: 'minicpm3

llama.cpp官方版本已经支持了MiniCPM3-4B。GGUF版本的模型见这里。

[shulin123]

pip list |grep llama

llama-cpp-python 0.2.90 报的是 不支持的模型架构 llama_model_load: error loading model: error loading model architecture: unknown model architecture: 'minicpm3

llama.cpp官方版本已经支持了MiniCPM3-4B。GGUF版本的模型见这里。

我也是报报这个错误，不知道咋搞，没研究出来

[LDLINGLINGLING]

请问你们使用的是 https://github.com/ggerganov/llama.cpp 版本的llama.cpp么，这里看似乎使用的是python版本的llamacpp,经过测试python版本的llamacpp暂不支持。

[KevinLiangX]

那估计huggingFace上没有写好，Use this Model 中 有llama-cpp-python