标签: 本地运行大模型

1 篇文章

使用Llama.cpp本地推理运行各种模型,比如DeepSeek R1
前面的文章中我有提到过使用Ollama和LM Studio,一个命令行,一个图形界面在本地来管理和运行大模型。 本文,我将使用LLama.cpp来进行本地推理,运行大模型。 顺便吐槽: 网上太多文章,都是各种编译,小白弄这个也会比较麻烦。大多也是互相抄别人的文章。从安装到使用,早就信息滞后了。 本身这个早就不需要编译了,下载包就能直接用。 Llam…