分类: LLM大模型

2 篇文章

使用Llama.cpp本地推理运行各种模型,比如DeepSeek R1
前面的文章中我有提到过使用Ollama和LM Studio,一个命令行,一个图形界面在本地来管理和运行大模型。 本文,我将使用LLama.cpp来进行本地推理,运行大模型。 顺便吐槽: 网上太多文章,都是各种编译,小白弄这个也会比较麻烦。大多也是互相抄别人的文章。从安装到使用,早就信息滞后了。 本身这个早就不需要编译了,下载包就能直接用。 Llam…
Mac多大的配置能跑多大的模型
模型1B代表10亿参数。 Mac检查内存大小 1、简单的通过命令行查询 system_profiler SPHardwareDataType | grep "Memory" 2、图形界面 左上角苹果图标、关于本机、系统报告、内存,可以查看当前电脑的内存。 Mac检查显存大小 1、Mac自带的工具是不行的。方法一,是使用上一篇文章…