Mac运行使用最新DeepSeek R1模型体验
最近几天,DeepSeek发布R1模型,火爆整个圈子。性能对标 OpenAI o1 正式版 开源用 R1 数据蒸馏的 Qwen、Llama 系列小模型,蒸馏模型超过 o1-mini 和 QWQ。
免费又好玩的东西。千万是不能错过的。
下面我在Mac系统中,来体验一下最新的R1,到底强不强。
使用方式
mac下使用大模型有2种简单的方式。这2款软件都支持Windows和Linux系统。 1、使用ollama 2、使用LM Studio。
LM Studio是可视化的界面,Ollama是命令行。这2个工具都可以运行大量的开源模型,经过配置HuggingFace上上万个大模型也可以随便使用。
下面分开使用。
Ollama安装并使用DeepSeek R1
两款软件的安装都非常简单。下载拖进程序就完事
安装成功之后,需要先下载一个模型。下载地址:https://ollama.com/search
可以看到deepseek已经排到第一了。
我将下载14B和32B 这2款模型进行测试。
1、打开Mac命令行输入: ollama run deepseek-r1
ollama run deepseek-r1总共 30G 文件。
2、下载完成。通过ollama list查看本机模型
列表中出现表示安装成功
3、运行大模型。开始对话。 使用任何聊天客户端。 我使用ChatBox。免费开源的客户端,多平台可使用。 更简单的方法,可以安装Cherry Studio。本机使用可能对新手更为友好。
点击左下角的设置,选择模型提供方。保存即可。
ollama正常运行的情况下,模型那里,会自动列出本机可用的所有模型。
4、新建对话,选择模型
新对话,打开模型设置
再选择使用我们刚刚录入的ollama
3、现在可以对话了。
思考的过程挺有意思的。
再找个复杂的问题。
简单的坑好像已经坑不了AI了。
测试一下写代码的能力。也能正常解决简单的问题。
在Cherry Studio使用14B的模型体验了一下,速度快很多,普通问题也能正常处理。
再来使用LM Studio,体验蒸馏过的小模型。
安装依然简单,下载拖到应用程序就安装成功。 官方下载地址: https://lmstudio.ai/
LM 麻烦一点的是,它的模型来源到HuggingFace,国内无法访问,需要进行一步修改,能访问国内的镜像站点。
1、修改程序改为国内镜像站点 首先退出LM Studio程序。
然后在应用程序中,找到LM Studio,右键,显示包内容
LM Studio.app/Contents/Resources/app/.webpack/main 把这个目录拖进VSCode编辑器中,批量替换 huggingface.co -> hf-mirror.com
再保存所有修改,关闭并重新启动LM
2、打开LM Studio 点击左边的发现
再选中要下载的量化版本
为了测试,我下载了Qwen和LLama的4位量化版。
新建一个聊天,在顶部菜单,选中我们下载的模型
点击加载模型。即可使用。
7B的模型会比较流畅,当然能力也会减弱。
推理过程还是挺有意思的。
后记
平时使用推理模型很少。但是网上找的问题,DeepSeek R1都能轻松正确回答。可见一般。
官方还免费开源了量化后的模型,难怪OpenAI都着急了。赶紧又发了新功能。
Ollama和LM都提供API调用。配合上python,Agent的能力又可以进一步增强了。
前几天强的离谱的Google Geimi免费用,现在又来DeepSeek,发现太快了。
看看Geimi的多模型模型。
就问你怕不怕吧,以后哪还有人什么事,都是AI了。