Home
avatar

小五

Mac运行使用最新DeepSeek R1模型体验

最近几天,DeepSeek发布R1模型,火爆整个圈子。性能对标 OpenAI o1 正式版 开源用 R1 数据蒸馏的 Qwen、Llama 系列小模型,蒸馏模型超过 o1-mini 和 QWQ。

免费又好玩的东西。千万是不能错过的。

下面我在Mac系统中,来体验一下最新的R1,到底强不强。

使用方式

mac下使用大模型有2种简单的方式。这2款软件都支持Windows和Linux系统。 1、使用ollama 2、使用LM Studio。

LM Studio是可视化的界面,Ollama是命令行。这2个工具都可以运行大量的开源模型,经过配置HuggingFace上上万个大模型也可以随便使用。

下面分开使用。

Ollama安装并使用DeepSeek R1

两款软件的安装都非常简单。下载拖进程序就完事

官方:https://ollama.com/

安装成功之后,需要先下载一个模型。下载地址:https://ollama.com/search

可以看到deepseek已经排到第一了。

我将下载14B和32B 这2款模型进行测试。

1、打开Mac命令行输入: ollama run deepseek-r1

ollama run deepseek-r1

总共 30G 文件。

2、下载完成。通过ollama list查看本机模型

列表中出现表示安装成功

3、运行大模型。开始对话。 使用任何聊天客户端。 我使用ChatBox。免费开源的客户端,多平台可使用。 更简单的方法,可以安装Cherry Studio。本机使用可能对新手更为友好。

点击左下角的设置,选择模型提供方。保存即可。

ollama正常运行的情况下,模型那里,会自动列出本机可用的所有模型。

4、新建对话,选择模型

新对话,打开模型设置

再选择使用我们刚刚录入的ollama

3、现在可以对话了。

思考的过程挺有意思的。

再找个复杂的问题。

简单的坑好像已经坑不了AI了。

测试一下写代码的能力。也能正常解决简单的问题。

在Cherry Studio使用14B的模型体验了一下,速度快很多,普通问题也能正常处理。

再来使用LM Studio,体验蒸馏过的小模型。

安装依然简单,下载拖到应用程序就安装成功。 官方下载地址: https://lmstudio.ai/

LM 麻烦一点的是,它的模型来源到HuggingFace,国内无法访问,需要进行一步修改,能访问国内的镜像站点。

1、修改程序改为国内镜像站点 首先退出LM Studio程序。

然后在应用程序中,找到LM Studio,右键,显示包内容

LM Studio.app/Contents/Resources/app/.webpack/main 把这个目录拖进VSCode编辑器中,批量替换 huggingface.co -> hf-mirror.com

再保存所有修改,关闭并重新启动LM

2、打开LM Studio 点击左边的发现

再选中要下载的量化版本

为了测试,我下载了Qwen和LLama的4位量化版。

新建一个聊天,在顶部菜单,选中我们下载的模型

点击加载模型。即可使用。

7B的模型会比较流畅,当然能力也会减弱。

推理过程还是挺有意思的。

后记

平时使用推理模型很少。但是网上找的问题,DeepSeek R1都能轻松正确回答。可见一般。

官方还免费开源了量化后的模型,难怪OpenAI都着急了。赶紧又发了新功能。

Ollama和LM都提供API调用。配合上python,Agent的能力又可以进一步增强了。

前几天强的离谱的Google Geimi免费用,现在又来DeepSeek,发现太快了。

看看Geimi的多模型模型。

就问你怕不怕吧,以后哪还有人什么事,都是AI了。

DeepSeek R1