Home
avatar

小五

Python中使用LiteLLM 添加代理调用

程序开发

Python中使用LiteLLM 添加代理调用

日常使用中通常会遇到一个问题,就是需要调用各种不同的大模型。平时用OpenAI的格式调用,还得写不少东西。最近发现LiteLLM在Python中调用大模型比较简单,马上体验了一下。结果遇到网络问题,没有走通GPT和Claude。查阅了官方的github,找到了解决方案,特此分享。直接上完整的代码im

使用Google Gemini的示例

AI大模型

使用Google Gemini的示例

国内使用Gemini时,是无法访问的。本文提供一种在Python中使用API调用,走代理IP的方式。Gemini官方文档在:https://ai.google.dev/gemini-api/docs?hl=zh-cn百度搜索告诉你的方式都是粗暴的使用全局配置。下面是搜索引擎告诉的一般方式:os.en

通用AI助手Manus搞不到邀请码?不如试试平替版OpenManus

AI大模型

通用AI助手Manus搞不到邀请码?不如试试平替版OpenManus

昨天开始Manus刷屏了各种渠道。一个国产、通用型的人工智能产品,自动干活的通用AI助手。个人感觉有点言过其实了,AI领域Agent这块已经有比较丰富的框架和产品,Manus感觉像是一个缝合怪,整合了一些功能来实现信息收集与处理而已。Manus官网:https://manus.im/可以在Disco

免费领DeepSeek千万额度

AI大模型

免费领DeepSeek千万额度

DeepSeek最近是火出圈了,国内的主流公司都开始接入DeepSeek。今天看新闻百度也接入DeepSeek了。打开一看果然厉害。日常提问使用是基本够用了。但是要接入API使用的话,还是得找API接入。目前主流的渠道:官网已经不太推荐了,最近卡爆,常常推理不出结果。比较称定的国内可用的满血版Dee

使用Llama.cpp本地推理运行各种模型,比如DeepSeek R1

AI大模型

使用Llama.cpp本地推理运行各种模型,比如DeepSeek R1

前面的文章中我有提到过使用Ollama和LMStudio,一个命令行,一个图形界面在本地来管理和运行大模型。本文,我将使用LLama.cpp来进行本地推理,运行大模型。顺便吐槽:网上太多文章,都是各种编译,小白弄这个也会比较麻烦。大多也是互相抄别人的文章。从安装到使用,早就信息滞后了。本身这个早就不

Mac 本地体验Dify并连上DeepSeek R1,堪比Coze的开源本地化Agent框架

AI大模型

Mac 本地体验Dify并连上DeepSeek R1,堪比Coze的开源本地化Agent框架

前文讲过在本地布署DeepSeekR1推理模型。这篇内容,主要讲一下Dify安装。更多好玩的应用,起码得先有个架子不是。Dify可不光是Agent,还有很多好玩的东西在里面。工作流、知识库、大模型对话,一应俱全。我将使用Docker进行Dify安装,后续的相关应用,有空再写点文章了。为什么使用Doc

Mac多大的配置能跑多大的模型

AI大模型

Mac多大的配置能跑多大的模型

模型1B代表10亿参数。Mac检查内存大小1、简单的通过命令行查询system_profilerSPHardwareDataType|grep"Memory"2、图形界面左上角苹果图标、关于本机、系统报告、内存,可以查看当前电脑的内存。Mac检查显存大小1、Mac自带的工具是不行的。方法一,是使用上

Mac运行使用最新DeepSeek R1模型体验

AI大模型

Mac运行使用最新DeepSeek R1模型体验

最近几天,DeepSeek发布R1模型,火爆整个圈子。性能对标OpenAIo1正式版开源用R1数据蒸馏的Qwen、Llama系列小模型,蒸馏模型超过o1-mini和QWQ。免费又好玩的东西。千万是不能错过的。下面我在Mac系统中,来体验一下最新的R1,到底强不强。使用方式mac下使用大模型有2种简单

使用Langchain本地体验最新的千问2.5模型

AI大模型

使用Langchain本地体验最新的千问2.5模型

电脑算力有限,本地体验一下新出的千问2.5模型。准备对长文本进行量化做本地知识库,想搭建一个本地模型做为核心。千问2.5开源模型介绍:Qwen是阿里巴巴集团Qwen团队研发的大语言模型和大型多模态模型系列。目前,大语言模型已升级至Qwen2.5版本。无论是语言模型还是多模态模型,均在大规模多语言和多

1