微信扫码
与创始人交个朋友
我要投稿
最近,Qwen 2.5已经发布了,我已经写了一篇关于他的文章,但我们还没有在真正的编程环境中测试它。所以今天,我将向你展示如何将Qwen 2.5与Aider、Claude Dev、Continue 一起使用,并且我们将进行一些编程测试,看看它的表现如何。
在我们开始之前,我们需要决定使用什么模型,因为有很多可用的模型。
最好的选择是Qwen 2.5的72B模型,因为这是可用的最大模型,击败了llama3.1 405B,所以我们可以把这个模型作为主要的模型,与Claude Dev、Continue 和Aider一起使用。
除此之外,对于简单的聊天和代码交互,我们可以本地使用7B编码器模型,而对于自动补全功能,我们也可以使用新的1.5B编码器模型。
不过,我并不推荐这样做,因为SuperMaven可以免费提供自动补全服务,而且速度也非常快,通常效果更好。
VSCode+Aider+Supermaven:打造免费开源的顶级AI开发环境,别再为Cursor花钱了!
不过,如果你想试试,我会向你展示如何配置,并且我们也会看看Qwen 2.5的自动补全能力。
我们可以轻松地在本地托管7B和1.5B模型,但我们无法在本地托管72B模型,因此我们需要选择一个提供商。有多个提供商提供免费积分和使用权限,例如Together AI,但他们还没有添加新的Qwen模型。
因此,我将使用Hyperbolic,它已经提供了新的72B模型,并且提供了10美元的免费积分。
▲ https://app.hyperbolic.xyz/models
尽管推理速度较慢,因为它使用的是BF16变体(即未量化的模型),这通常能提供更好的结果。无论如何,我们将使用它,并且你也可以免费跟随进行操作。
让我们开始吧!首先,从Continue开始。前往VS Code,在扩展中搜索Continue,找到后安装它。安装完成后,我们需要进行设置。
在此之前,先前往Hyperbolic创建一个API密钥。复制并妥善保存,因为稍后我们会用到它。
完成后,回到Continue Dev,点击“添加”按钮,然后选择OpenAI兼容选项。
输入Hyperbolic的基本URL,
随便选择一个模型添加,
但我们需要Qwen模型,还需要输入API密钥。
为此,点击“设置”选项,打开此文件,在这里输入API密钥,并将模型名称更改为Qwen 2.5。
完成后,保存设置,现在我们相当于在Continue中添加了一个
Qwen 2.5 72B的基础模型可用于和Continue进行聊天、生成代码、应用更改和重构代码等待操作。当然Continue的代码补全可以设立单独的模型,我推荐使用SuperMaven,
因为它免费且快速,但如果你想让所有功能都在本地运行,我们可以使用新的Qwen 2.5 coder:1.5B模型来配置,教你如下操作:
Ollama拉取qwen 2.5:1.5B
你可以看到它运行得非常好,效果也不错。这是一个基本的Copilot设置,你可以用这些新模型完成。你可以使用更大的72B模型或7B编码器模型进行聊天,并使用1.5B模型进行自动补全。
上面是Continue中的配置,现在介绍Claude Dev中如何运行qwen 2.5:72B(这两个插件常常协作使用)
现在,我将使用Hyperbolic端点,所以选择OpenAI兼容选项,但你也可以选择LLaMA本地选项。
选择API端点、API密钥和模型名称。完成后,点击“完成”按钮并保存。现在我们可以开始使用它了。
让我通过创建一个简单的Todo应用来展示。我们让它生成一个简单的HTML、CSS和JS的Todo应用程序。你可以看到它正在生成代码,现在我们等待一下。
生成的页面运行得很好。这很棒,虽然不如Claude,但可用,而且Hyperbolic有免费的积分,所以你可以免费发送大量请求。
现在我们介绍第三个工具:Aider(Aider+Claude Dev+Continue这三个常常协作使用)。首先运行命令`pip install aider-chat`进行安装。
完成后,我们可以使用它了,不过还需要配置Hyperbolic。通过添加环境变量来更改OpenAI的基本URL,并添加API密钥作为另一个环境变量。一切设置好后,
使用这些参数启动Aider,它将与Hyperbolic一起运行。如果你想使用本地模型,启动时指定模型名称即可。
现在让我们要求它制作一个简单的扫雷游戏,使用HTML、CSS和JS。发送请求后,它开始工作了。稍等一下。
让我们运行一下。好,游戏运行正常,效果很好。
所有的工具在Qwen上都运行得不错,基本没有问题。虽然不如Claude那样功能全面,但这已经很好了。你可以使用它与Aider和Claude Dev生成一些非常不错的东西。而且,通过Hyperbolic访问是免费的。
总的来说,这是一个很棒的设置。你可以试试,让我知道是否对你有效。非常酷!
?希望这篇文章对你有帮助,感谢阅读!如果你喜欢这系列文章请以 点赞 / 分享 / 在看 的方式告诉我,以便我用来评估创作方向。
往期推荐
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-11-15
如何用 Multi Agent 优化你的多智能体系统?详解开发与应用!
2024-11-15
刚刚,OpenAI发布Windows版ChatGPT,高级语音能用了
2024-11-14
手把手教你开发Agent:聊聊DB-GPT Agent的架构设计、源码解读和实战开发
2024-11-14
Alibaba开源UReader:通用免OCR文档理解
2024-11-13
这家小公司的700 亿参数模型竟然比Open o1还强?
2024-11-13
通义牛逼!!比肩Chatgpt-4o 还自带 Artifact
2024-11-13
Ollama 更新!本地跑 LLama3.2,轻量级+视觉能力,能媲美GPT-4o?
2024-11-13
开源版SearchGPT来了,两张3090就可复现,超越Perplexity付费版
2024-05-06
2024-08-13
2024-07-25
2024-06-12
2024-06-16
2024-07-11
2024-07-20
2024-06-15
2024-07-25
2024-07-25
2024-11-13
2024-11-13
2024-10-07
2024-09-22
2024-09-20
2024-09-14
2024-09-14
2024-09-12