微信扫码
与创始人交个朋友
我要投稿
最近,GPT-4o-mini发布了。他们说它在学术基准测试上超越了GPT-3.5 Turbo和其他小模型,无论是文本智能还是多模态推理。
最重要的是,它表现出色,比Gemini 1.5 Flash更好,
而且价格更便宜。我是说,每1M输入tokens只需15美分,每1M输出tokens只需60美分,非常便宜。它在定价上甚至击败了Llama 3,同时在基准测试中表现出色。
没错,我也在今天把公众号AI社群的幼笙换成了GPT-4o-Mini(过往我使用的是Gpt4-o-ca)。
▲ 我使用了一个中转的接口(后文提到),价格更加便宜
好了,回到本文:
你可以看到,它在性能上远远超过了曾经最便宜和最好的Gemini Flash模型,但现在GPT-4O-Mini相当不错,而且比Gemini Flash还便宜。
这种定价使得它在多个需要成本效益和保持良好质量的应用中非常出色。
所以,像我通常对每个模型所做的那样,我将用它创建一个Co-pilot,看看它在co-pilot场景中的表现如何。
而且,这将比原始GitHub co-pilot更出色,而后者的月费为10美元,如果你有效使用它的话,成本会比10美元一个月更便宜。
我这么说是因为GitHub co-pilot仍然使用基于GPT-3模型的Codex模型,不应该再以每月10美元出售了。
话不多说,接下来,我会告诉你如何用GPT-4O-Mini创建一个VS Code co-pilot。
也会告诉你如何用它创建一个shell co-pilot(两个独立开源项目),就像GitHub co-pilot的shell建议功能提供的那样。
创建VS Code co-pilot
首先,创建一个VS Code co-pilot,我们将使用continue Dev,因为它最容易安装并且可以轻松开始。我经常使用它。
现在让我们开始。首先,你需要从OpenAI获取API密钥,
没有?没关系,看这里:
在我们需要安装Continue Dev扩展(它分为大模型和小模型,聊天可以使用gpt4o-mini,代码补全可以使用ollama,在后文我会讲道),
先配置聊天模型:
为此,进入VS Code并在扩展标签中搜索continue Dev,找到它后安装。
安装完成后,你会在侧栏看到该扩展,点击扩展,你会看到这个屏幕。现在在底部你会看到模型的下拉菜单,点击旁边的添加按钮,选择OpenAI选项,
在这里输入API密钥,
点击设置选项,这将打开配置文件。现在在这里,将模型名称更改为GPT-4O-Mini,
完成后保存。现在你的聊天界面应该开始使用gp4o-Mini模型工作。你可以轻松地在编辑器中生成代码,使用命令和快捷键,或者你也可以直接在聊天界面中生成代码,
并使用插入光标选项将其直接放入任何文件中。
上面修改的是聊天模型,我们还可以修改它的配置文件,将代码补全功能修改为较小的本地模型。
为此,我们需要先安装ollama,所以去ollama的网站,点击下载按钮,选择你的操作系统并安装它
安装完成后,去模型页面,现在我们需要选择一个模型,我推荐使用Quin 2 1.5b模型进行自动完成任务,因为它非常小,
能够轻松完成自动完成任务。所以,去Qwen 2页面,选择1.5b模型,复制安装命令,粘贴到终端,
模型就会安装。安装完成后,发送消息并检查是否工作。然后去配置文件,将提供商更改为Al,将模型名称更改为Qwen 2 1.5b,
完成后保存。现在你的自动完成也应该开始工作了。
我推荐这种方式,因为自动完成可以在本地进行,无需互联网连接且无需任何费用,而聊天和代码生成可以使用GPT-4O-Mini,这也会比GitHub co-pilot便宜很多。
创建Shell-Copilot
现在我们创建第二个——Shell-Copilot:
Shell GPT:https://github.com/TheR1D/shell_gpt,它非常酷,支持所有类型的LLM提供商。
为此运行pip install shell GPT命令。
这会在你的计算机上安装shell GPT。安装完成后,运行sgpt命令,它会要求你输入刚刚获得的OpenAI API密钥。
输入API密钥后,它就会开始工作。不过,我们需要将模型更改为GPT-4O-Mini。为此,只需打开sgpt配置文件,该文件位于此路径。
打开它后,将默认模型更改为gp4o-mini,
完成后保存。现在,你可以开始使用sgpt命令了。如果你只需要文本响应,可以直接使用它而无需任何操作符,直接给出你的提示;
如果你需要shell建议,可以与shell操作符一起运行,它会为你的提示提供shell建议,非常酷。
因为这个新Mini模型更便宜,只会按使用量收费,所以你可以很好地跟踪成本,并且你也得到了比基于GPT-3模型的GitHub co-pilot更优越的模型。
总得来说,这真的很棒,我认为如果你在寻求降低成本的同时保持相同的质量,那么gp4 om mini co-pilot将会非常出色。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-05-28
2024-04-26
2024-04-11
2024-08-21
2024-07-09
2024-07-18
2024-08-13
2024-10-25
2024-07-01
2024-06-17