简介

从 Chrome 126 开始， Gemini Nano 将内置到 Chrome 中。为 Chrome 的数十亿用户提供引人入胜的设备端 AI 功能。这样就可以通过任务 API 和探索性网络平台 API 来访问 Chrome 中内置的模型：

使用 chrome 本地模型的好处：

1. 本地处理敏感数据：设备端 AI 可以改进您的隐私保护故事。例如，如果您处理敏感数据，则可以通过端到端加密为用户提供 AI 功能。

2. 流畅的用户体验：在某些情况下，无需往返于服务器，意味着您可以提供近乎即时的结果。设备端 AI 可能是可行功能与次优用户体验之间的区别。

3. 对 AI 的访问权限更高：用户的设备可以承担一些处理负载，以换取对功能的更多访问权限。例如，如果您提供高级 AI 功能，则可以使用设备端 AI 来预览这些功能，以便潜在客户可以看到您产品的优势，而无需支付额外费用。这种混合方法还可以帮助您管理推断费用，尤其是针对常用用户流的推断费用。

4. 离线使用 AI ：即使没有互联网连接，您的用户也可以使用 AI 功能。这意味着您的网站和 Web 应用可以离线使用或采用可变连接方式，按预期运行。

此外还可能提供探索性 API ，例如：

• Prompt API ：将以自然语言表示的任意任务发送到内置的大型语言模型（ Chrome 中的 Gemini Nano ）。

• 微调( LoRA ) API ：通过低秩自适应微调来调整模型的权重，从而提高内置 LLM 在执行任务时的性能。

接下来让我看看如何安装和使用Chrome 内置的Gemini Nano 。

安装

首先下载最新的 Chrome Canary 版：https : //www.chromium.org/getting-involved/dev-channel/ 

然后打开新安装的Chrome应用，按照以下步骤设置：

1. 打开 chrome://flags/

2. 找到 Prompt API for Gemini Nano 设置为 Enable

3. 找到  Enables optimization guide on device 设置为 Enable BypassPerfR

4. 重启 Chrome

5. 重启计算机

6. 再次打开 Chrome并打开 chrome://components/

出现Optimization Guide On Device Model，则安装成功。

使用

打开 DevTools 并在控制台中输入以下代码：

await window.ai.canCreateTextSession();

如果返回readily，则模型是可用的：

接下来可以使用Gemini Nano了，输入提示词试试：

const session = await window.ai.createTextSession();const stream = session.promptStreaming("你使用的什么模型？")for await (const chunk of stream) {console.log(chunk)}

为了支持 Chrome 中的内置 AI，Google 还打造了获取在设备端执行的基础模型和专家模型的基础架构。此基础架构已在支持创新的浏览器功能（例如帮我写），并且很快就会支持用于设备端 AI 的 API，敬请期待～