微信扫码
与创始人交个朋友
* 戳上方蓝字“开源先锋”关注我
推荐阅读:
《16.5K star!一个开源自托管项目,可以搭建私有云赚钱咯~》
大家好,我是开源君!
在这个信息爆炸的时代,大型语言模型(LLM)正在成为我们获取、处理和理解信息的重要工具。然而,直接将网页内容输入到LLM中存在诸多挑战,如网页结构复杂、加载缓慢等问题。
今天开源君给大家介绍一个非常酷的开源项目 - Reader
,可以极大改善大型语言模型(LLM)的输入质量。
Reader
是一个 Jina AI 开发的专为LLM设计的创新工具,它可以将网页信息转换为LLM友好的格式,如Markdown。通过去除网页中的冗余HTML标签和代码,Reader保留了核心文本内容,使得LLM能够更容易地解析和理解网页信息。
主要功能有两个:读取和搜索。
此外,Reader还支持流模式,能够处理加载缓慢的网页,并逐步获取内容。
目前在Github上面收获了4.6K star!
本地开发的话,需要先安装 Node v18 和 Firebase CLI,然后依次执行命令
git clone git@github.com:jina-ai/reader.git
cd backend/functions
npm install
最简单的使用方法是,直接访问 Jina AI 提供的在线演示页面:https://jina.ai/reader#demo
,可以立即体验 Reader 的功能而无需进行任何安装。
通过转换之后,AI回答和识别的速度,准度都大大提高。
也可以直接使用添加前缀的方法快速使用。
比如,使用读取模式,在浏览器地址栏中输入 https://r.jina.ai/
,后面跟上想要转换的网页 URL。例如,要转换 Wikipedia 上关于人工智能的页面,可以访问:https://r.jina.ai/https://en.wikipedia.org/wiki/Artificial_intelligence
这样可以让 LLM 更好的提取信息
使用搜索模式,在浏览器地址栏中输入 https://s.jina.ai/
,后面跟上搜索查询。例如,搜索 "2024 US presidential election",可以访问:https://s.jina.ai/Who%20will%20win%202024%20US%20presidential%20election%3F
使用 Reader API
基本用法
高级用法
如果想体验 Reader 的流式模式,可以在命令行中使用 curl 命令。
curl -H "Accept: text/event-stream" https://r.jina.ai/https://en.m.wikipedia.org/wiki/Main_Page
JSON 模式体验,使用 curl 命令设置 Accept 头为 application/json:
curl -H "Accept: application/json" https://r.jina.ai/https://en.m.wikipedia.org/wiki/Main_Page
小结一下,Reader
是 Jina AI 开发的一个功能强大且易于使用的工具,它通过简化网页内容的获取和转换过程,极大地提升了 LLM 应用的效率和准确性。
更多细节功能,感兴趣的可以到项目地址查看:
项目地址:
https://github.com/jina-ai/reader
53AI,大模型落地应用首选服务商
定位:开箱即用的大模型落地应用平台
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
如果你看见AI对商业世界的变革,欢迎来和我们一起探索~
2024-04-24
2024-05-14
2024-04-24
2024-04-23
2024-04-11
2024-04-26
2024-03-22
2024-03-29
2024-04-12
2024-04-25
2024-07-03
2024-07-02
2024-07-02
2024-07-01
2024-07-01
2024-07-01
2024-06-30
2024-06-30