粤ICP备17114055号
微信扫码
与创始人交个朋友
支持私有云部署
我要投稿
抓取网页，将其转换为 Markdown，并增强 AI 搜索应用程序。
用于在RAG应用中将链接转成LLM友好的文本，也是http://zbyai.com 应用中的一个依赖模块。
原理：使用无头浏览器或者直接GET请求，然后用Readability优化，然后html转markdown。
若要运行此项目，需要创建 config/dev.yaml 配置文件。您可以从 config/temp.yaml 中复制模板。
然后，使用以下命令直接在本地计算机上运行项目，要求安装 Chrome：
make dev
在浏览器中打开以下 URL：
http://127.0.0.1:4090?u=https://github.com/zzzgydi/webscraper
或者你可以将它与 curl 一起使用：
curl -X POST -H "Content-Type: application/json" \ -d '{"url_list":["https://google.com"]}' http://127.0.0.1:4090/v1/scrape这将启动服务器并将日志输出到 output/log 目录。
ws://chromedp:9222 创建一个 config/prod.yaml 文件，并在运行以下命令时将 Chrome remote_url 设置为：
docker compose up
53AI，企业落地应用大模型首选服务商
产品：大模型应用平台+智能体定制开发+落地咨询服务
承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2024-08-18
当产品经理谈到用LLM Agent构建新一代智能体的时候，他们在说什么？
2024-08-15
对话AI教育从业者们：AI如何解决因材施教的难题？
2024-08-03
工业应用中的向量数据库与知识向量化存储方案
2024-07-25
两大深度学习框架TensorFlow与PyTorch对比
2024-07-17
让生成式 AI 触手可及：NVIDIA NIM on VKE 部署实践
2024-07-16
中文大模型基准测评2024上半年报告
2024-07-16
一文看懂人工智能的起源、发展、三次浪潮与未来趋势
2024-07-14
"自拍" 秒变 "证件照" 看Coze如何实现
2024-05-14
2024-04-26
2024-05-22
2024-04-12
2024-07-18
2024-03-30
2024-05-10
2024-08-13
2024-04-25
2024-04-26
回到顶部