微信扫码
与创始人交个朋友
我要投稿
编程竞赛知识库
大模型遇见李白
大模型的竞争方向是小模型
OI Wiki
是一个免费开放且持续更新的编程竞赛知识整合站点,大家可以在这里获取与竞赛相关的、有趣又实用的知识。
网站包含竞赛中的基础知识、常见题型、解题思路以及常用工具等内容,可以快速深入地学习编程竞赛中涉及到的知识。内容涵盖:比赛相关、工具软件、语言基础、算法基础、搜索、动态规划、字符串、数学、数据结构、图论、计算几何
语言包括:C++、Python、Java
等
算法包括:复杂度、枚举、模拟、递归 & 分治、贪心、排序、前缀和 & 差分、二分、倍增、构造
数学包括:基础概念、代数、数论、博弈论、概率论、线性代数等
网址:https://oi-wiki.org
这个网站是开源的:Github:https://github.com/OI-wiki/OI-wiki
大家感兴趣也可以本地部署
git clone https://github.com/OI-wiki/OI-wiki.git --depth=1
cd OI-wiki
# 安装 mkdocs
pipenv install --pypi-mirror https://pypi.tuna.tsinghua.edu.cn/simple/
# 使用我们的自定义主题(Windows 下请使用 Git Bash 执行)
# 安装主题时将连接网络下载资源,可通过以下配置项控制下载链接
# .gitmodules:
# - url
# scripts/pre-build/install-theme-vendor.sh:
# - MATHJAX_URL
# - MATERIAL_ICONS_URL
./scripts/pre-build/install-theme.sh
# 两种方法(选其一即可):
# 1. 运行一个本地服务器,访问 http://127.0.0.1:8000 可以查看效果
pipenv run mkdocs serve -v
# 2. 在 site 文件夹下得到静态页面
pipenv run mkdocs build -v
# 获取 mkdocs 的命令行工具的说明(解释了命令和参数的含义)
pipenv run mkdocs --help
Github:https://github.com/BinNong/meet-libai
这个项目旨在通过构建李白知识图谱,结合大模型训练出专业的 AI 智能体,以生成式对话应用的形式,推动李白文化的普及与推广。
重要亮点
我个人对这个项目的技术栈特别感兴趣,可以从中学习特别多东西:
最后插播一个消息和论断
OpenAI
发布 GPT-4o mini
之后 Mistral
也发布了自己的 12B 小模型 Mistral NeMo
。
模型有 128K 上下文长度,推理、世界知识和编码准确性都是最好的。
Mistral NeMo
经过了先进的微调和对齐,它在遵循精确指令、推理、处理多轮对话和生成代码方面要好得多。
模型地址:https://huggingface.co/mistralai/Mistral-Nemo-Base-2407
关于小模型,OpenAI
创始成员、特斯拉前AI负责人 Andrej Karpathy
有一个论断:LLM 模型的规模竞争正在加剧,但方向却是反向的!
我认为,我们将会见到一些非常小但思维非常出色且可靠的模型。甚至可以对 GPT-2 参数进行某种设置,使得大多数人会认为 GPT-2 很“聪明”。当前模型之所以如此庞大,是因为我们在训练过程中非常浪费——我们要求它们记住整个互联网的内容,令人惊讶的是,它们确实可以做到,比如背诵常见数字的 SHA 哈希值,或者记住非常生僻的事实。(实际上,LLM 在记忆方面非常出色,质上比人类好很多,有时只需要一次更新就能记住很多细节并保持很长时间)。试想一下,如果在闭卷考试中,根据互联网任意段落的前几句话要求你背诵整个段落。这就是当前模型的标准(预)训练目标。要做得更好很难,因为思维的展示在训练数据中与知识“纠缠”在一起。
因此,模型必须先变得更大,然后才能变小,因为我们需要它们(自动化地)帮助重构和塑造训练数据,使其成为理想的合成格式。
这是一个改进的阶梯——一个模型帮助生成下一个模型的训练数据,直到我们得到“完美的训练集”。当你用它来训练 GPT-2 时,它将会成为一个非常强大/聪明的模型,按照今天的标准。也许 MMLU 会低一些,因为它不会完美记住所有的化学知识。也许它偶尔需要查找一些信息以确保正确。
这种情况与特斯拉的自动驾驶网络非常相似。什么是“离线追踪器”(在 AI 日上展示的)?它是一种合成数据生成过程,通过利用之前较弱的模型(例如单帧模型或仅限于边界框的模型),在离线状态下进行 3D 加时间的重建过程,从而大规模生成更干净的训练数据,这些数据直接用于 3D 多摄像机视频网络。同样的过程也会在大语言模型(LLMs)中出现
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-11-25
【开源】基于AI的数据建设平台
2024-11-23
人生搜索引擎免费用,开源版哈利波特“冥想盆”登GitHub热榜,支持中文
2024-11-23
o1圈杀疯了,阿里又开源Marco-o1
2024-11-22
Kotaemon:开源基于文档检索的聊天系统(RAG Chat)
2024-11-22
不可思议!AirLLM 如何让 70B 大模型在 4GB GPU 上顺利推理?
2024-11-22
刚刚,OpenAI公开o1模型测试方法,人机协作时代!
2024-11-21
22.4K+ Star!Chatbox:你的终极AI桌面助手
2024-11-21
Magentic-One:微软开源多智能体系统,让 AI 自己动手解决问题
2024-05-06
2024-07-25
2024-08-13
2024-06-12
2024-07-11
2024-06-16
2024-07-20
2024-06-15
2024-07-25
2024-07-25
2024-11-22
2024-11-19
2024-11-13
2024-11-13
2024-10-07
2024-09-22
2024-09-20
2024-09-14