AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


速度太慢,跑个分试试:AI语言模型和API性能对比;开源的高质量PDF,DOC提取工具;斯坦福TTT代码实现
发布日期:2024-07-18 12:10:30 浏览次数: 1858



✨ 1: Artificial Analysis

AI语言模型和API提供商的比较分析,帮助用户选择最佳方案。

Artificial Analysis 是一个专门独立分析AI语言模型和API提供商的平台,旨在帮助用户了解AI领域并选择最适合其需求的模型和API提供商。以下是该平台的主要内容和功能:

模型与API提供商分析:比较不同的AI模型与API提供商,涵盖质量、速度和价格等指标
质量和速度分析:质量指数(越高越好)、输出速度(每秒生成的Token数量,越高越好)和价格(每百万Token的价格,越低越好)是主要的考核指标。
API提供商的具体分析:针对特定模型(如Llama 3 Instruct 70B)的输出速度与价格进行详细分析。
参与调查和报告:用户可以参与AI构建者调查,并收到结果报告,这有助于更好地了解市场趋势和最佳实践。

地址:https://artificialanalysis.ai/

✨ 2: llm-pricing

抱抱脸LLM价格对比

抱抱脸各种LLM价格对比,方便开发者进行选择。

地址:https://huggingface.co/spaces/philschmid/llm-pricing

✨ 3: MinerU

MinerU 是一个开源的高质量数据提取工具,支持多种文件格式。

MinerU 是一个一站式、开源的高质量数据提取工具,主要包括以下两个核心功能模块:

Magic-PDF

  • 功能介绍:Magic-PDF 能将 PDF 文档转换为 Markdown 格式,可以处理本地存储或支持 S3 协议的对象存储中的文件。

  • 主要特色

    • 支持多种前端模型输入

    • 自动去除页眉、页脚、脚注和页码

    • 保留文档原有的结构和格式,包括标题、段落、列表等

    • 提取并显示图片和表格

    • 将公式转换为 LaTeX 格式

    • 自动检测和转换乱码 PDF 文档

    • 兼容 CPU 和 GPU 环境

    • 可在 Windows、Linux 和 macOS 平台上使用

Magic-Doc

  • 功能介绍:Magic-Doc 能将网页或多格式电子书转换为 Markdown 格式。

  • 主要特色

    • 网页提取:跨模态精确解析文本、图片、表格和公式信息

    • 电子书文档提取:支持包括 epub、mobi 在内的多种文档格式,完美适配文本和图片

    • 语言类型识别:精确识别176种语言

MinerU 提供了强大的 PDF 和网页数据提取功能,能够显著提升文档处理效率,适用于多种数据提取和知识管理场景。

地址:https://github.com/opendatalab/MinerU

✨ 4: ai-renamer

AI重命名助手

Node.js CLI 工具,它使用 Ollama 模型(Llama、Gemma、Phi 等)智能地重命名指定目录中的文件。

地址:https://github.com/ozgrozer/ai-renamer

✨ 5: ttt-lm-pytorch

ttt-lm-pytorch 是一种带有表达性隐藏状态的RNN序列模型,用于测试时训练。

ttt-lm-pytorch 是一个基于 PyTorch 的模型实现,来源于论文 《Learning to (Learn at Test Time): RNNs with Expressive Hidden States》。该模型提出了一种新的序列建模层,称为测试时间训练层Test-Time Training (TTT) layers),旨在解决自注意力机制在处理长上下文时导致的计算复杂度问题。

  1. 长上下文与复杂性:自注意力(Self-attention)在处理长上下文时效果显著,但其复杂度为二次方。

  2. 隐藏状态的表达能力:现有的RNN层复杂度为线性,但其在长上下文中的性能受到隐藏状态表达能力的限制。

  3. TTT 层:该模型创新性地将隐藏状态设计为一个机器学习模型,更新规则为一个自监督学习步骤,即在测试时对隐藏状态进行训练。

地址:https://github.com/test-time-training/ttt-lm-pytorch

这就是本期的内容,记得标星⭐️点赞,关注我不迷路哦~




53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询