微信扫码
与创始人交个朋友
我要投稿
基座模型
①项目:Index-1.9B
★bilibili开源轻量级模型Index-1.9B,具有19亿参数,在2.8T中英文为主的语料上预训练,该系列模型在多个评测基准上与同级别模型相媲美。Index-1.9B系列包括基座模型、对照组模型、对话模型和角色扮演模型等。其中角色扮演在SFT和DPO的基础上引入了RAG来实现fewshots角色扮演定制。
②项目:table-transformer-detection
★微软开源基于Transformers的对象检测模型,专门针对文档中的表格提取进行了微调。该模型在PubTables1M数据集上进行了训练,旨在从非结构化文档中全面提取表格信息。模型采用了DETR(Detection Transformer)的架构,并且在自注意力和交叉注意力之前应用了layernorm,以提高模型性能。
③项目:Samba
★微软开源混合模型Samba,具有无限的上下文长度。它的架构非常简单:Samba = Mamba + MLP + 滑动窗口注意力 + MLP层级堆叠。最大的模型Samba-3.8B在Phi3数据集上训练了3.2万亿个token,大幅超越Phi3-mini在主要基准测试(如MMLU, GSM8K和HumanEval)上的表现。Samba还能够通过最小的指令调整实现完美的长上下文检索能力,同时保持其对序列长度的线性复杂度。这种能力使得Samba-3.8B-instruct在下游任务如长上下文摘要上表现出色。
必备工具
①项目:Open WebUI
★Open WebUI是一个支持LLM部署的可扩展、功能丰富、用户友好的自托管WebUI,旨在完全离线操作。它支持多种LLM,包括Ollama和兼容OpenAI的API。Open WebUI提供了简单的Docker或Kubernetes安装方式,支持ollama和cuda标记的镜像,并且可以无缝集成OpenAI兼容的API。
②项目:DiffusionKit
★DiffusionKit是一个支持在苹果硅片设备上进行扩散模型推理的工具包。它包含了一个Python包用于将PyTorch模型转换为Core ML格式,并使用MLX在Python中进行图像生成。同时,还有一个Swift包用于在设备上使用Core ML和MLX进行扩散模型的推理。
robotic开发
①项目:HumanPlus
★斯坦福大学AILab开源HumanPlus项目,致力于开发能够模仿人类动作的仿人机器人,例如仿拳击、弹钢琴、乒乓球、投掷和打字等动作。项目包含了Humanoid Shadowing Transformer (HST) 和 Humanoid Imitation Transformer (HIT) 的实现,并提供了全身姿态估计和相关硬件代码库的指导。HST基于legged_gym和rsl_rl进行模拟中的强化学习,而HIT则基于ACT和Mobile ALOHA仓库进行现实世界中的模仿学习。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-09-19
一文彻底搞懂大模型 - Dify(Agent + RAG)
2024-09-19
Qwen2.5横空出世:从3B到72B,全面碾压同级对手
2024-09-19
突发!GPT-4o 级语音 Moshi 开源!
2024-09-19
Qwen2.5 全链路模型体验、下载、推理、微调、部署实战!
2024-09-19
通义千问Qwen2.5开源,媲美Llama3.1-405B
2024-09-19
Qwen 2.5 开源,API 打一折
2024-09-18
OpenAI o1的开源平替版self-replay RL来了!
2024-09-18
Y Combinator 投资的开源 Cursor 替代品来了!
2024-08-13
2024-05-06
2024-06-12
2023-07-01
2024-07-25
2024-07-08
2024-07-11
2024-07-18
2024-07-25
2024-06-16