AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


PromptMM-基于LLM的在线购物推荐系统;HiGPT-学习异构图谱的新方法;Meta计划于7月推出Llama 3模型
发布日期:2024-04-11 07:30:08 浏览次数: 1938 来源:漫话开发者


1. HiGPT:学习异构图谱的新方法

HiGPT 是一种学习跨异构图谱的方法,不需要微调。它与新颖的图谱分词器和大量的图谱指令相结合,使其在适应各种数据分布方面表现出色。

划重点
  • HiGPT是学习跨异构图谱的一种新方法
  • 不需要进行微调
  • HiGPT结合了新颖的图谱分词器和大量的图谱指令

标签:HiGPT, 异构图谱, 数据分布

原文链接见文末/1[1]


2. Meta计划于7月推出Llama 3模型

据报道,Meta的Llama团队仍在努力对齐,以使该模型放松并回答更多实际上并不具有争议性的查询。

划重点
  • Meta计划于7月推出Llama 3模型
  • Llama 3模型仍在进行对齐工作,以解决回答问题时的问题
  • 该模型可以回答更多实际上并不具有争议性的查询

标签:Meta, Llama 3模型, 人工智能

原文链接见文末/2[2]


3. 论文:视频框架成为现实决策的新语言

一篇令人惊叹的论文将视频框架作为人工智能与人类用户交互的一种潜在更好的方法。它展示了视频模型可以用作规划器、代理、计算引擎和环境模拟器。以视频为基础的人工智能可以模拟现实世界,更好地支持人类决策。

划重点
  • 视频成为现实决策的新语言
  • 以视频为基础的人工智能可以模拟现实世界
  • 更好地支持人类决策

标签:人工智能, 视频技术, 决策支持

原文链接见文末/3[3]


4. LLMs使用Dual Chunk Attention处理10万个令牌

Dual Chunk Attention(DCA)扩展了大型语言模型(如Llama2 70B)的能力,使它们能够处理超过100k个令牌而无需额外的训练。它将注意力计算分解成块,增强了模型对短期和长期上下文的理解。

划重点
  • Dual Chunk Attention是一种新的注意力计算方法,可以帮助大型语言模型处理更多的令牌。
  • 这种方法可以分解注意力计算,从而提高模型对上下文的理解。
  • 使用Dual Chunk Attention的Llama2 70B可以处理超过100k个令牌,而无需额外的训练。

标签:Dual Chunk Attention, 大型语言模型, 自然语言处理

原文链接见文末/4[4]


5. Distilabel-框架用于对齐数据收集

Distilabel是为AI工程师设计的框架,使用人类反馈的强化学习方法(例如奖励模型和DPO)对大型语言模型进行对齐。 它主要专注于LLM微调和适应性。 Distilabel可协助数据收集,清洗和训练。

划重点
  • Distilabel是为AI工程师设计的框架
  • 使用强化学习方法对大型语言模型进行对齐
  • 主要专注于LLM微调和适应性

标签:Distilabel, AI工程师, 强化学习

原文链接见文末/5[5]


6. GDPO:基于图扩散策略优化的药物设计

基于图扩散策略优化的药物设计增强了使用独特的强化学习技术的图生成模型,该方法承诺在创建复杂和多样化的图结构方面具有更好的性能,并可能在该领域树立新的标准。

划重点
  • 基于图扩散策略优化的药物设计使用独特的强化学习技术
  • 该方法承诺在创建复杂和多样化的图结构方面具有更好的性能
  • 这可能在该领域树立新的标准

标签:药物设计, 强化学习, 图扩散策略优化

原文链接见文末/6[6]


7. 论文:PromptMM使用LLM知识蒸馏的在线购物推荐系统

PromptMM是一种使用多模态知识蒸馏的在线购物推荐系统,可以改善像亚马逊和TikTok这样的平台上的推荐系统。它通过从各种内容类型(视觉、文本或声音)中蒸馏出重要特征,来解决用户偏好的不准确性,并简化系统,以防止过度拟合。

划重点
  • PromptMM使用多模态知识蒸馏来改善在线购物平台的推荐系统
  • 它可以解决用户偏好的不准确性,并简化推荐系统
  • 通过从各种内容类型中蒸馏出重要特征,可以防止过度拟合

标签:PromptMM, 多模态知识蒸馏, 推荐系统

原文链接见文末/7[7]


8. CharacterAI推出适用于机器学习编码的后缀

Character AI公司的一种编码风格极大地提高了张量中形状的可读性。这种风格使用形状后缀来标识张量中的形状,例如“weights_2x3”表示形状为2x3的权重张量。这种命名约定使得代码更加易读和易于理解,特别是对于机器学习项目而言。该公司表示,这种编码风格已在其内部项目中得到广泛应用,并且计划在未来将其推广给全球的机器学习社区。值得注意的是,这种编码风格并不会影响代码的性能。

划重点
  • Character AI推出了适用于机器学习编码的形状后缀
  • 使用后缀标识张量中的形状,例如“weights_2x3”表示形状为2x3的权重张量
  • 这种命名约定使得机器学习代码更容易读懂和理解

标签:Character AI, 机器学习, 编码风格




53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询