我要投稿

MedBench医疗大模型测评平台升级

发布日期：2024-07-21 10:44:31 浏览次数： 1790

近日，中文医疗大模型开放评测平台MedBench迎来全面升级，新增大模型API评测方式，对于开放性问答评估，由医学专家人工标注“给分点”，进一步确保了评测结果的专业性与公正性。

模型的能力评测不仅是技术进步的度量衡，更是推动模型迭代和优化的重要驱动力。MedBench由上海人工智能实验室与上海市数字医学创新中心联合多家机构推出。作为医疗领域的专业评测基准，MedBench已加入司南大模型开源开放评测体系（OpenCompass）。自发布以来，MedBench已为387个医疗大模型提供评测。

该成果相关论文《MedBench: A Comprehensive, Standardized, and Reliable Benchmarking System for Evaluating Chinese Medical Large Language Models》近期已刊发于全球计算机系统领域期刊《Big Data Mining and Analytics》（中科院一区期刊，近两年平均影响因子10.6）。

论文标题：MedBench: A Comprehensive, Standardized, and Reliable Benchmarking System for Evaluating Chinese Medical Large Language Models

论文链接：https://www.sciopen.com/article/10.26599/BDMA.2024.9020044

立即参与评测：https://medbench.opencompass.org.cn/home

全面升级：丰富评测方式，扩充数据集

依托专业医疗机构的专家经验和知识储备，MedBench设置了医学语言理解、医学语言生成、医学知识问答、复杂医学推理和医疗安全和伦理等5大维度评测维度，为推动医疗大模型的研发与应用实践提供指标参考。

近期，上海AI实验室联合团队对MedBench进行了全面升级，新增加模型API接入评测，并优化了开放性问答的评估指标，由医学专家人工标准评测“给分点”，进一步确保评测结果的专业性和公正性。

同时，MedBench的评测数据集、评测方法以及系统功能方面也迎来扩充及升级，提供更为丰富、真实的医疗实践场景。

动态评估：提升评测准确性

MedBench集纳了约30万道中文医疗专业测评题目，囊括医学考试、医学问答、患者服务、医学问诊、病历分析、病历生成和辅助诊断等场景数据，覆盖多个临床科室。

为了对医疗大模型的能力进行全面评估，MedBench包含5个评估维度：医学语言理解、医学语言生成、医学知识问答、复杂医学推理以及医疗安全和伦理。评测过程采用全自动化、云基础架构，有效解决标准化和答案泄露问题。通过动态评估机制，将选项循环打乱和随机提示匹配，显著提高评估的科学性和准确性。

开放共享：推动专业互认体系建设

自发布以来，MedBench即面向全球开放，与各界共同推进医疗大语言模型全面、专业、互认的评测体系建设。自发布以来，MedBench已为387个医疗大模型提供了能力指标和提升方向参考。

目前，上海交通大学医学院附属瑞金医院、上海交通大学医学院附属新华医院、四川大学华西医院、广州实验室、上海交通大学、复旦大学、华东理工大学、同济大学、香港中文大学（深圳）、上海市卫生健康统计中心、华东师范大学等机构陆续加入平台共建序列，汇聚行业经验，助力医疗智慧化转型。

基于医疗大模型评测领域的积累和实践，上海AI实验室与上海市卫生健康统计中心联合支持《第二届全国数字健康创新应用大赛》相关成果评估工作，加速人工智能与医疗的交叉研究与协同创新。

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

万字长文解析：大模型需要怎样的硬件算力

2024-03-30

全面对比dify、coze、streamlit、chainlit

2024-04-26

“大数据+”医疗

2024-04-11

太强了！10大开源大模型！

2024-05-06

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

2024-06-12

大模型训练及推理【硬件选型指南】及 GPU 通识

2024-05-09

HealthGPT：华工数字孪生人实验室发布主动健康大模型基座

2023-07-01

可灵AI的网页版上线了

2024-07-07

Ollama 本地运行大模型(LLM)完全指南

2024-07-25

大家都在问

o1 能带我们走进 AGI 吗？

2024-09-19

360视角：大模型幻觉问题及其解决方案的深度探索与实践

2024-09-18

太爽了！o1 现在可以天天享用了

2024-09-18

Claude Artifacts 数据分析的N种打开方式（附Prompt)

2024-09-18

如何微调（Fine-tuning）大语言模型？

2024-09-18

快速理解 GraphRAG：构建更可靠、更智能的 Chatbot

2024-09-18

AI软件必须用GPU么？

2024-09-18

大模型+RAG如何提高问答准确率？5家互联网大厂RAG落地实践

2024-09-18

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

万字长文解析：大模型需要怎样的硬件算力

全面对比dify、coze、streamlit、chainlit

“大数据+”医疗

太强了！10大开源大模型！

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

大模型训练及推理【硬件选型指南】及 GPU 通识

HealthGPT：华工数字孪生人实验室发布主动健康大模型基座

可灵AI的网页版上线了

Ollama 本地运行大模型(LLM)完全指南

大家都在问

o1 能带我们走进 AGI 吗？

360视角：大模型幻觉问题及其解决方案的深度探索与实践

太爽了！o1 现在可以天天享用了

Claude Artifacts 数据分析的N种打开方式（附Prompt)

如何微调（Fine-tuning）大语言模型？

快速理解 GraphRAG：构建更可靠、更智能的 Chatbot

AI软件必须用GPU么？

大模型+RAG如何提高问答准确率？5家互联网大厂RAG落地实践

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

万字长文解析：大模型需要怎样的硬件算力

全面对比dify、coze、streamlit、chainlit

“大数据+”医疗

太强了！10​大开源大模型！

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

大模型训练及推理【硬件选型指南】及 GPU 通识

HealthGPT：华工数字孪生人实验室发布主动健康大模型基座

可灵AI的网页版上线了

Ollama 本地运行大模型(LLM)完全指南

大家都在问

o1 能带我们走进 AGI 吗？

360视角：大模型幻觉问题及其解决方案的深度探索与实践

太爽了！o1 现在可以天天享用了

Claude Artifacts 数据分析的N种打开方式（附Prompt)

如何微调（Fine-tuning）大语言模型？

快速理解 GraphRAG：构建更可靠、更智能的 Chatbot

AI软件必须用GPU么？

大模型+RAG如何提高问答准确率？5家互联网大厂RAG落地实践

热门标签

太强了！10大开源大模型！