商汤大模型多个评测表现超ChatGPT
2023-06-23 14:50:28 来源: 文汇报
(资料图片仅供参考)
本报讯 (记者沈湫莎)商汤科技近日公布了自研中文语言大模型“商量SenseChat 2.0”在MMLU、AGIEval、C-Eval三个权威大语言模型评测基准的成绩。评测显示,“商量”在这三个测试集中的表现均领先ChatGPT,实现了我国语言大模型研究的突破。全球三大权威语言模型测评基准分别为由美国加州大学伯克利分校等高校构建的多任务考试评测集MMLU、由微软研究院推出的学科考试评测集AGIEval(含中国高考、司法考试及美国SAT、LSAT、GRE和GMAT等),以及由上海交通大学、清华大学和英国爱丁堡大学合作构建的面向中文语言模型的综合性考试评测集C-Eval。截至6月,全球范围内正式发布的大语言模型已超过40款,其中由中国厂商、高校、科研院所等发布的大语言模型近20款。在MMLU测评中,“商量2.0”综合得分为68.6,超ChatGPT(67.3分),仅落后于GPT-4(86.4分)位居第二;在AGIEval测评中,“商量2.0”得分49.9分,超ChatGPT(42.9分),仅次于GPT-4的56.4分。在C-Eval测评中,“商量2.0”得分66.1分,在参评的18个大模型中,仅次于GPT-4(68.7分)。4月,商汤发布“日日新”大模型体系以及中文语言大模型“商量”。目前,“商量”已在众多行业和场景中落地应用,已有近千家企业客户通过申请,应用和体验“商量2.0”的长文本理解、逻辑推理、多轮对话、情感分析、内容创作、代码生成等综合能力。在服务客户过程中,“商量2.0”持续迭代和提升,并实现知识的实时更新。
(原标题:商汤大模型“商量”多个评测表现超ChatGPT)
标签:
[责任编辑:]
猜你喜欢
- (2023-06-23)使用lttng的TRACEPOINT CLASS
- (2023-06-23)固定收益专题报告:价格维度下如何挖掘地产债 焦点简讯
- (2023-06-23)长江存储亲儿子!致态TiPlus7100 1TB固态全年新低389元
- (2023-06-23)天天时讯:旋极信息最新公告:终止向特定对象发行A股股票事项
- (2023-06-23)全球新动态:蒙古包蚊帐和方形蚊帐哪个好_2021蒙古包蚊帐十大品牌排行榜蒙古包蚊帐哪个牌子好
- (2023-06-23)俄罗斯称美正扩充驻叙兵力 想进一步破坏叙稳定?-微速讯
- (2023-06-23)马斯克隔空约架扎克伯格到八角笼中格斗,UFC对举办这场比赛“垂涎欲滴”|世界时讯