OpenAI 的新系统在最近的评估中取得了出色的成绩,夺得了聊天机器人排名的第一名。但是,由于评分数量较低,这可能会扭曲评估结果。
根据发布的概述,这些新系统在所有评估类别中都表现出色,包括整体性能、安全性和技术能力。其中一款专门用于STEM任务的系统与9月初发布的GPT-4o版本一起短暂排名第二,并在技术领域占据领先地位。
Chatbot Arena是一个用于比较不同系统的平台,使用超过6,000个社区评分对新系统进行了评估。结果表明,这些新系统在数学任务、复杂提示和编程方面表现优异。
然而,这些新系统获得的评分远低于其他成熟系统,如GPT-4o或Anthropic的Claude3.5,每个系统的评论数均不到3,000条。如此小的样本量可能会扭曲评估并限制结果的重要性。
OpenAI 的新系统在数学和编码方面表现出色,这是其设计的主要目标。通过在回答之前“思考”更长时间,这些系统旨在为AI推理树立新标准。然而,这些系统并非在所有领域都胜过其他系统。许多任务不需要复杂的逻辑推理,有时其他系统的快速响应就足够了。
Lmsys关于数学模型强度的图表清楚地显示,这些新系统的得分超过1360,远高于其他系统的性能。
声明:本站资源来自会员发布以及互联网公开收集,不代表本站立场,仅限学习交流使用,请遵循相关法律法规,请在下载后24小时内删除。 如有侵权争议、不妥之处请联系本站删除处理! 请用户仔细辨认内容的真实性,避免上当受骗!