OpenAI chatgpt o1来了,值得关注的三个显著变化!

chatGPT网址2024-10-0820

chatgpt 欢迎访问chatgpt中文教程网,学习chatgpt相关知识,以下是正文内容:

在过去的9月,OpenAI推出o1大模型,再次引领大模型创新。在处理物理、化学和生物问题时,o1的表现已经和该领域的博士生水平不相上下。在国际数学奥林匹克的资格考试,o1的正确率为83%,成功进入了美国前500名学生的行列。与之前大模型相比,该模型有三个显著提升。

显著提升了大模型的逻辑推理能力

语言理解与表达、世界知识存储与查询、逻辑推理能力被视为大模型的三大基础能力。语言理解与表达是大模型最成熟的能力,这得益于有海量的文本数据。而逻辑推理能力却很弱。o1 通过3个技术方法提升其在科学、数学和编程等任务中的逻辑推理能力,即强化学习、思维链、在推理阶段分配更多计算资源(test-time compute或者inference-time compute)。

极大提升Prompt的自动化

对于o1而言,用户无需再费心构建繁复的Prompt,这意味着OpenAI o1的输入不再需要人为引导它使用思维链,只需向模型提出问题,o1便能自动生成对应的COT路径,寻找到正确的答案。OpenAI也建议在使用OpenAI o1时保持提示的简单和直接,并避免使用思维链提示。针对o1的prompt,OpenAI 给出了四点建议,首先是问题要简单直接,这个就颠覆了我们当前的提示工程。 

寻找到解决大模型Scaling Law放缓问题的办法

OpenAI在2020年发现的大语言模型Scaling Law(尺度定律),它说的是,大语言模型的性能L(交叉熵损失)会随着模型参数量N、训练集大小D、训练时的计算量C的增加而增加。具体而言,当不考虑其他两个因素制约时,L与每个因素呈现幂律关系。

但单纯依靠扩大数据规模难以显著提升模型的逻辑推理能力,这是因为重复知识比例上升导致模型接触新知识的机会减少,以及由于自然数据中蕴含逻辑推理信息的部分(如代码、数学题、科学论文等)占比极低等原因。它发现增加推理时间(inference-time compute)可以使得模型获得更强的性能,而增加的计算主要用于将COT拆分得更细,扩大搜索空间,从而使得找到优质COT路径的可能性增高。

本文链接:https://gptwangzhi.top/chatgpt/523.html

chatgpt4.0股票有哪些chatgpt下载chatgpt4.0充值续费GPT商店GPTs商店GPTs官网chatGPT商店GPT BuilderGPT Builder创建ChatGPT插件

相关文章

网友评论