当前位置:首页 > 外汇资讯 > 正文内容

让GPT-4帮人类训练GPT-4!OpenAI推出新模型CriticGPT

激石外汇2024-06-28 12:02:18外汇资讯75

激石Pepperstone(https://www.paraat.net/)报道:

以ChatGPT掀起这轮AI应用热潮的OpenAI正在用行动证明,在基于人类反馈的强化学习(RLHF)领域,它也是先行者。

美东时间6月27日周四,OpenAI公布,其研究人员训练了一个基于 GPT-4 的模型,它被称为 CriticGPT,用于捕捉ChatGPT 代码输出中的错误。简单来说就是,CriticGPT让人能用 GPT-4 查找 GPT-4 的错误。它可以写出使用者对ChatGPT响应结果的批评评论,从而帮助人类训练者在RLHF期间发现错误。

OpenAI发现,如果通过CriticGPT获得帮助审查 ChatGPT编写的代码,人类训练师的审查效果比没有获得帮助的人强60%。OpenAI称,正着手将类似 CriticGPT 的模型集成到旗下 RLHF 标记管道中,为自己的训练师提供明确的AI帮助。

OpenAI称,因为没有更好的工具,所以人们目前难以评估高级的AI系统的表现。而CriticGPT意味着,OpenAI向能够评估高级AI系统输出的目标迈进了一步。,

OpenAI举了一个例子,如下图所示,对ChatGPT提出一个用 Python 编写指定函数的任务,对于ChatGPT根据要求提供的代码,CriticGPT点评了其中一条指令,提议换成效果更好的。

OpenAI称,CriticGPT 的建议并不是全都正确无误,但OpenAI的人员发现,相比没有这种AI的帮助,有了它,训练师可以发现更多模型编写答案的问题。

此外,当人们使用CriticGPT 时,这种AI模型会增强他们的技能,从而得出的批评结论比单单人类训练师做的更全面,并且比AI模型单独工作时产生的幻觉错误更少。

在OpenAI的实验中,在60%以上的时间里,随机选择的训练师都更喜欢来自人类与CriticGPT 合作的批评结论,而不是来自没有CriticGPT协助的人类训练师批评。

OpenAI同时提到了目前开发CriticGPT的四点局限。其中之一是,OpenAI用 ChatGPT 的简短答案训练CriticGPT,因此未来需要发掘能帮助训练师理解冗长且复杂任务的方法。

第二点是,模型仍然会产生幻觉,有时训练师在看到这些幻觉后会犯下标记错误。第三点是,有时现实世界中的错误可能分散在答案的许多部分之中,OpenAI目前的工作重点是让模型指出一处的错误,未来还需要解决分散在不同位置的错误。

第四点,OpenAI指出,CriticGPT 只能提供有限的帮助:如果ChatGPT面对的任务或响应极其复杂,即使是有模型帮助的专家也可能无法正确评估。

最后,OpenAI表示,为了协调日益复杂的 AI 系统,人们需要更好的工具。在对 CriticGPT 的研究中,OpenAI发现,将 RLHF 应用于 GPT-4 有望帮助人类为 GPT-4 生成更好的 RLHF 数据。OpenAI计划,进一步扩大这项工作,并将其付诸实践。

OpenAI在原名推特的社交媒体X上公布了新模型CriticGPT后,一条点赞超1万的网友评论称,自我改进已经开始了。

另一条点赞上万的热截取了OpenAI的相关研究文章结论,其中提到,在智能方面,大语言模型(LLM)和LLM的批评都只会继续改进,而人类的智能不会,这条评论感叹,真是悲观。

还有网友引用了漫威超级英雄电影《复仇者联盟》中灭霸的一句台词,点评OpenAI所说的用GPT-4找GPT-4的错误:“我用宝石摧毁了宝石。”  

扫描二维码推送至手机访问。

版权声明:本文由激石Pepperstone发布,如需转载请注明出处。

本文链接:https://www.paraat.net/news/3243.html

分享给朋友:

“让GPT-4帮人类训练GPT-4!OpenAI推出新模型CriticGPT” 的相关文章

进击的抖音,退守的淘宝

激石Pepperstone(https://www.paraat.net/)报道:今年的618大促已经告一段落。 星图数据显示,全网618电商交易额为6959亿元,可比口径下同比增长约为13.5%(综合电商+直播电商-估算重叠部分)。但综合电商平台阿里、京东和拼多多等的交易额为5826亿元,同比增...

推特收购案再前进一步!推特同意为马斯克提供更多实时数据,推特股价上涨

推特收购案再前进一步!推特同意为马斯克提供更多实时数据,推特股价上涨

激石Pepperstone(https://www.paraat.net/)报道:马斯克的律师上周五向推特董事会发送了一封信,称推特提供的历史数据还不够。 6月24日周五美股盘前,据媒体报道称,推特同意本周向马斯克提供更多数据,这一次包括实时API数据。内部人士认为,新数据表明马斯克可能会尽快重新协...

“多看一眼房子就没了”,新加坡房租暴涨!

激石Pepperstone(https://www.paraat.net/)报道:近期,新加坡租房市场十分火爆,租金普遍暴涨。“平均租金上涨40%,租房看房排起了长队,来不及看房,仅凭几张照片就争先抢定”成了常见现象。 周二,据媒体报道,由于本地人和外籍居民需求激增,同时供应又因疫情影响减少,新加坡...

瑞士银行业跌落神坛?这家国际大行竟给毒贩洗钱,被判赔1.3亿

瑞士银行业跌落神坛?这家国际大行竟给毒贩洗钱,被判赔1.3亿

激石Pepperstone(https://www.paraat.net/)报道:当地时间6月27日,瑞士最高刑事法庭判定瑞信(CS,股价5.95美元,市值157.8亿美元)及其一名前员工帮助保加利亚贩毒集团洗钱。瑞信成为瑞士历史上第一家在刑事案件中被判定有罪的大型银行。 法庭判决认为,瑞信因未能充...

美国信心崩塌“接力赛”!美企CFO对经济乐观程度降至近十年最低

激石Pepperstone(https://www.paraat.net/)报道:在美国高企的通胀以及美联储大幅加息阴霾之下,投资者悲观情绪愈发浓重,消费者信心指数节节败退,美国小企业乐观程度指数跌至近两年低点,本周三一项旨在调查企业首席财务官们对今年美国经济表现的一项信心指数也跌至近十年最低水平。...

A股震荡下行 公路、基建走强 游戏表现活跃 比亚迪跌破300元关口

A股震荡下行 公路、基建走强 游戏表现活跃 比亚迪跌破300元关口

激石Pepperstone(https://www.paraat.net/)报道:7月13日周三,A股三大指数涨跌不一,沪指微幅低开,随后走低。 截止目前,沪指跌0.29%,深成指跌0.83%,创业板指跌0.96%。 盘面上,稳增长方向持续活跃,公路、基建涨幅居前,游戏板块走高,能源股跟随期市下挫...