当前位置:首页 > 外汇资讯 > 正文内容

Llama 3王者归来,可与GPT-4分庭抗礼,开源模型即将追上闭源模型了?

激石外汇2024-04-19 11:54:12外汇资讯43

激石Pepperstone(https://www.paraat.net/)报道:

4月18日,AI圈再迎重磅消息,Meta带着号称“有史以来最强大的开源大模型”Llama 3登场了。

Meta本次开源了Llama 3 8B与70B两款不同规模的模型,供外部开发者免费使用,未来几个月,Meta 将陆续推出一系列具备多模态、多语言对话、更长上下文窗口等能力的新模型。其中,大版本的Llama 3将有超过4000亿参数有望与Claude 3“一较高下”。

同时,Meta首席执行官扎克伯格宣布,基于最新的Llama 3模型,Meta AI助手现在已经覆盖Instagram、WhatsApp、Facebook等全系应用,并单独开启了网站,还有一个图像生成器,可根据自然语言提示词生成图片。

Llama 3的出现直接对标OpenAI的GPT-4,与“并不Open”的OpenAI截然不同,在AI圈围绕开源或闭源的路线争论不休之时,Meta坚定沿着开源路线朝AGI的圣杯发起了冲锋,为开源模型扳回一局。

知情人士透露,研究人员尚未开始对Llama 3进行微调,还未决定Llama 3是否将是多模态模型。有消息称,正式版的Llama 3将会在今年7月正式推出。

Meta AI 首席科学家、图灵奖得主Yann LeCun一边为Llama 3的发布“摇旗呐喊”,一边预告未来几个月将推出更多版本,称Llama 3 8B和Llama 3 70B是目前同体量下,性能最好的开源模型。llama 3 8B在某些测试集上性能比llama 2 70B还要强。

就连马斯克也现身于该评论区,一句简洁的“Not bad”表达了对 Llama 3 的认可和期待。

英伟达高级科学家Jim Fan认为,Llama 3的推出已经脱离了技术层面的进步,更是开源模型与顶尖闭源模型可分庭抗礼的象征

从Jim Fan分享的基准测试可以看出,Llama 3 400B 的实力几乎媲美 Claude“超大杯”以及新版 GPT-4 Turbo,将成为“分水岭”,相信它将释放巨大的研究潜力,推动整个生态系统的发展,开源社区或将能用上GPT-4级别的模型。

公布当天恰逢斯坦福大学教授,AI顶尖专家吴恩达的生日,吴恩达直言,Llama 3的发布是自己这辈子收到过的最好的礼物,谢谢你Meta!

OpenAI创始成员之一、特斯拉前AI总监Andrej Karpathy也对Llama 3表达了赞许。作为大语言模型领域的先驱之一,Karpathy认为Llama3的性能已接近GPT-4 的水平:

Llama3是Meta 发布的看起来非常强大的模型。坚持基本原则,在可靠的系统和数据工作上花费大量高质量时间,探索长期训练模型的极限。我也对 400B模型非常兴奋,它可能是第一个 GPT-4 级别的开源模型。我想很多人会要求更长的上下文长度。

我希望能有比 8B 更小参数,理想规模在0.1B到1B左右的模型,用于教育工作、(单元)测试、嵌入式应用等。

Rebuy公司AI总监、深度学习领域的博士Cameron R. Wolfe认为,Llama 3证明了训练优秀大语言模型的关键在于数据质量。他详细分析了Llama 3在数据方面做出的努力,包括:

1)15万亿个token的预训练数据: 比Llama 2多7倍,比DBRX的12万亿个还要多;

2)更多代码数据: 预训练过程中包含更多代码数据,提升了模型的推理能力;

3)更高效的tokenizer: 拥有更大的词汇表(128K tokens),提高了模型的效率和性能。

在Llama 3发布后,小扎向媒体表示,“我们的目标不是与开源模型竞争,而是要超过所有人,打造最领先的人工智能。”未来,Meta团队将会公布Llama 3的技术报告,披露模型更多的细节。

这场关于开源与闭源的辩论还远未结束,暗中蓄势待发的 GPT-4.5/5 也许会在今年夏天到来,AI领域的大模型之战还在上演。

扫描二维码推送至手机访问。

版权声明:本文由外汇密探发布,如需转载请注明出处。

本文链接:https://www.paraat.net/news/2949.html

标签: Llama 3GPT-4
分享给朋友:

“Llama 3王者归来,可与GPT-4分庭抗礼,开源模型即将追上闭源模型了?” 的相关文章

一场豪赌!宁德时代450亿定增落地

激石Pepperstone(https://www.paraat.net/)报道: 历时十个月,从582亿到450亿,万众瞩目的“宁王”定增融资终于落定。6月22日晚间,宁德时代披露了450亿定增结果,发行价格为410元/股,共有42家机构申报,最终红杉资本、摩根大通、摩根士丹利、巴克莱银行等22...

欧洲、伊朗联合宣布:伊核谈判将在数天内重启

欧洲、伊朗联合宣布:伊核谈判将在数天内重启

激石Pepperstone(https://www.paraat.net/)报道:距离第八轮伊核谈判暂停已过去三月时间,根据伊朗和欧盟方面的最新表态,伊核谈判将在数天内重启,其中首先恢复伊朗和美国之间的间接谈判。 媒体称,周六伊朗外交部长Hossein Amirabdollahian与正访问伊朗的欧...

美债收益率大跌,关键曲线再度倒挂,“衰退风向标”狂闪

美债收益率大跌,关键曲线再度倒挂,“衰退风向标”狂闪

激石Pepperstone(https://www.paraat.net/)报道:美国债券市场发出了警告信号,投资者纷纷涌入避险资产,这表明对潜在经济衰退的担忧已笼罩全球市场。 昨日交易盘中,美国债券市场出现剧烈波动,美国10年期国债收益率大跌6个基点,今年第三次和2年期美债收益率出现倒挂。 10年...

中俄外长会面

激石Pepperstone(https://www.paraat.net/)报道: 当地时间2022年7月7日,国务委员兼外长王毅出席二十国集团外长会期间在巴厘岛会见俄罗斯外长拉夫罗夫。 王毅表示,当前,国际局势动荡不定,全球挑战层出不穷。在两国元首战略引领下,中俄排除干扰,保持...

港股高开 恒生科技指数涨近2% 旅游汽车延续昨日涨势继续冲高

港股高开 恒生科技指数涨近2% 旅游汽车延续昨日涨势继续冲高

激石Pepperstone(https://www.paraat.net/)报道:7月8日周五,港股高开,恒指开涨1.47%,恒生科技指数涨1.85%。 盘面上,旅游概念股、新能源汽车股延续昨日涨势继续走高,科技股集体高开。 新能源汽车板块多数走高,蔚来涨超5%,吉利汽车、小鹏汽车涨超4%,长城...

华尔街见闻早餐FM-Radio|2022年7月9日

激石Pepperstone(https://www.paraat.net/)报道:市场概述 加息预期压顶,标普道指回落,纳指涨。纳指创八个月最长连涨日,连创四周新高;标普终结四连涨跌离近两周高位,仅医疗和IT板块收涨,三大美股指全周均累涨。推特盘后一度跌9%;科技板块全周领涨,特斯拉一周涨10%;...