当前位置:首页 > 外汇资讯 > 正文内容

可商业化,最强开源文本生成代码模型!Code Llama重磅发布

激石外汇2023-08-25 12:04:26外汇资讯40

激石Pepperstone(https://www.paraat.net/)报道:

8月25日凌晨,全球社交、科技巨头Meta(Facebook、Instagram等母公司)在官网正式开源了,文本生成代码模型Code Llama。

据悉,Code Llama是基于Meta前不久发布的,最强开源大语言模型Llama 2之上开发而成,提供基础代码、专门针对Python开发和基于自然语言指令微调的,70亿、130亿、340亿三种参数模型。允许企业、个人开发者使用此模型,进行商业化。

Meta表示,Code Llama在代码任务上的表现,优于目前所有开源代码模型。Code Llama支持 Python、C++、Java、PHP、Typescript (Javascript)、C#和Bash等主流编程语言,可根据自然文本或代码直接生成代码,例如,给我写一个斐波那契序列函数的代码。

Code Llama简单介绍

Code Llama是基于Llama 2大语言模型,再通过特定代码数据预训练、微调而成。除了支持文本或代码生成代码之外,还可用于代码的调试并支持目前所有主流开发语言。

Code Llama提供70亿、130亿和340亿三种参数模型,每个模型都使用了5000亿tokens代码数据训练而成。基础模型和指令模型经过了中间填充文本 (FIM) 功能的训练,允许将代码插入到现有代码中,这意味着它们可以支持开箱即用的代码完成任务。

Code Llama 模型提供了高达100,000 个上下文标记的稳定生成。所有模型均在 16,000 个标记的序列上进行训练,并在最多100,000 个标记的输入上显示出改进。

这意味着,开发人员在进行大型代码模型测试、调优时,可以将其全部输入到Code Llama中进行测试。

Code Llama还针对Python编程推出了Code Llama Python模型。是在 Python 代码的 1000亿标记上进行微调。

Python是代码生成方面最具基准测试的语言,并且Python 和 PyTorch 在AI 社区中发挥着重要作用,所以,推出了针对Python的代码模型。

Code LlamaInstruct 是 Code Llama 针对自然文本指令微调的模型,该模型支持自然文本输入和输出。

如果你想使用文本生成代码,Meta建议你使用该模型,因为Code LlamaInstruct已经过数据微调理解自然文本更好并且生成的代码更符合开发人员要求。

资源消耗方面,70亿参数模型可在单个GPU上运行。340亿参数模型可返回最佳结果并提供更好的编程辅助,但资源消耗更大。

所以,对于个人开发者、中小型企业来说,70亿、130亿参数的模型效率更高、资源消耗更少,适合低延迟的任务,例如,进行实时代码开发。

Code Llama性能评测

为了针对现有解决方案测试 Code Llama 的性能,Meta使用了两个流行的编码基准:HumanEval 和 Mostly Basic Python 编程 (MBPP)。

HumanEval 测试模型根据文档字符串完成代码的能力,MBPP测试模型根据描述编写代码的能力。

测试结果显示,Code Llama的表现优于开源、特定代码的Llama,并且优于 Llama 2。例如,Code Llama 340亿参数模型在 HumanEval上得分为 53.7%,在 MBPP 上得分为 56.2%,与ChatGPT性能相当。         

扫描二维码推送至手机访问。

版权声明:本文由外汇密探发布,如需转载请注明出处。

本文链接:https://www.paraat.net/news/2089.html

分享给朋友:

“可商业化,最强开源文本生成代码模型!Code Llama重磅发布” 的相关文章

美最高法院推翻堕胎权,大公司集体怒了

美最高法院推翻堕胎权,大公司集体怒了

激石Pepperstone(https://www.paraat.net/)报道:美国总统拜登说,这个国家在今天直接倒退了150年。 当地时间6月24日一大早,美国最高法院正式公布了之前早已泄露的,对于“罗诉韦德案”(Roe v. Wade)等两项判决结果的推翻。这意味着女性的堕胎权——掌控自己身...

华尔街见闻早餐FM-Radio|2022年6月25日

华尔街见闻早餐FM-Radio|2022年6月25日

激石Pepperstone(https://www.paraat.net/)报道: 北欧豪华进口七座SUV沃尔沃XC90邀您一起收听见闻早餐。  市场概述 欢呼加息预期退烧,标普创两年最大涨幅,标普纳指涨超3%,道指涨超800点,扭转三周连跌。Meta涨超7%、所在板块涨近4%,特斯拉一周涨1...

血流成河!欧洲公司债遭遇史上最严重抛售,甚至超过2008年金融危机

激石Pepperstone(https://www.paraat.net/)报道:投资者愈发担心欧美央行激进加息来对抗通胀将导致经济衰退,以及伴随欧洲央行从7月起停止购买当地企业债券带来“需求空白”,欧洲公司债正持续遭遇数十年来最严重的抛售潮。 彭博泛欧企业债券指数过去12个月的回报率为-12.9%...

高盛警告:美股盈利收缩要开始了,这才是美股最大风险

激石Pepperstone(https://www.paraat.net/)报道:当美股仍在承受抛售潮带来的冲击时,一股更大的风浪已经在不远处出现。 高盛在周五表示,美国消费疲软对企业盈利的影响正在显现,对美股造成的冲击将超过股票抛售。 David Kostin等策略师在报告中写道,美国5月零售销售...

1—5月份全国规模以上工业企业利润增长1.0%

1—5月份全国规模以上工业企业利润增长1.0%

激石Pepperstone(https://www.paraat.net/)报道:6月27日国家统计局发布数据,1—5月份,全国规模以上工业企业实现利润总额34410.0亿元,同比增长1.0%。中国5月规模以上工业企业利润同比-6.5%,前值-8.5%。 1—5月份,规模以上工业企业中,国有控股企业...

G7加强对俄能源制裁,印度:继续做有利于本国能源安全的事

激石Pepperstone(https://www.paraat.net/)报道:在近日举行的七国集团(G7)领导人峰会上,G7领导人宣布对俄制裁新举措,同意对俄罗斯石油和天然气进口设置价格上限。对此,印度总理莫迪表达了不同的声音。莫迪强调,印度将继续做最有利于本国能源安全的事情。 据印度新德里电视...