当前位置:首页 > 外汇资讯 > 正文内容

可商业化,最强开源文本生成代码模型!Code Llama重磅发布

激石外汇2023-08-25 12:04:26外汇资讯365

激石Pepperstone(https://www.paraat.net/)报道:

8月25日凌晨,全球社交、科技巨头Meta(Facebook、Instagram等母公司)在官网正式开源了,文本生成代码模型Code Llama。

据悉,Code Llama是基于Meta前不久发布的,最强开源大语言模型Llama 2之上开发而成,提供基础代码、专门针对Python开发和基于自然语言指令微调的,70亿、130亿、340亿三种参数模型。允许企业、个人开发者使用此模型,进行商业化。

Meta表示,Code Llama在代码任务上的表现,优于目前所有开源代码模型。Code Llama支持 Python、C++、Java、PHP、Typescript (Javascript)、C#和Bash等主流编程语言,可根据自然文本或代码直接生成代码,例如,给我写一个斐波那契序列函数的代码。

Code Llama简单介绍

Code Llama是基于Llama 2大语言模型,再通过特定代码数据预训练、微调而成。除了支持文本或代码生成代码之外,还可用于代码的调试并支持目前所有主流开发语言。

Code Llama提供70亿、130亿和340亿三种参数模型,每个模型都使用了5000亿tokens代码数据训练而成。基础模型和指令模型经过了中间填充文本 (FIM) 功能的训练,允许将代码插入到现有代码中,这意味着它们可以支持开箱即用的代码完成任务。

Code Llama 模型提供了高达100,000 个上下文标记的稳定生成。所有模型均在 16,000 个标记的序列上进行训练,并在最多100,000 个标记的输入上显示出改进。

这意味着,开发人员在进行大型代码模型测试、调优时,可以将其全部输入到Code Llama中进行测试。

Code Llama还针对Python编程推出了Code Llama Python模型。是在 Python 代码的 1000亿标记上进行微调。

Python是代码生成方面最具基准测试的语言,并且Python 和 PyTorch 在AI 社区中发挥着重要作用,所以,推出了针对Python的代码模型。

Code LlamaInstruct 是 Code Llama 针对自然文本指令微调的模型,该模型支持自然文本输入和输出。

如果你想使用文本生成代码,Meta建议你使用该模型,因为Code LlamaInstruct已经过数据微调理解自然文本更好并且生成的代码更符合开发人员要求。

资源消耗方面,70亿参数模型可在单个GPU上运行。340亿参数模型可返回最佳结果并提供更好的编程辅助,但资源消耗更大。

所以,对于个人开发者、中小型企业来说,70亿、130亿参数的模型效率更高、资源消耗更少,适合低延迟的任务,例如,进行实时代码开发。

Code Llama性能评测

为了针对现有解决方案测试 Code Llama 的性能,Meta使用了两个流行的编码基准:HumanEval 和 Mostly Basic Python 编程 (MBPP)。

HumanEval 测试模型根据文档字符串完成代码的能力,MBPP测试模型根据描述编写代码的能力。

测试结果显示,Code Llama的表现优于开源、特定代码的Llama,并且优于 Llama 2。例如,Code Llama 340亿参数模型在 HumanEval上得分为 53.7%,在 MBPP 上得分为 56.2%,与ChatGPT性能相当。         

扫描二维码推送至手机访问。

版权声明:本文由激石Pepperstone发布,如需转载请注明出处。

本文链接:https://www.paraat.net/news/2089.html

分享给朋友:

“可商业化,最强开源文本生成代码模型!Code Llama重磅发布” 的相关文章

中证1000指数期货及期权推出,有何影响?

激石Pepperstone(https://www.paraat.net/)报道:1、规则上与历史品种相近:根据此次的征求意见稿,中证1000指数期货在合约设计及规则上与历史品种大致相同。合约乘数方面,中证1000指数期货的合约乘数为200元/指数点,以2022年6月22日收盘价为例,一手合约约13...

A股三大指数集体转绿 旅游酒店领跌 数字货币、电力股冲高

A股三大指数集体转绿 旅游酒店领跌 数字货币、电力股冲高

激石Pepperstone(https://www.paraat.net/)报道:7月1日,A股表现疲软,沪指、深成指小幅高开后迅速走低。截至发稿,三大指数集体转绿,沪指现跌0.6%,深成指跌0.5%,创业板指跌0.7%。 板块方面,培育钻石迅速拉升,Micro/MiniLed等节能照明板块涨幅居...

特斯拉跌落王座

特斯拉跌落王座

激石Pepperstone(https://www.paraat.net/)报道: 作者 | 周智宇 编辑 | 张晓玲 3月,特斯拉柏林工厂,马斯克潇洒地跳起了他的魔性舞步。然而没过多久,他就开始懊恼:它们就是在烧钱! 炙手可热的马斯克和他的特斯拉,在2022年的这个夏天,遭遇了供应链中断、产能滑坡...

龙头私募“神秘阶层”曝光,自有资本培养未来大腕,破解世纪“最贵难题”

激石Pepperstone(https://www.paraat.net/)报道:21世纪最贵的是什么? 是人才。 什么行业里的人才最贵? 投资行业的人才! 论资本投入,论培养成本,乃至真正出徒后的或有风险损失。这个领域在各行各业中不是第一,也是前三。 近日,资事堂从行业里获悉,一批业内头部私募机构...

美股财报季下周开启,投资者聚焦“衰退”的蛛丝马迹

激石Pepperstone(https://www.paraat.net/)报道:美国会衰退吗? 这是所有投资者最关注的问题之一。如今,美国财报季开启,投资者希望在各大公司的业绩中寻找蛛丝马迹,也希望听听高管们如何看待在成本上升和不确定性增加的情况下,维持需求如何保持稳定。 目前,主导美股市场的情绪...

创业板涨超2% 银行股继续走低 光伏、储能等赛道股再度走强

创业板涨超2% 银行股继续走低 光伏、储能等赛道股再度走强

激石Pepperstone(https://www.paraat.net/)报道:7月14日周四,A股三大指数涨跌不一,沪指低开,创业板指涨超2%。 截止目前,沪指跌0.14%,深成指涨0.58%,创业板指涨2.06%。 盘面上,各大板块走势分化,储能、光伏新能源赛道股再度走强,新特电气涨超10%...