🦙Meta 开源编程大模型「Code Llama」，性能直逼 GPT-4

AI相关
1

image
image2560×1313 59.5 KB

:llama:Meta 开源编程大模型「Code Llama」，性能直逼 GPT-4

:globe_with_meridians:开源地址 | 体验1 | 体验22

:page_facing_up:Code Llama 是从 Llama-2 基础模型微调而来，有基础版（Code Llama）、Python微调版（Code Llama-Python）、以及自然语言指令微调版（Code Llama-Instruct）共 3 个版本

3 个版本的模型尺寸分别有 7B、13B 和 34B，每个模型都被喂进了 5000 亿 token 的代码及代码相关数据中训练

Meta希望Code Llama能激发大众对于Llama 2的进一步开发，成为研究和商业产品创建新的创造性工具

:zap:Features

:white_small_square:支持10万 token 上下文（可以直接塞进整个项目）

:white_small_square:支持 Python、C++、Java、PHP、Typescript（Javascript）、SQL、C#和Bash等语言

:white_small_square:Python 34B 版本在HumanEval上得分为 53.7%，在 MBPP上得分为56.2%，超过了 GPT-3.5 的 48.1% 和 52.2%（评分 ）

:white_small_square:开源可商用

:arrow_up:令人惊喜的是，Code Llama还有一个没有公布的「unnatural」版本，性能已经超过ChatGPT，逼近GPT-4
:globe_with_meridians: 参考1 | 参考2 | 参考3