Stability AI发布Stable Code 3B：填补AI代码生成的空白

发布于 作者:

1. 引言

2024年1月16日，以其稳定扩散文本到图像生成AI技术而闻名的Stability AI宣布推出其2024年的第一个新AI模型：商业许可（通过会员资格）的Stable Code 3B。这个模型是一个30亿参数的模型，专注于软件开发的代码完成能力。

Stability AI发布Stable Code 3B：填补AI代码生成的空白
图片来源：Stability AI

2. Stable Code 3B概述

Stable Code 3B是一个30亿参数的AI模型，致力于代码完成。尽管参数仅为30亿，但它能够在本地笔记本上运行，而无需专用GPU，同时提供与Meta的CodeLLaMA 7B等更大模型相媲美的性能和功能。

2.1 小型而强大的模型趋势

自2023年底以来，Stability AI一直在推动更小、更紧凑且功能更强大的模型。在2023年底，他们推出了StableLM Zephyr 3B，专注于文本生成。

2.2 稳定Code 3B的改进

Stability AI自首次发布以来，在多个方面对Stable Code进行了改进。

  • 填充缺失的代码块： 新的Stable Code 3B不仅建议新的代码行，还可以填充现有代码中较大的缺失部分，具备先进的代码完成能力，即“Fill in the Middle (FIM)”。
  • RoPE技术的优化： 使用Rotary Position Embeddings（RoPE）技术，通过扩展上下文大小，可选择性地允许上下文长度达到10万个令牌。RoPE技术是其他LLMs（如Meta的Llama 2 Long）也在使用的一种技术。

2.3 数据训练和性能

Stable Code 3B基于Stability AI的Stable LM 3B自然语言模型构建。通过在软件工程数据上进行进一步的训练，该模型在保留一般语言任务的强项的同时获得了代码完成技能。训练数据包括代码存储库、程序员论坛和其他技术来源。

  • 支持的编程语言： 该模型涵盖了18种不同的编程语言，包括Python、Java、JavaScript、Go、Ruby和C++。据Stability AI称，Stable Code 3B在多语言的基准测试中展现出色的性能。

3. 市场竞争与性能比较

AI代码生成工具市场竞争激烈，Meta的CodeLLaMA 7B是其中一个较大且受欢迎的选项。在30亿参数的模型方面，由IBM、HuggingFace和ServiceNow共同开发的StarCoder LLM是另一个受欢迎的选择。据Stability AI称，Stable Code 3B在Python、C++、JavaScript、Java、PHP和Rust编程语言上优于StarCoder。

4. 会员订阅服务

Stable Code 3B作为Stability AI新的会员订阅服务的一部分推出，该服务于去年12月首次宣布。会员可以访问Stable Code 3B以及Stability AI组合中的其他AI工具，包括SDXL稳定扩散图像生成工具、StableLM Zephyr 3B文本内容生成工具、Stable Audio音频生成工具以及Stable Video视频生成工具。