Snowflake今日宣布推出Arctic，一款针对复杂企业工作负载优化的大型语言模型（LLM），涵盖SQL生成、代码生成和指令跟踪等领域。Arctic以其独特的专家混合（MoE）架构脱颖而出，成为市场上“最开放的企业级LLM”之一，在效率和性能上都领先于同类产品。Snowflake的这一举措被视为其与Databricks保持竞争力的一步，尤其是在AI方面。Arctic的发布也被视为Snowflake加速AI努力的标志，这主要归功于公司收购Neeva和任命Ramaswamy为CEO。
Arctic瞄准企业工作负载
现代企业对生成式AI的潜力充满信心，并正在竞相构建生成AI应用，如检索增强生成（RAG）聊天机器人、数据协作伙伴和代码助手。然而，用于实现这些用例的模型很多，但只有少数几款专注于企业任务。这就是Arctic 「https://www.snowflake.com/blog/arctic-open-efficient-foundation-language-models-snowflake/?utm_cta=website-homepage-featured-blog-snowflake-artic-intro」的用武之地。
“我们对AI投入了巨大的精力，因为我们认为它将极大地改善端到端AI产品的创建。我们的愿景是成为我们的客户可以使用的API，这样业务用户就可以直接与数据交流。这是雪花民主化企业内数据愿景的重要一环，我们认为这是实现该愿景的重要组成部分。”Ramaswamy在新闻发布会上说道。
Arctic采用了密集MoE混合架构，将参数分成多达128个细粒度的专家子组。这些专家——经过动态数据课程培训——始终准备就绪，但只处理他们能够最有效地处理的输入标记。这意味着模型的仅有一部分参数（4800亿中的17亿）会在响应查询时被激活，以最小的计算消耗提供精准的性能。
根据雪花分享的基准测试数据，Arctic在多项测试中的平均得分为65%，表现良好。在SQL生成的Spider基准测试中，该模型的得分为79%，超过了Databricks的DBRX和Mixtral 8X7B，几乎与Llama 3 70B和Mixtral 8X22B相媲美。在编码任务中，Arctic的得分为64.3%，再次超过了Databricks和较小的Mixtral模型，略低于Llama 3 70B和Mixtral 8X22B。
然而，最令人感兴趣的是IFEval基准测试，旨在衡量指令跟踪能力。在这项测试中，Arctic的得分为52.4%，表现优于大多数竞争对手，仅次于最新的Mixtral模型。
公司声称，以这种方式实现了企业智能水平，并实现了突破性的效率，训练计算预算仅约200万美元。这比其他开源模型的计算预算要少得多，包括使用了17倍计算资源进行训练的Llama 3 70B。此外，该模型仅使用了17个活跃参数来获得这些结果，远少于其他模型使用的数量，并将进一步带来成本效益。
Apache 2.0许可下的可用性
Snowflake将Arctic提供给Cortex，其自己的LLM应用开发服务，以及其他模型库和目录，包括Hugging Face、Lamini、Microsoft Azure、Nvidia API目录、Perplexity和Together。在Hugging Face上，Arctic模型权重和代码可以直接根据Apache 2.0许可下载，该许可允许个人、商业或研究应用的自由使用。
除了模型权重和代码外，公司还发布了一份数据配方，以帮助企业在单个GPU上运行高效的微调，以及一份包含有关模型设计和训练的见解的综合研究食谱。
在这次的AI影响之旅中，我们将与行业专家一起探讨在业务中负责任地整合AI的复杂性。不要错过在旧金山的VB AI Impact Tour的下一站的机会，获取见解，与志同道合的创新者建立联系，并探索与客户体验相关的未来和优化业务流程的未来。
Snowflake的Arctic模型的发布代表着企业界AI研发的一次里程碑。其采用的开放架构和高效性使其在企业工作负载领域脱颖而出。尽管面临着来自Databricks等竞争对手的激烈竞争，但Snowflake致力于通过提供开源AI技术来推动行业发展。通过与业界共享模型权重、代码和研究成果，Snowflake为企业提供了更多创新的可能性，助力其实现数字化转型和业务增长。
