近日，阿联酋政府支持的技术创新研究所（TII）宣布推出 Falcon 3，这是一系列旨在在基于轻量级、单 GPU 的基础设施上高效运行的开源小语言模型（SLM）。Falcon 3 具有四个模型大小——1B、3B、7B 和 10B，具有基础和指令变体，有望为开发者、研究人员和企业提供先进的 AI 能力。 随着对 SLM 的需求迅速增长，Falcon 3 的推出恰逢其时。与大型语言模型（LLM）相比，SLM 的参数更少，设计更简单，具有效率高、成本低和能够在资源有限的设备上部署等优点。它们适用于各个行业的一系列应用，如客户服务、医疗保健、移动应用和物联网，在这些应用中，典型的 LLM 可能计算成本过高，无法有效运行。根据 Valuates Reports 的数据，预计这些模型的市场将增长，未来五年的复合年增长率接近 18%。 Falcon 3 有哪些特点？ Falcon 3 系列在 14 万亿个标记上进行了训练，是其前身 Falcon 2 的两倍多。该系列采用仅解码器的架构，具有分组查询注意力，可在推理期间共享参数并最小化键值（KV）缓存的内存使用。这使得在处理各种基于文本的任务时能够更快、更高效地运行。 这些模型支持四种主要语言——英语、法语、西班牙语和葡萄牙语，并配备了 32K 的上下文窗口，允许它们处理长输入，如冗长的文档。 TII 在其网站上指出：“Falcon 3 是多功能的，设计用于通用和专业任务，为用户提供了极大的灵活性。其基础模型非常适合生成应用，而指令变体则在客户服务或虚拟助手等对话任务中表现出色。” 根据 Hugging Face 的排行榜，虽然所有四个 Falcon 3 模型都表现良好，但 10B 和 7B 版本是其中的佼佼者，在推理、语言理解、指令跟随、代码和数学任务等方面取得了最先进的结果。 在 13B 参数大小类别的模型中，Falcon 3 的 10B 和 7B 版本超越了竞争对手，包括 Google 的 Gemma 2-9B、Meta 的 Llama 3.1-8B、Mistral-7B 和 Yi 1.5-9B。它们甚至在大多数基准测试中超过了阿里巴巴的领先者 Qwen 2.5-7B，如 MUSR、MATH、GPQA 和 IFEval，除了 MMLU，这是评估语言模型理解和处理人类语言能力的测试。 Falcon 3 在各个行业的应用 随着 Falcon 3 模型现在可在 Hugging Face 上使用，TII 的目标是为广泛的用户提供服务，实现具有成本效益的 AI 部署，而不会出现计算瓶颈。凭借其快速处理特定领域任务的能力，这些模型可以在边缘和隐私敏感环境中为各种应用提供支持，包括客户服务聊天机器人、个性化推荐系统、数据分析、欺诈检测、医疗诊断、供应链优化和教育。 该研究所还计划进一步扩展 Falcon 系列，推出具有多模态能力的模型。这些模型预计将于 2025 年 1 月推出。 值得注意的是，所有模型都已根据 TII Falcon License 2.0 发布，这是一种基于 Apache 2.0 的许可协议，具有可接受的使用政策，鼓励负责任的 AI 开发和部署。为了帮助用户入门，TII 还推出了 Falcon Playground，这是一个测试环境，研究人员和开发人员可以在将 Falcon 3 模型集成到其应用程序之前对其进行试用。
