Cerebras Systems宣布在美国服务器上托管DeepSeek的R1人工智能模型,在速度、数据安全等方面展现优势,引发了AI领域的诸多变革与思考。
Cerebras托管DeepSeek-R1模型及优势:
Cerebras Systems宣布将在美国服务器上托管DeepSeek的R1模型,其采用700亿参数版本,运行在自有晶圆级硬件上。相比基于GPU的解决方案,速度提升高达57倍,每秒可处理1600个令牌,响应时间仅1秒多,远超其他平台。在输出速度方面,每秒处理1508个令牌,比最接近的竞争对手快近6倍,比传统GPU解决方案快约100倍。
DeepSeek-R1模型对企业AI的影响:
DeepSeek的推理模型对经济和知识工作者的工作流程产生影响,能处理多步骤认知任务。但因其API会将数据发往中国,使许多美国公司有所顾虑。Cerebras的托管方案解决了数据主权问题,让美国公司既能利用R1模型的优势,又能掌控数据。
Cerebras技术优势及行业影响:
Cerebras通过独特的芯片架构,将整个AI模型置于单个晶圆级处理器上,避免了GPU系统的内存瓶颈,其运行的DeepSeek-R1在性能上可媲美甚至超越OpenAI的专有模型。这一发展冲击了AI行业格局,使美国技术领导地位面临挑战,也加速了AI基础设施从依赖GPU向其他架构的转变。在一些任务的性能基准测试中,运行在Cerebras上的DeepSeek-R1超过了GPT-4o和OpenAI的o1-mini,显示出中国AI在某些领域可能已接近或超越美国水平。
服务及行业监管动态:
Cerebras提供的托管服务已开启开发者预览,初期免费,后续将实施API访问控制。随着DeepSeek的崛起,美国立法者开始重新审视贸易限制政策,行业分析师认为这可能促使新监管方法的出台,同时也表明AI行业竞争格局正在发生变化。
由前谷歌、Meta高管创立的Palona AI公司,其旨在为非技术型企业提供个性化、有情感的客户代理服务,以改善企业与客户的交互体验,提升销售业绩和品牌忠诚度。
当前商家的AI聊天机器人存在诸多问题,如响应慢、缺乏对客户账户历史的了解等。Palona AI于上周成立,致力于解决这些问题,为直接面向消费者的企业提供24/7在线的客户支持和销售代理服务,这些代理能体现企业的品牌个性、声音、库存状况和价值主张。
Palona AI的联合创始人兼CTO Tim Howes是行业标准开源轻量级目录访问协议(LDAP)的共同发明者;CEO Maria Zhang曾在谷歌、Meta等公司担任要职;首席科学家Steve Liu在三星AI中心等机构有丰富履历。团队成员的专业背景为公司发展提供了有力支持。
产品特点
- 高情商AI代理:结合开源和专有AI模型,并基于人类社会学研究进行训练,打造具有高“情商”的AI代理,使交互更像真实的人与人之间的对话。
- 多模态交互:支持在线聊天机器人、短信/文本和AI语音等多种交互方式,其语音版本能根据不同场景进行优化,且可定制语音,甚至克隆授权客户代表或CEO的声音。
- 减少错误和幻觉:通过组合三个不同模型,即定制微调的大语言模型、监督模型和实时记忆跟踪小语言模型,减少AI幻觉,将错误率降低98%,实现可靠交互,并根据客户历史交互建立深度客户档案,提供个性化对话。
已与Wyze、Mindzero和Pizza My Heart等多个消费品牌合作。Wyze通过集成Palona的AI销售助手实现客户支持个性化;Mindzero的AI代理能自然且吸引人地回答客户问题;Pizza My Heart借助“Jimmy the Surfer”AI代理让顾客通过语音或文本订购披萨,并进行轻松对话。
Mistral AI推出的新语言模型Mistral Small 3,其在性能、成本、应用场景等方面展现出独特优势,有望重塑AI部署格局,推动开源AI发展。
Mistral AI推出的Mistral Small 3语言模型,拥有240亿参数,在标准基准测试中准确率达81%,每秒可处理150个令牌。该模型性能与参数规模为其三倍的模型相当,如基本与Meta的Llama 3.3 70B模型性能持平,但处理文本速度比GPT-4o Mini快近30%,且准确率与之相当或更高,同时延迟显著更低。
Mistral Small 3主要通过改进训练技术提升性能,而非依赖大量计算资源。其训练仅使用8万亿令牌,少于同类模型的15万亿令牌。并且该模型开发未采用强化学习和合成训练数据等常见技术,有助于避免嵌入难以检测的偏差。
该模型主要面向因隐私和可靠性需求需在本地部署的企业,如金融、医疗和制造业企业。它能在单个GPU上运行,可处理80 - 90%的典型企业用例。在人类评估测试中,Mistral Small 3在通用任务上的输出比Gemma-2 27B和Qwen-2.5 32B更受评估者青睐。
Mistral AI估值60亿美元,获得了微软投资并准备进行IPO。其专注于开发更小、更高效模型的策略与其他公司形成对比。随着AI行业发展,这种注重效率的策略可能使先进AI能力更普及,加速各行业对AI的采用,降低计算基础设施成本。公司还计划在未来几周发布具有更强推理能力的模型,进一步检验其策略的有效性。