谷歌新神经网络架构 Titans：分离记忆组件以控成本，提升大语言模型性能
谷歌研究人员开发了一种新的神经网络架构——Titans，旨在解决大型语言模型（LLMs）面临的重大挑战之一，即在推理时扩展记忆而不使内存和计算成本激增。
Titans 的特点包括：结合了传统 LLM 注意力块与“神经记忆”层，能高效处理短期和长期记忆任务；使用神经长期记忆的 LLMs 可扩展到数百万个标记，且在参数少很多的情况下表现优于经典 LLMs 和 Mamba 等替代品。
其原理涉及注意力层和线性模型：经典的 Transformer 架构利用自注意力机制计算标记间关系，但序列长度增长时计算和存储成本呈二次方增加；线性模型虽复杂度线性，但性能不如经典 Transformer，因其压缩上下文数据易遗漏重要细节。
神经长期记忆模块可在推理时学习新信息，避免全注意力机制的低效率，通过“惊喜”概念决定存储哪些信息，还具有自适应遗忘机制管理有限内存容量。它可与现有 Transformer 模型的注意力机制互补，前者是短期记忆，后者可作为长期记忆。
Titans 架构由“核心”模块（作为短期记忆，使用经典注意力机制处理当前输入标记段）、“长期记忆”模块（利用神经记忆架构存储超出当前上下文的信息）和“持久记忆”模块（训练后固定的可学习参数，存储与时间无关的知识）这三个关键组件构成，不同连接方式使注意力和记忆模块相互补充。
研究人员对参数在1700万到7.6亿范围内的 Titans 模型进行了小规模测试，在语言建模和长序列语言任务等多种任务上，其表现优于各种基于 Transformer 的模型、线性模型和混合模型。在长序列任务中表现尤为突出，如“大海捞针”和 BABILong 任务，优于包括 GPT-4 在内的具有更多参数的模型，还能将上下文窗口扩展到200万标记，同时保持适度内存成本。
对企业应用而言，随着谷歌在长上下文模型方面处于领先地位，该技术可能会应用于 Gemini 和 Gemma 等私有和开放模型。LLMs 支持更长上下文窗口，为创建应用提供了潜力，开发和迭代基于提示的应用程序的周期比复杂的 RAG 管道快得多，同时 Titans 等架构有助于降低长序列的推理成本，使公司能在更多用例中部署 LLM 应用。谷歌计划发布用于训练和评估 Titans 模型的 PyTorch 和 JAX 代码。
Borderless AI 获 3200 万美元融资，携 HRGPT 闯入 HR 科技领域
Borderless AI 认为 HR 部门将成为企业采用人工智能的下一个主要战场，推出了专门的搜索引擎 HRGPT。该公司在去年从隐身状态中浮现，近日宣布其免费的 AI 驱动搜索引擎 HRGPT 发布，允许公司查询内部 HR 数据以及就业法律法规。同时，在最新一轮融资中获得了 500 万美元的战略投资，其中包括 Cohere 联合创始人的参与，使其种子资金总额达到 3200 万美元。
Borderless AI 定位于与 Workday 和 ADP 等成熟的 HR 软件供应商竞争，专注于 AI 驱动的解决方案。其平台已拥有包括 Dunlop 体育用品等在内的多个跨国公司客户。HRGPT 不同于一般的 AI 聊天机器人，它结合了实时网络搜索、内部公司数据访问和专业 HR 知识，能执行生成就业协议、跟踪请假请求和管理国际费用报销等任务。
Cohere 的联合创始人的投资表明了对特定行业 AI 应用的兴趣增长。Borderless AI 的方法反映了 AI 公司专注于特定行业的更广泛趋势。该公司的雄心勃勃的愿景包括利用 AI 实现工资管理和员工分析等复杂 HR 流程的自动化，计划以少于 50 名员工建立一家价值数十亿美元的公司。
然而，Borderless AI 面临重大挑战，包括在强烈的客户需求中确定要构建哪些功能的优先级，还必须在其自动化 HR 功能中保持准确性和合规性，特别是在就业协议和国际支付等敏感任务方面。目前，早期客户对其似乎很满意，该公司报告称其 AI 代理每小时都会在其客户群中执行任务。
Botika 获 800 万美元融资推出 iOS 应用， 用 AI 生成模型改写时尚摄影规则
Botika 是一家专注于 AI 生成时尚模型的初创公司，已筹集 800 万美元并推出新的移动 iOS 应用程序。
该公司表示其 AI 生成模型能使各种规模的在线服装公司受益，让服装看起来更出色。其应用程序结合了 Botika 生成式 AI 平台的最新进展，帮助时尚品牌为电子商务创建高质量的模特展示图像。
Botika 成功完成了由 Stardom 和 Secret Chord Ventures 共同领导、Seedcamp 参与的 800 万美元种子轮融资。这笔资金将推动产品持续创新并支持公司在时尚行业的扩张，过去一年中其收入增长了九倍，客户群增长了十一倍。
Botika 独特的 AI 技术旨在帮助品牌将基本产品图像无缝转换为专业的工作室质量照片，配备反映各品牌美学的 AI 生成模型和背景，公司还训练了自己的定制基础模型。
超过一半的购物者在决定是否购买一件衣服时依赖品牌或零售商提供的图像，但电商摄影拍摄的生产成本很高。Botika 的 AI 生成时尚模型解决了时尚品牌的这一关键痛点，打破了以可管理的成本和时间获得高质量、符合品牌形象的图像的障碍，能让品牌在几分钟内创建逼真、视觉吸引力强的图像以吸引客户并促进销售。
新的 Botika 移动应用将强大的 AI 生成时尚模型工具直接带给用户，使时尚品牌随时随地创建令人惊叹的模特产品照片。品牌借此获得自己的 AI 驱动虚拟工作室，在不牺牲质量的情况下简化图像生产，大幅减少上市时间，该移动功能还包括对平面和包装照片的新支持。
Botika 首席执行官 Eran Dagan 称将浏览购物者转化为购买购物者在很大程度上依赖于吸引人且准确的产品图像，随着消费者期望提高和电商通过社交销售变得更具竞争力，较小的在线品牌和精品店面临因摄影成本或平淡图像而失去利润的风险，该移动应用将生成式 AI 的力量置于客户指尖，为品牌提供所需工具以实现其创意愿景并在具有挑战性的在线时尚市场中更好地竞争。
Botika 计划在 2025 年全年继续保持这一发展势头。此外，该公司回应其应用不会让人类时尚模特失业，而是为品牌提供获得高质量视觉效果的能力，为人类创造力创造新机会并促进其蓬勃发展，大多数使用该平台的品牌会结合真实模型和 AI 生成的模型来满足不同需求。Botika 目前有 15 人并正在招聘，两位创始人在过去五年中一直在开发和研究计算机视觉 AI 技术，公司最初计划用于游戏，两年前基于相关人员的热情和反馈转向时尚摄影领域，团队意识到可以帮助全球品牌轻松高效地发布系列产品且不影响质量。
Luma AI 推出 Ray2 生成视频模型：快速自然运动与物理效果升级
Luma 发布了最新的视频 AI 生成模型 Ray2，其训练计算量是原始模型 Ray1 的十倍，能提供快速、自然且连贯的运动和物理效果，提高了可用且达生产标准的生成内容成功率，使更多人可进行视频叙事。
Luma 的 Dream Machine 网络平台提供免费和付费计划，付费从每月6.99美元的“Lite”计划到每年1672.92美元的“Enterprise”计划不等。
目前 Ray2 限于文本到视频，可将用户输入描述转化为5或10秒视频片段，模型本身生成新视频很快，但因新用户需求大有时需几分钟。示例展示了其多样性，如人在南极暴风雪中奔跑、芭蕾舞者在北极浮冰上表演等，动作逼真流畅，比竞争对手生成的视频主体移动更快更自然，还能实现长颈鹿冲浪等超现实想法。
其他尝试该模型的创作者也大多认可，不过复杂提示下可能出现不自然和故障的结果。未来，Luma 还会为 Ray2 添加图像到视频、视频到视频以及编辑功能，以拓展创作可能性。
为庆祝 Ray2 发布，Luma Labs 举办了 Ray2 奖项活动，包括在单个平台发布首周获得最多观看次数可赢5000美元的大奖，以及通过在社交媒体分享内容并与发布视频互动可参与的3000美元抽奖。1月22日为提交截止日期，1月27日将宣布获奖者。参与者可通过 Luma Labs 提供的表格上传作品，并鼓励使用#Ray2 和#DreamMachine 标签分享作品。此外，Luma Labs 还推出了联盟计划，参与者可通过推广其工具赚取佣金。
