近日，一位名叫ToxMod的AI“警长”进驻城市，这座城市的名字是《使命召唤》（Call of Duty）。
《使命召唤》加入了越来越多的在线游戏，通过监听游戏内语音聊天来打击游戏中的毒性行为，并且它正在使用AI来辅助这个过程。动视（Activision）宣布与AI公司Modulate合作，将其专有的语音监管工具ToxMod整合到《现代战争2》（Modern Warfare 2）、《战区2》（Warzone 2）以及即将推出的《现代战争3》（Modern Warfare 3）中。
动视表示，ToxMod将于今天开始在北美服务器上进行beta测试，它能够“实时识别和打击毒性言论，包括仇恨言论、歧视性语言、骚扰等等。”
Modulate将ToxMod描述为“专门为游戏打造的唯一主动语音聊天监管解决方案。”尽管官方网站上列出了ToxMod已经在使用中的一些游戏（主要是一些小型虚拟现实游戏，如《Rec Room》），但《使命召唤》每天数以千计的玩家很可能将成为该工具迄今为止最大规模的部署。
《使命召唤》的ToxMod AI将不会自由行使对玩家的封禁权力。今天发布的语音聊天监管问答指出，该AI的唯一任务是观察和报告，而不是惩罚。
“《使命召唤》的语音聊天监管系统只会提交关于毒性行为的报告，这些行为按照其行为类型和基于不断演进的模型的严重程度进行分类，”答案中写道。“动视将确定如何执行语音聊天监管的违规行为。”
因此，理论上，在采取任何行动之前，对您提出的声音聊天投诉将由人工审核，但ToxMod在标志潜在违规行为时不仅仅查看关键词。Modulate表示，其工具之所以独特，是因为它能够分析语音中的语调和意图，以确定何为毒性和何为友好。如果您对如何实现这一点感到好奇，您可能不会找到一个清晰的答案，但您会发现许多听起来令人印象深刻的声明（这是我们从AI公司习以为常的）。
该公司表示，它的语言模型已经花费大量时间听取了来自不同背景的人的演讲，并能够准确区分恶意和友好的取笑。有趣的是，Modulate的伦理政策规定，ToxMod“不会检测或识别个体说话者的种族”，但它会“听取对话线索，以确定其他参与对某些术语的使用做出了何种反应。”
比如，像n字这样的词汇：“尽管n字通常被认为是一种可怕的侮辱性词汇，但许多自认为是黑人或棕色人种的玩家已经重新定义并在其社区中积极使用...如果有人说n字并明显冒犯了聊天中的其他人，那将被评为更严重的违规行为，而如果它似乎被自然地融入到对话中，则会被视为被重新定义的用法。”
Modulate还提供了对儿童的有害言论的示例。“例如，如果我们在聊天中检测到一个未成年的发言者，由于对儿童的风险，我们可能会更严重地评估某些类型的违规行为，”该网站写道。
近几个月来，ToxMod的标志类别变得更加精细。今年6月，Modulate在其语音聊天监管中引入了“暴力激进化”类别，可以实时标志与“白人至上主义团体、激进化和极端主义”有关的术语和短语。
