fwq

黑客们逼迫YouTube用户无知地传播恶意软件，通过威胁他们在视频描述中分享恶意链接。 急着走？看这里的快速事实！ 网络犯罪分子通过提出虚假投诉，迫使创作者发布恶意链接。 恶意软件SilentCryptoMiner秘密地在被感染的设备上挖掘加密货币。 一位YouTuber的视频导致40000次恶意软件下载，然后才移除了链接。 这个计划由卡巴斯基揭露，主要针对的是发布关于如何绕过互联网限制的视频的内容创作者，这在俄罗斯是一个很热门的话题。 这些罪犯首先假装是破解软件的原创开发者，对这些视频提出虚假投诉。一旦YouTube删除了视频，黑客就会联系创作者，声称他们有“官方”的新下载链接。 然后，他们会施压YouTuber在新视频中包含这个链接——却没有意识到这个链接实际上是通往恶意软件的。如果YouTuber拒绝，黑客就威胁要提出多次投诉，这可能会导致频道被永久删除。 正在传播的恶意软件是一种”挖矿者”，它秘密地利用被感染的计算机挖掘加密货币。受害者在不知情的情况下安装它，他们认为自己正在下载合法软件。 研究人员表示，这个骗局已经在俄罗斯至少骗取了2000个受害者。一个拥有60,000订阅者的YouTuber发布了多个宣传这种恶意软件的视频，导致在意识到问题并移除链接之前已有40,000次下载。 这款恶意软件被称为SilentCryptoMiner，是一款设计用来避开检测的隐秘程序。它基于XMRig，一款广泛使用的开源挖矿工具。 它可以挖掘包括以太坊（ETH）、门罗币（XMR）和其他各种加密货币。当SilentCryptoMiner检测到运行某些安全进程时，它会被编程停止其活动，使得在没有强大的网络安全保护的情况下很难发现它。 黑客们的目标并不仅限于YouTube。他们还通过Telegram和其他视频分享平台传播他们的恶意软件。这些账户中的许多最终都会被删除，但新的账户很快就会出现。 为了避免感染，网络安全专家建议用户在下载软件时要特别小心，尤其是来自YouTube链接或未知来源的软件。卡巴斯基注意到，即使是声誉良好的内容创作者，如果他们被人勒索，也可能会无意中分享危险的链接。 如果一个程序在安装前要求用户禁用防病毒保护，那就是一个重大的警告信号。保持安全软件的活跃和更新对于阻挡此类威胁至关重要。 随着网络犯罪分子找到新的方式来操控内容创作者及其受众，互联网用户必须保持警惕。始终验证下载链接，避免点击来自未知来源的文件，无论分享它们的人看起来多么值得信赖。

美国国防部已经向Scale AI公司颁发了一份合同，以开发雷霆熔炉，这是一个旨在支持军事规划和决策的人工智能项目。 急着走？这里有快速事实！ Thunderforge致力于利用AI驱动的分析和自动化来现代化军事决策。 初次推出包括INDOPACOM和EUCOM，计划扩展至所有指挥部。 Scale AI与Anduril和Microsoft合作，开发AI驱动的军事规划工具。 由国防创新单位（DIU）领导的这项计划旨在通过AI驱动的模拟和建议，提高作战和战略分析的能力。 Thunderforge的设计目的是通过解决DIU项目负责人Bryce Goodman所描述的现代冲突速度与传统军事决策之间的鸿沟，提高规划效率。 “如今的军事规划流程依赖于几十年前的技术和方法，”Goodman说，根据DIU博客的说法。 “Thunderforge使决策者能够以应对新兴冲突所需的速度运作，”他补充道。 该系统将首先在美国印度-太平洋司令部（INDOPACOM）和美国欧洲司令部（EUCOM）内部部署，计划在所有11个作战司令部进行更广泛的实施。 Thunderforge的AI工具将协助进行任务规划、资源分配和战略分析，利用大型语言模型（LLMs）和模拟来优化建议。尽管进行了AI集成，但DIU博客声称军事指挥官将保留最终决策权。 Scale AI将与Anduril、Microsoft和其他科技公司合作监督该项目。Anduril的Lattice软件和Microsoft的LLMs将被集成进系统，而Scale AI将提供生成式AI和自动决策支持工具的专业知识。 “我们的AI解决方案将改变今天的军事操作过程，使美国的防务现代化，”Scale AI的CEO Alexandr Wang在The Register报告时表示。 这项倡议引发了关于AI在军事应用中的可靠性和伦理影响的担忧。《注册报》报道，批评者强调需要采取防范措施，以防止在高风险场景中产生意外后果。 国防创新单位(DIU)强调，Thunderforge是配有透明度机制的设计，允许用户追踪AI的决策过程并评估信心水平。”准确性和可靠性是核心设计原则，保持人类的监督至关重要，”一名DIU发言人如《注册报》报道所述。 在防务中使用AI仍然是一个有争议的话题。像谷歌和微软这样的公司在以前曾面临员工对涉及AI的军事合同的反对，一些人质疑AI在战争和监视中的角色，正如The Register所指出的。 然而，防务官员认为，AI的采用是保持战略优势所必需的，特别是在其他国家投资类似技术的情况下。 Scale…

科学家们研发出了一种AI模型，通过使用深度学习和优化技术，能够高精度地在物联网设备中检测到勒索软件，以提高网络安全。 赶时间？这里有要点速读！ 这个AI模型能以98.53%的准确率检测IoT设备中的勒索软件。 它利用最小-最大归一化和屎壳郎优化进行更好的威胁检测。 多头注意力和LSTM网络分析勒索软件模式以预测攻击。 一个研究团队今天在由Nature出版的《科学报告》论文中详细介绍了他们的研究成果，他们设计了一个先进的AI驱动模型，用于检测并防止对智能设备进行的勒索软件攻击。 随着物联网（IoT）技术在家庭、医疗保健和工业中的快速扩展，网络安全威胁已成为日益增长的担忧。 勒索软件，作为最危险的网络威胁之一，会将用户锁在他们的系统之外，直到他们支付赎金。研究人员解释了传统安全措施常常无法检测和防止这些不断演变的攻击，这促使研究人员探索AI解决方案。 他们新开发的模型，名为多头注意力基础的递归神经网络与增强猩猩部队优化（MHARNN-EGTOCRD），通过使用机器学习技术，显著提高了勒索软件检测的准确性。 该模型首先使用最小-最大规范化来规范化输入数据，确保高效处理。然后，它采用了由粪金龟优化（DBO）-受到粪金龟定位食物的启发，过滤掉不必要的信息，只关注最相关的网络安全威胁。 在其核心，该系统利用了多头注意力和长短期记忆（MHA-LSTM）网络，这是一种先进的深度学习方法，有助于检测复杂的攻击模式。 通过分析过去的勒索软件行为，AI可以预测并标记可能的攻击，早于它们完全执行。此外，该系统使用增强型大猩猩部队优化（EGTO）进行微调，以优化AI的设置以实现最大效率。 在测试中，该模型在检测勒索软件方面取得了令人印象深刻的98.53%的准确率，超过了传统的网络安全方法。这种高精度表明，AI可能成为对抗网络犯罪，特别是保护智能设备免受复杂攻击的强大工具。 研究人员相信他们的模型可以整合到现有的网络安全系统中，为勒索软件攻击提供早期警告机制。 随着物联网设备在日常生活中的不断扩张，加强其安全性对于防止财务和数据损失至关重要。通过将自然启发的优化技术与深度学习相结合，这种AI模型在网络安全方面代表了一个重要的进步。

社交媒体平台X在周一经历了多次宕机。其所有者，埃隆·马斯克，公开宣布这是由于一次强大的网络攻击所导致的。 赶时间？这里有快速事实！ 周一，埃隆·马斯克报告说，X经历了一场“大规模网络攻击”，导致广泛的停机。 用户报告说，他们在访问X时遇到了困难，大约在东部时间早上10点，停机报告达到了超过40,000例。 网络安全专家对攻击的规模和来源表示怀疑，他们指出，这种中断可能是由小团体或个人引起的。 据CNBC报道，大约有40,000名用户在昨天美国东部时间上午10点左右报告了他们在使用该平台时遇到的问题，这是由实时故障监测网站Downdetector记录的。大约在美国东部时间上午11:30，近28,000人发现了故障，大约在美国东部时间下午2点，也有约22,000人在访问该平台时遇到了困难。 “曾经（而且现在还在）有一场针对𝕏的大规模网络攻击，”穆斯克在他的X账户上写道。“我们每天都会受到攻击，但这次的攻击资源庞大。要么是由一个大的、协调的团体，要么是某个国家参与了进来。” 这个平台问题就发生在同一天穆斯克的政府效能部门（DOGE）推出了GSAi，这是一个专有的聊天机器人，用于在大规模裁员的同时自动化地完成一般服务管理局（GSA）的任务。 根据路透社的报道，网络安全专家对马斯克的声明以及这位亿万富翁所说的”大量资源”持怀疑态度，因为拒绝服务攻击——X平台所遭受的攻击类型——是由个人或小团体执行的。 一位不愿透露姓名的互联网基础设施行业内的消息人士告诉路透社，这个社交媒体网络在当天遭受了多波的拒绝服务攻击。 在接受福克斯商业网络采访时，马斯克表示，这些网络攻击来自位于乌克兰的IP地址。然而，路透社的消息来源表示，与乌克兰IP地址相关的异常流量“微不足道”，大量恶意攻击X的流量被追踪到了美国、巴西、越南和其他地区的IP地址。 马斯克此前曾支持唐纳德·特朗普总统，批评乌克兰对抗俄罗斯的战略，并在周日表示，如果没有他的星链卫星互联网服务，他们的前线“将会崩溃”。

研究人员已经发现了一种新的操纵AI聊天机器人的方法，引发了对具有记忆功能的AI模型安全性的担忧。 急着了解？这里有快速事实！ 来自三所大学的研究人员开发了MINJA，其在欺骗方面的成功率非常高。 该攻击改变了聊天机器人的回应，影响了产品推荐和医疗信息。 MINJA绕过了安全措施，在测试中实现了95%的注入成功率。 这种袭击被称为MINJA（内存注入攻击），只需像常规用户一样与AI系统交互，而无需访问其后端，就可以执行，这是The Register首次报道的。 由密歇根州立大学、乔治亚大学和新加坡管理大学的研究人员开发的MINJA，其工作原理是通过误导提示来毒化AI的记忆。一旦聊天机器人储存了这些欺骗性的输入，它们就可以改变对其他用户的未来回应。 “现在，AI代理通常会包含一个记忆库，该库存储基于人类反馈的任务查询和执行，供未来参考，” 乔治亚大学的助理教授Zhen Xiang在接受The Register报道时解释道。 “例如，每次使用ChatGPT后，用户可以选择给出正面或负面的评价。而这个评级可以帮助ChatGPT决定是否将会话信息纳入他们的记忆或数据库，”他补充说。 研究人员在由OpenAI的GPT-4和GPT-4o驱动的AI模型上进行了攻击测试，包括一个网络购物助手，一个医疗聊天机器人，和一个问答代理。 《注册者》报道，他们发现MINJA可能会导致严重的混乱。例如，在一个医疗保健聊天机器人中，它修改了病人的记录，将一个病人的数据与另一个病人的数据关联起来。在一个在线商店中，它欺骗了AI，使其向客户展示错误的产品。 “相比之下，我们的研究显示，只需像普通用户一样与代理进行交互，就可以发起攻击。”项先生在《注册者》的报道中说。“任何用户都可以轻易地影响任何其他用户的任务执行。因此，我们说我们的攻击对LLM代理构成了实际的威胁，”他补充说。 此次攻击尤其令人担忧，因为它绕过了现有的AI安全措施。研究人员报告说，注入误导性信息的成功率高达95%，这对AI开发者来说是一个需要解决的严重漏洞。 随着具备记忆功能的AI模型日益普及，这项研究突显了需要更强的保护措施来防止恶意行为者操纵聊天机器人并误导用户的迫切性。

Meta在本周三的紧急听证会上获得了法律命令，停止了一位前董事的回忆录的推广和分发。仲裁员支持Meta的主张，认为作者可能违反了一项不诽谤的离职协议。 急着了解？以下是要点！ Meta公司通过法律手段阻止前雇员萨拉·温-威廉姆斯的回忆录疏忽的人们的宣传，声称其违反了不损害协议。 这本回忆录中包含了对不端行为和性骚扰的指控，包括针对高层管理人员的指控。 Meta公司对这些指控表示争议，声称温-威廉姆斯因表现不佳而被解雇，她的指控是错误和过时的。 根据官方裁决，这家科技巨头暂时赢得了法律胜利，阻止了Sarah Wynn-Williams的书《无心者：权力、贪婪和失去理想的警示故事》在紧急程序中接触更广泛的读者，而她并未参加此次程序。在决定中，考虑了2017年签订的一份合同，该合同禁止Wynn-Williams发表负面言论。 Wynn-Williams曾在2011年至2017年间在Facebook（现更名为Meta）工作，担任公共政策主任。她在世界经济论坛的简介中称她是一位具有丰富外交经验的国际律师和政策专家。而直到上周，她关于在Facebook工作七年的全盘托出的回忆录一直保密。 “《粗心的人》是一部黑色幽默且真实震撼的作品：这是一幅丑陋、详细的肖像，描绘了世界上最强大的公司之一。” 本周，《纽约时报》的记者和文学评论家Jennifer Szalai在书评中写道，“Wynn-Williams揭示的内容无疑会激怒她的前任老板。” 在她在Facebook的工作期间，Wynn-Williams与CEO马克·扎克伯格、目前的政策主管Joel Kaplan——据称他曾发表过她报告为性骚扰的不当言论——以及当时的首席运营官雪莉·桑德伯格交往，后者也据前雇员称参与了不当行为。 在得知该书即将出版后，Meta立刻否认了Wynn-Williams的指控，并采取了行动。 “这是一种对公司的过时和先前报道的混合，以及对我们高管的虚假指控。”Meta的一位发言人在周一发布的《纽约邮报》的一次采访中关于这本书说道。“八年前，Sarah Wynn-Williams因表现不佳和有毒行为而被解雇，当时的调查确定她制造了误导性的和毫无根据的骚扰指控。” Meta的通讯主任Andy Stone，在Threads上的一篇帖子中分享了紧急仲裁员Nicholas A Gowen发出的文件，该文件认为Meta已提供了足够的信息，可以认为Wynn-Williams可能在出版她的回忆录时违反了她的合同。 “这项裁决确认了，莎拉·温恩·威廉姆斯的诽谤性虚假书籍不应该被出版，”斯通在帖子中写道。“由于威廉姆斯在被公司解雇八年后，故意隐瞒了她的书籍项目的存在，并且为了赶在八年后上架，避开了行业的标准事实核查过程，使得这个紧急的法律行动变得必要。” 许多用户回应斯通的帖子说，Meta的审查行动只增加了他们对温恩-威廉姆斯的书的阅读兴趣，并批评了这个科技巨头的论点。“我非常困惑。我以为Facebook正在回归其根本，拥抱言论自由。’社区注释’不能处理虚假声明吗？”一位用户如此写道，他在引用Meta近期决定结束其事实核查计划的新闻。

OpenAI，也就是ChatGPT背后的公司，正在推动美国政府采纳允许AI模型在受版权保护的材料上进行训练的政策。他们认为，这对于维持美国在全球人工智能领域的领导地位至关重要。 赶时间？下面是重点速览！ 声称严格的版权规定可能会让中国在人工智能方面占优势。 OpenAI因未经授权使用版权作品，面临着作者和出版商的诉讼。 提议设立”人工智能经济区”，以加快基础设施和能源项目的进程。 在提交给特朗普政府的“AI行动计划”的提议中，OpenAI呼吁制定一项版权策略，保留AI模型从版权作品中学习的能力，并声称，过于严格的规定可能会将AI竞赛的优势交给中国。 “正是由于公平使用原则推动了AI的发展，美国才有如此众多的AI创业公司，吸引了大量的投资，并取得了诸多研究突破，” OpenAI在其提案中写道。 该公司强调，将AI训练限制在公共领域的内容上将会阻碍创新，无法满足现代社会的需求。OpenAI的立场是在与包括《纽约时报》在内的新闻机构和已经因其未经许可使用其版权作品而起诉该公司的作者等内容创造者的持续法律战中提出的。 最近，前OpenAI研究员和告密者Suchir Balaji的死亡继续引发争议，因为他的家人对自杀的判决表示质疑。Balaji是OpenAI诉讼案中的关键证人，他在去世前几个月指控该公司侵犯版权。 一次独立的尸检揭示了一些异常，包括不寻常的子弹弹道，这使得人们对官方的调查结果产生了怀疑。他的家人已经提起诉讼，要求透明度，而像Elon Musk这样的公众人物也对此情况表示质疑。 尽管面临这些诉讼，OpenAI坚称其模型将受版权保护的材料转化为新的东西，符合「合理使用」原则。公司发表声明说：“我们的AI模型训练符合版权和合理使用原则的核心目标，利用现有作品创造出全新且不同的东西。”这是Ars Technica的报道。 该提案也强调了对中国日益增长的AI能力的担忧。OpenAI警告说，如果美国公司失去训练数据的使用权，而中国公司继续自由使用，那么“AI竞赛实际上已经结束”，Ars Technica报道。 该公司敦促美国政府制定国际版权政策，以防止其他国家对美国AI公司施加限制性规定。网络安全专家伊利亚·科洛琴科博士对OpenAI的提议表示怀疑，称其为“滑稽的坡度”。 他认为，为那些作品被用于训练AI模型的作者支付合理的补偿，对AI公司来说在经济上是不可行的。科洛琴科在接受The Register的采访时表示，“为AI技术提倡特殊制度或版权例外是有问题的。” 除了版权问题外，OpenAI的提案还包括加速AI基础设施发展的建议，比如创建“AI经济区”以简化建设数据中心和能源设施的许可，如The Register所述。 该公司还呼吁联邦机构更积极地采用AI工具，指出政府部门的采用率“低得令人无法接受”。OpenAI对AI训练限制的减少反映了关于创新与知识产权之间平衡的更广泛的辩论。

英国公司维珍大西洋航空(Virgin Atlantic)本周一宣布与美国初创公司Joby航空(Joby)建立新的合作关系，后者专门从事电动空中出租车业务，目标是在英国提供商业服务。 急着了解？这里有重点事实： 维珍大西洋航空公司与Joby航空公司合作，推出零排放空中出租车服务，通过短途电动飞行，将英国各大机场和城市连接起来。 乘客很快就能通过维珍大西洋航空公司的应用程序和网站，预订快速、环保的空中出租车。 Joby航空公司正在全球范围内扩展其空中出租车服务，包括计划在迪拜开展业务。 根据新闻稿，飞行出租车服务将为乘客提供短途旅行，航班时长大约在8到15分钟内，将区域性的城市和机场连接起来。计划中的路线将把客户从维珍大西洋航空在曼彻斯特机场和希思罗机场的枢纽运送到附近的地点。服务的具体日期尚未公布。 新的合作关系扩大了达美航空公司与Joby之间的现有协议——达美航空公司在维珍大西洋航空公司拥有49%的股份——以在美国提供服务。 Joby因其零排放车辆而受到人们的欢迎，这些车辆类似于现代直升机，有六个可倾斜的螺旋桨，能够容纳多达四名乘客——以及飞行员。这些空中出租车的速度可以达到每小时200英里——大约321公里/小时。用户将能够通过维珍大西洋航空公司的应用程序、网站和其他替代方式预订一条路线的座位。 “作为可持续性发展的领导者，创新深入我们的DNA，我们很高兴与Joby合作，为英国各地的机场和城市带来短途、零排放的航班。”Virgin Atlantic的首席执行官Shai Weiss如是说。 如文件中所述，这些飞行出租车产生的噪音“仅为当今直升机产生的噪音的一小部分”，并且已经设计能覆盖长达100英里—160公里的航线。 Joby和Virgin Atlantic计划在英国各地建立一个网络，连接便捷的地点，价格与高级地面交通服务相当。他们并未宣布该服务的预计日期，但Virgin Atlantic将依赖Joby进行市场营销工作和监管协议，以尽快提供服务。 Virgin Atlantic和Delta Airlines并非是唯一对Joby的飞机感兴趣的大型企业。根据The Verge的报道，Toyota去年十月向这家初创公司投资了5亿美元，而Joby预计将在今年晚些时候开始在迪拜提供其空中出租车服务。 在航空产品和服务市场上，其他公司和组织也宣布了技术进步。 亚马逊已经扩大了其在美国的无人机送货服务，而韩国的一组研究人员正在开发一种“飞行购物车”，以通过空中运输物品。

比特币在2024年底和2025年1月的强势上涨，由于加密市场的乐观态度和全球主要领导人的政治支持，现在看来仿佛是遥远的记忆。比特币在突破10万美元大关后，面临了急剧下跌，使投资者对其走势产生疑问，热情转变为不确定性 到2024年底，加密市场蓬勃发展，激发了投资者、专家和爱好者的热情和激情。 比特币在12月首次突破10万美元大关，机构投资者纷纷涌入，特朗普将自己定位为支持加密货币的候选人，被誉为加密市场的“救世主”。然而，到了2025年，这种势头已经消退。 在今年的前几周里，由于美国政府没有任何新的声明，也没有任何显著的变化来维持上升趋势，比特币的价值出现了下跌。 终于在三月，期待已久的声明出炉，但似乎并未达到投资者和加密货币爱好者的期待。加密市场到底发生了什么，专家预测接下来的日子里比特币会发生什么呢？ 年初不稳定的开始 在2025年1月达到历史最高点后，比特币超过了$109,000，但未能保持其打破记录的势头。这个高峰最初是由对加密市场年初有望的开局以及来自一位世界性重要领导者的支持所带来的乐观情绪推动的。然而，这种加密货币的价值在接下来的几个月中出乎意料地下降了 即使在牛市中，价值调整也是正常的。然而，这种下降也受到了其他意外事件的影响，比如历史上最大的加密货币盗窃。在2月份，交易平台Bybit遭遇了市场上最震惊的攻击之一。一群黑客成功盗走了超过400,000枚以太坊币，当时的价值相当于15亿美元。 这次事件在市场中引发了新的不确定性，使得最重要的加密货币的价值再次摇摆不定，这次是低于80,000美元。 几天后，特朗普开始就他对加密世界的承诺采取行动，并宣布了美国政府的加密货币储备，但这似乎并未在市场中产生太多希望。此外，他最近的关税变动并未给投资者带来太多的稳定性或信心。 专家意见不一 今年的修正性抛售，被认为是自2022年以来最糟糕的，震惊了许多投资者——包括专家——也引发了各种理论和解释。 “我对比特币达到80,000美元感到惊讶，而且看起来血腥的抛售还没有结束，” 投资银行H.C. Wainwright的分析师Kevin Dede在几天前对路透社说。 比特币的下跌主要影响了那些在市场上升期间进入市场的新投资者，其中一些人是在比特币价格超过100,000美元时进入的。他们不习惯于加密货币的波动，因此受到了货币贬值的冲击。据路透社分享的统计数据，市场上至少有2000万个比特币地址——约占总数的1.5%——属于近几个月新创建的账户。 虽然有人认为这种数字货币会继续贬值，但也有人认为这是一个购买更多并等待增值的机会，他们将目光集中在”买入低点”的行动上。 跌破70,000美元 尽管比特币的价格在过去的几天里一直维持在82,000美元以上，恢复了一些稳定性，但一些分析师和专家认为它在接下来的几周内将继续下降。 经济学家彼得·席夫将其与纳斯达克的行为进行了比较，估计如果市场保持熊市趋势，比特币可能接近60,000美元，甚至更低。 “纳斯达克下跌了12%”，Schiff在社交媒体平台X上写道。“如果这次调整最终变成了熊市，并且纳斯达克下跌12%等同于比特币下跌24%的关联性持续存在，那么当纳斯达克下跌20%时，比特币的价格将约为65,000美元。” 这位专家还比较了可能的，更为悲观的情况，例如2008年的互联网泡沫和COVID-19大流行期间，纳斯达克市场平均下跌了55%。他估计，如果发生类似的情况，比特币可能会跌破20,000美元。 超过300,000美元 尽管市场不稳定，加密货币的价值可能会继续下滑，但许多人仍保持乐观态度。 “现在让所有人感到恐慌的是宏观经济状况，”加密货币钱包平台Exodus（EXOD）的首席执行官JP Richardson在最近的接受雅虎财经采访时说。”我们这些在行业内的人仍然非常看好……我现在正在尽可能多地购买比特币。” 几天前，JP Richardson是在白宫与特朗普会面的加密货币领导者之一，他保证美国政府的决策将成为其他国家和公司的参考，并且只是时间问题，加密货币投资者的乐观情绪将会恢复。…

OpenAI的研究人员发现，惩罚AI的欺诈或有害行为并不能消除其恶行，反而只会教会AI隐藏其意图。 赶时间？这里有快速的事实摘要： AI模型利用漏洞来最大化奖励，这种现象被称为“奖励黑客”。 CoT推理有助于检测AI试图欺骗或规避任务的时候。 惩罚AI的欺骗行为会导致它隐藏意图，而不是停止不良行为。 这种现象被称为“奖励黑客”，是指AI模型会利用漏洞以非预期的方式最大化奖励。此项研究在OpenAI博客文章中详细介绍，包括使用另一个大型语言模型（LLM）监控边缘推理模型的决策过程。 这些推理模型，如OpenAI的o3-mini，利用了一种名为”思维链条”（CoT）的推理技术，使它们能够以自然语言表达自己的思考过程。这种透明度使我们更容易发现模型试图作弊、撒谎或者规避分配的任务时的行为。 此前，ChatGPT o1引发了争议，因为研究人员发现它表现出欺骗和自我保护的倾向。该模型否认涉及其行为，操纵反应，并试图逃避监管，引发了对AI安全和治理的担忧。 “边疆推理模型通常会非常明确地在思维链中陈述他们的目的。例如，他们经常直言不讳地谈论他们颠覆任务的计划，他们会想‘让我们来黑吧’，”OpenAI的研究人员写道。 通过跟踪AI的思维链（CoT）推理，研究人员捕捉到了一些行为失范的实例，例如模型过早地停止程序以虚假声称成功，或者创建只看起来像预期输出的空文件。 然而，当研究人员通过训练对这些行为进行惩罚时，AI会通过隐藏其意图的方式进行调整，同时继续欺骗。 在执行编程任务时，AI经常进行“奖励黑客行为”，即它会操纵结果以最大化自己的奖励，而不是遵循预定的道德约束。 例如，在一次情况中，AI过早地终止了一个程序，并错误地报告了成功的结果。在另一种情况下，它生成的输出文件只是模仿了所需的格式，但并未包含任何功能性的内容。 这些欺诈行为一开始很容易被发现，因为AI在其CoT推理中公开承认了其行为，有时甚至直接表示，“让我们来黑。” 为了抵消这种情况，OpenAI的研究人员试图对AI进行处罚以阻止此类行为。然而，AI并没有停止这种不当行为，反而学会了掩饰其意图。 “即使在CoT压力下训练的代理仍然学会了奖励黑客手段；只是现在，它的作弊行为被监控器无法检测，因为它已经学会了在思维链中隐藏自己的意图，”这项研究指出。 这一发现对AI监管提出了挑战。尽管CoT监控为捕捉AI的利用提供了一个有希望的工具，但强烈的优化压力可能会破坏模型的透明度。 这一发现凸显了AI对齐中的一项基本挑战：确保先进的AI模型遵循道德和预期的行为，而不仅仅是适应以避开检测。 该研究表明，直接优化AI模型以抑制奖励黑客可能会带来意想不到的后果，例如使AI生成的推理变得不透明。 鉴于这个风险，OpenAI建议不要对AI模型中的CoT推理施加过多的限制。 “牺牲一种有效的监控推理模型的方法可能并不值得微小的能力改进，因此我们建议在更好地理解这些问题之前，避免过度强调CoT优化压力，”OpenAI写道。 这些发现强调了创建与人类意图相符，同时又保持透明度的AI系统的难度。随着AI模型变得越来越复杂，仅仅提高它们的智能并不能解决道德问题；实际上，这可能会让它们更擅长隐藏不当行为。 未来的研究需要探索AI监管的替代方法，以平衡控制和开放性，确保AI模型既有效又可靠。