行业新闻

尽管一直承诺减少AI的”幻觉”现象，但从ChatGPT到Perplexity，再到Gemini，以及Apple Intelligence等主要的AI工具，继续生成虚假信息，而且往往带来令人警惕的后果。包括那些对AI风险发出警告的专家们，也被假造的内容所蒙蔽，甚至像Deep Research这样的先进工具也在编造报告。真相似乎仍然在人类手中 这些年来，聊天机器人的表现一直在改善—改善得非常大。然而，有一个问题至今仍没有得到完全解决，这就是所谓的”幻觉”。 我们深爱的聊天机器人以科幻小说中尤达一般的决心和权威回答我们的问题，即使它们回答得很糟糕，我们也相信它们。有时，我们甚至盲目地信任它们。 多年来，许多科学家、专家，甚至聊天机器人的开发者都在警告大家要注意这种幻觉。然而，尽管采用率正在迅速扩大——就在几天前，《开放人工智能》报道了每周活跃用户达到了4亿——但AI的科学素养并没有跟上这个步伐。 近期的研究、法庭案例和戏剧性事件持续揭示，我们对错误信息的了解甚至比我们想象的更为危险。 情况比我们想象的更糟 起初，发现重大的人工智能生成错误是相当有趣的——就像Gemini生成的令人尴尬的AI概述建议用户在披萨食谱的酱料中加入“无毒胶水”，或者在去年推荐每天吃“一小块石头”。但是，随着我们重新对AI产生信任，情况已经升级，越来越令人担忧。 在十二月，我们看到苹果的AI工具创造了“概括”新闻的头条，并产生了虚假和误导性的信息，例如错误地声称BBC已经宣布Luigi Mangione自杀了。这起事件发生后，这家出版社向苹果提出了投诉，并开始研究生成式AI在分析新闻内容时的准确性。 几天前公布的BBC的调查结果显示了令人震惊的统计数据：受欢迎的AI聊天机器人提供的答案中有51%存在重大问题，模型提供的引语中有13%完全是捏造的，而19%的数据是错误的。 青少年是受影响最严重的群体之一，他们常常难以区分假新闻和真新闻，并且很容易受到AI生成内容的影响。一项在一月份发表的研究显示，有35%的青少年被AI模型生成的假内容误导，22%的青少年分享了这些假信息。 但不仅仅是青少年和粗心的人会被这些幻觉所迷惑。也不仅仅是双子座或苹果智能。 没有AI模型能幸免，没有行业是安全的 BBC进行的研究证实了另一个问题：所有的AI模型都会产生幻觉。专家们考虑了最流行的模型，如ChatGPT、Gemini、Perplexity和Copilot。没有一个AI模型能免疫错误。Anthropic有一个页面专门解决这个问题，提出了如何减少幻觉的想法。文档指出，“即使是最先进的语言模型，如Claude，有时也会生成与给定上下文不一致或事实错误的文本。” 其他AI公司也分享了类似的页面，提供了避免假内容的提示和技巧，但是这并不容易，而且这个问题已经存在了很长一段时间。在2023年，OpenAI宣布他们正在研究新的创新方法来消除幻觉。剧透警告：这个问题至今仍然非常严重。 2024年1月——也就是一年多以前——CEO Aravind Srinivas 表示，Perplexity的幻觉主要出现在未付费账户中。”大部分的投诉来自于产品的免费版本，”Srinivas解释说，并补充道他们已经在增加更多的GPU来解决这个问题。然而，到了10月，纽约邮报和道琼斯对Perplexity提起了诉讼——因为他们的模型一直在误导他们的出版物——而且这家初创公司为美国选举开发的AI工具，被专家测试后发现存在不一致性，总结不准确，以及幻觉现象。 幻觉病正在达到科学和学术的水平 当前最大的担忧之一是，即使是专家——包括那些警告人工智能风险和危险的人——也会被这些易于产生幻觉的工具迷惑。 去年12月，斯坦福大学教授和科技与虚假信息专家杰夫·汉考克被指控使用AI制作法庭陈述。汉考克提交了一份12页的声明，为州的2023年法律进行辩护，该法律将使用深度伪造的行为刑事化，包括15个引用。然而，其中两个引用在任何地方都找不到——因为ChatGPT，这位虚假信息专家喜欢的AI工具，简单地编造了它们。 汉考克——今年计划教授“真理、信任和科技”——解释说，他利用OpenAI的聊天机器人来整理他的引用资料，这导致了一些幻觉。这位研究者道歉了——并坚持他的声明的实质观点——, 并教给我们所有人一个宝贵的教训，即即使是专家和最了解AI风险的人也会受到其影响。 当然，汉考克教授并不是唯一一个提交了包含AI生成虚构内容的法庭文件的人。另一起涉及对沃尔玛的诉讼的案件最近因为律师们使用AI生成的伪造案例来构建他们的论点而走红。事实上，这个问题在美国法庭中已经变得越来越频繁，以至于摩根&摩根律师事务所最近向其超过1000名律师发送了电子邮件，警告他们使用AI生成的引用资料的风险，美国律师协会也提醒其40万会员遵守律师道德规则——包括AI生成的信息。 深度研究也是如此 目前最受欢迎的AI工具之一是”深度研究”，它是为寻求在研究中得到更复杂结果的专家和科学家设计的。尽管OpenAI的版本最初需要200美元的Pro订阅才能访问，但这个工具也并不缺乏幻觉。…

Mozilla最近对其隐私政策和使用条款的变更引起了用户的批评，这导致了人们对数据隐私和透明度的担忧，这是首次由ArsTechnica报道的。 赶时间？这里有快速事实！ 该公司缓和了其关于永不出售用户数据的声明。 用户批评了赋予Mozilla使用其输入数据许可的新条款。 Mozilla表示，该许可对Firefox的基本功能是必要的。 该公司已经修改了其长期以来对Firefox的承诺，即Firefox是为了保护用户隐私而设计的，并且它已经弱化了先前关于不出售用户数据的保证。 在Mozilla的数据隐私FAQ中出现了一个显著的变化。之前，它的声明是：“Mozilla不出售你的数据，我们也不购买你的数据。” 然而，ArsTechnica注意到，更新后的版本明确指出，由于在某些司法管辖区中，“销售”的法律定义很广泛，Mozilla不再断言不出售数据。 的确，新的常见问题解答中写道：”Mozilla不会出售关于你的数据（以大多数人对’出售数据’的理解），我们也不购买关于你的数据。由于我们追求透明度，且在一些地方，“数据销售”的法律定义非常宽泛，我们不得不从你熟知且喜欢的明确声明中退却。” 该公司并未详细说明哪些司法管辖区有这些宽泛的法律定义。ArsTechnica报道称，Mozilla更新的使用条款引发了批评。其中一条条款规定，用户授予Mozilla一个许可，使用上传或输入的信息来提升他们的浏览体验。 该条款规定：“当你通过Firefox上传或输入信息时，你在此授予我们非独家、免版税、全球性的许可，使用这些信息来帮助你导航、体验和与在线内容互动，如你在Firefox的使用中所示。” 用户在GitHub、Reddit和Mozilla的讨论论坛上表达了他们的担忧。ArsTechnica报道，一位用户回应道：“你不能要求你的用户赋予你这么广泛的权利来使用他们的数据。目前这份协议的书写方式，是无法接受的。” 作为对这场反弹的回应，Mozilla在周三的博客文章中阐明了其立场，表示这种许可证对Firefox的核心功能来说是必要的，ArsTechnica报道称。 另一个争议点是Mozilla处理地理位置相关关键词的方式。更新后的隐私政策声明，Mozilla可能会接收这些关键词并与合作伙伴分享，以提供推荐和赞助内容，ArsTechnica报道称。 该公司声称在分享这些关键词之前，将其进行了匿名处理。根据ArsTechnica的报告，用户可以通过在Firefox设置中关闭“Sponsored Suggestions”来禁用此功能。 尽管Mozilla已经做了解释，但许多用户仍然不信任。ArsTechnica表示，Mozilla还未对这些政策变动提供进一步的澄清。

英国的数据保护监察机构，信息专员办公室（ICO），本周一宣布已经开始调查Reddit、TikTok和图片分享平台Imgur是如何保护儿童个人信息的。 急着走？这里有快速概况！ 英国的ICO正在调查Reddit、TikTok和Imgur，原因是对儿童数据保护的担忧。 此次调查主要针对TikTok的内容推荐以及Reddit和Imgur的年龄验证措施。 此次调查与英国的儿童法规一致，目标是加强网络儿童安全。 根据官方公告，决定进行这些调查是由于对数据使用的担忧日益增加。 “我们欢迎像社交媒体这样的公司带给英国的技术和创新，并希望他们在我们的经济中蓬勃发展。但这绝不能以儿童的隐私为代价。”英国信息专员约翰·爱德华兹说，“如果社交媒体和视频分享平台想要从在英国的运营中获益，那么他们必须遵守数据保护法。” ICO解释说，对抖音的调查主要集中在13岁至17岁之间的儿童的数据使用，以及该平台的算法所给出的推荐。该机构对这个平台向英国的青少年提供有害和不适当的建议表示了担忧。 对Reddit和Imgur的调查也与数据使用有关，但更多地集中在年龄确认措施上。澳大利亚在线安全监管机构ESafety发布的最近的一份报告，揭示了对年龄验证系统的担忧，以及儿童如何能轻易绕过多个社交媒体平台当前使用的安全措施。ESafety的调查发现，Reddit并不知道有多少13到17岁的用户在使用其平台。 ICO将考虑可能的数据保护侵权行为，并据此采取行动。该机构还解释说，这些调查是他们更广泛承诺的一部分，即遵守儿童守则——也就是2021年实施的适龄设计守则(AADC)，以保障儿童的隐私和安全。 “我也想借此机会向英国的儿童、父母和照顾者保证，我们正在为他们努力，让网络世界变得更安全，”爱德华兹说。 几周前，英国成为全球首个禁止并惩罚与儿童性虐待材料有关的人工智能生成性内容的国家。

谷歌在周一宣布了三项新的以自然和气候为主题的AI计划，包括SpeciesNet，这是一个开源的AI模型，旨在识别野生动物。 赶时间？这里有要点速览！ Google推出了三项新的以自然保护和气候行动为重点的AI项目。 SpeciesNet，一个基于6500万图像训练的开源AI模型，有助于识别野生动物并追踪生物多样性。 Google向气候与社会研究所投资了300万美元，并推出了一项针对初创公司的新加速器。 根据官方公告，该公司正在开发项目以解决自然和生物多样性的损失问题。 “今天，我们宣布了三项新的努力，旨在加快保护和恢复一些拥有最关键生态环境、生态系统和社区的地区的自然环境，”Google可持续性项目与创新部门的负责人Mike Werner写道。 发布的AI模型已经开发出来，用于分析照片并识别物种，并通过超过6500万张图片进行训练。自2019年以来，有数以千计的野生生物生物学家通过一个名为Wildlife Insights的云端工具，借助照相机陷阱使用SpeciesNet。这个工具帮助专家分享数据、监测生物多样性、快速处理，并向组织和社区提供信息，为决策提供指导。 随着其发布，Google期望该工具能够扩展并被开发者、学者以及专注于生物多样性的初创公司使用。 这家科技巨头还为初创公司引入了一种新的加速器，并向气候与社会研究所（ICS）投资了300万美元，以支持那些开发与恢复生物多样性损失、生物经济和再生农业相关项目的组织。 谷歌的加速器将专注于在美洲发展保护自然技术的初创公司。从五月开始，这家科技巨头将为期10周的虚拟编程培训、导师指导和谷歌工程师的技术支持。申请已于昨天开放，将持续到3月31日。 iCS将会把谷歌的300万美元资金分发给选定的巴西非营利组织，这些组织愿意利用AI技术来发展他们在生物多样性保护方面的倡议。 其他国际气候科技公司，如XOCEAN，已经开始利用AI技术来发展他们的可持续性和生物多样性保护项目。

美国国家航空和宇宙局（NASA）与意大利航天局于3月3日达成了一个历史性的里程碑，月球全球卫星导航系统接收器实验（LuGRE）成为首个成功在月球表面获取并追踪地球基导航信号的技术演示。 赶时间？看这里的快速概述！ NASA的阿耳忒弥斯任务可能会从GNSS信号中获益，以实现自主导航。 蓝鬼着陆器在3月2日运送了LuGRE和其他NASA的有效载荷。 LuGRE在距离地球209,900英里的地方实现了最高的GNSS信号接收。 美国国家航空和宇宙局（NASA）在周二宣布他们成功进行了月球全球导航卫星系统接收器实验（LuGRE），证明了全球导航卫星系统（GNSS），包括GPS和伽利略，的信号可以在月球上接收和追踪。 对于未来的月球宇航员来说，精准的导航将是至关重要的，但是传统的GPS在离地球225,000英里的地方无效。一个有希望的解决方案是将GNSS数据传输到月球表面，允许航天器自主测量时间、速度和位置。 目前，美国航空航天局（NASA）通过使用航天器上的传感器和地球上的信号的组合来追踪航天器，这往往需要工程师的监督。通过用GNSS数据替换其中一些系统，航天器可以自主接收信号，减少对人工操作员的需求。 这个突破对于美国国家航空航天局（NASA）的阿耳忒弥斯任务和其他未来的月球以及深空任务可能至关重要，因为它使宇宙飞船能够自主确定他们的位置、速度和时间，且准确度极高。 这项发展为未来月球和火星任务的先进导航系统奠定了基础。 “在地球上，我们可以利用GNSS信号在从智能手机到飞机的各种设备中进行导航，”NASA的SCaN（空间通信和导航）项目的副行政副总裁凯文·科金斯说。 “现在，LuGRE向我们展示了我们可以在月球成功获取并追踪GNSS信号。这是对月球导航的一个非常令人兴奋的发现，我们希望能够利用这种能力进行未来的任务。” 这个成就的旅程始于3月2日，当时Firefly Aerospace的Blue Ghost月球着陆器在月球上着陆，一同携带了LuGRE以及另外九个NASA的载荷。着陆后不久，马里兰州NASA戈达德太空飞行中心的团队开始了在月球表面进行的首次科学操作。 随着LuGRE的数据流入，团队急切地等待着结果。在3月3日东部标准时间凌晨2点，确认LuGRE已经获得并追踪到了GPS和伽利略系统的信号，距离地球约225,000英里，并且实现了首次导航修正。 除了这一成就外，这次任务对于意大利空间局来说还有另一个里程碑，因为LuGRE载荷是该机构首次在月球上部署的硬件。 在抵达月球之前，LuGRE已经创下了多项纪录，包括在其飞行过程中以209,900英里的最高海拔获取GNSS信号。 有效载荷的高度继续上升，于2月20日达到月球轨道，距离地球243,000英里。这些记录表明，未来在月球轨道附近的太空任务也可能依赖GNSS信号进行导航。 LuGRE在自主导航方面的成功，标志着从传统依赖地球基站的追踪方式向新的方式转变。有效载荷的表现说明，航天器可以更为独立地运行，甚至在距离月球这么远的地方，依然可以使用GNSS信号导航。

黑客们逼迫YouTube用户无知地传播恶意软件，通过威胁他们在视频描述中分享恶意链接。 急着走？看这里的快速事实！ 网络犯罪分子通过提出虚假投诉，迫使创作者发布恶意链接。 恶意软件SilentCryptoMiner秘密地在被感染的设备上挖掘加密货币。 一位YouTuber的视频导致40000次恶意软件下载，然后才移除了链接。 这个计划由卡巴斯基揭露，主要针对的是发布关于如何绕过互联网限制的视频的内容创作者，这在俄罗斯是一个很热门的话题。 这些罪犯首先假装是破解软件的原创开发者，对这些视频提出虚假投诉。一旦YouTube删除了视频，黑客就会联系创作者，声称他们有“官方”的新下载链接。 然后，他们会施压YouTuber在新视频中包含这个链接——却没有意识到这个链接实际上是通往恶意软件的。如果YouTuber拒绝，黑客就威胁要提出多次投诉，这可能会导致频道被永久删除。 正在传播的恶意软件是一种”挖矿者”，它秘密地利用被感染的计算机挖掘加密货币。受害者在不知情的情况下安装它，他们认为自己正在下载合法软件。 研究人员表示，这个骗局已经在俄罗斯至少骗取了2000个受害者。一个拥有60,000订阅者的YouTuber发布了多个宣传这种恶意软件的视频，导致在意识到问题并移除链接之前已有40,000次下载。 这款恶意软件被称为SilentCryptoMiner，是一款设计用来避开检测的隐秘程序。它基于XMRig，一款广泛使用的开源挖矿工具。 它可以挖掘包括以太坊（ETH）、门罗币（XMR）和其他各种加密货币。当SilentCryptoMiner检测到运行某些安全进程时，它会被编程停止其活动，使得在没有强大的网络安全保护的情况下很难发现它。 黑客们的目标并不仅限于YouTube。他们还通过Telegram和其他视频分享平台传播他们的恶意软件。这些账户中的许多最终都会被删除，但新的账户很快就会出现。 为了避免感染，网络安全专家建议用户在下载软件时要特别小心，尤其是来自YouTube链接或未知来源的软件。卡巴斯基注意到，即使是声誉良好的内容创作者，如果他们被人勒索，也可能会无意中分享危险的链接。 如果一个程序在安装前要求用户禁用防病毒保护，那就是一个重大的警告信号。保持安全软件的活跃和更新对于阻挡此类威胁至关重要。 随着网络犯罪分子找到新的方式来操控内容创作者及其受众，互联网用户必须保持警惕。始终验证下载链接，避免点击来自未知来源的文件，无论分享它们的人看起来多么值得信赖。

美国国防部已经向Scale AI公司颁发了一份合同，以开发雷霆熔炉，这是一个旨在支持军事规划和决策的人工智能项目。 急着走？这里有快速事实！ Thunderforge致力于利用AI驱动的分析和自动化来现代化军事决策。 初次推出包括INDOPACOM和EUCOM，计划扩展至所有指挥部。 Scale AI与Anduril和Microsoft合作，开发AI驱动的军事规划工具。 由国防创新单位（DIU）领导的这项计划旨在通过AI驱动的模拟和建议，提高作战和战略分析的能力。 Thunderforge的设计目的是通过解决DIU项目负责人Bryce Goodman所描述的现代冲突速度与传统军事决策之间的鸿沟，提高规划效率。 “如今的军事规划流程依赖于几十年前的技术和方法，”Goodman说，根据DIU博客的说法。 “Thunderforge使决策者能够以应对新兴冲突所需的速度运作，”他补充道。 该系统将首先在美国印度-太平洋司令部（INDOPACOM）和美国欧洲司令部（EUCOM）内部部署，计划在所有11个作战司令部进行更广泛的实施。 Thunderforge的AI工具将协助进行任务规划、资源分配和战略分析，利用大型语言模型（LLMs）和模拟来优化建议。尽管进行了AI集成，但DIU博客声称军事指挥官将保留最终决策权。 Scale AI将与Anduril、Microsoft和其他科技公司合作监督该项目。Anduril的Lattice软件和Microsoft的LLMs将被集成进系统，而Scale AI将提供生成式AI和自动决策支持工具的专业知识。 “我们的AI解决方案将改变今天的军事操作过程，使美国的防务现代化，”Scale AI的CEO Alexandr Wang在The Register报告时表示。 这项倡议引发了关于AI在军事应用中的可靠性和伦理影响的担忧。《注册报》报道，批评者强调需要采取防范措施，以防止在高风险场景中产生意外后果。 国防创新单位(DIU)强调，Thunderforge是配有透明度机制的设计，允许用户追踪AI的决策过程并评估信心水平。”准确性和可靠性是核心设计原则，保持人类的监督至关重要，”一名DIU发言人如《注册报》报道所述。 在防务中使用AI仍然是一个有争议的话题。像谷歌和微软这样的公司在以前曾面临员工对涉及AI的军事合同的反对，一些人质疑AI在战争和监视中的角色，正如The Register所指出的。 然而，防务官员认为，AI的采用是保持战略优势所必需的，特别是在其他国家投资类似技术的情况下。 Scale…

科学家们研发出了一种AI模型，通过使用深度学习和优化技术，能够高精度地在物联网设备中检测到勒索软件，以提高网络安全。 赶时间？这里有要点速读！ 这个AI模型能以98.53%的准确率检测IoT设备中的勒索软件。 它利用最小-最大归一化和屎壳郎优化进行更好的威胁检测。 多头注意力和LSTM网络分析勒索软件模式以预测攻击。 一个研究团队今天在由Nature出版的《科学报告》论文中详细介绍了他们的研究成果，他们设计了一个先进的AI驱动模型，用于检测并防止对智能设备进行的勒索软件攻击。 随着物联网（IoT）技术在家庭、医疗保健和工业中的快速扩展，网络安全威胁已成为日益增长的担忧。 勒索软件，作为最危险的网络威胁之一，会将用户锁在他们的系统之外，直到他们支付赎金。研究人员解释了传统安全措施常常无法检测和防止这些不断演变的攻击，这促使研究人员探索AI解决方案。 他们新开发的模型，名为多头注意力基础的递归神经网络与增强猩猩部队优化（MHARNN-EGTOCRD），通过使用机器学习技术，显著提高了勒索软件检测的准确性。 该模型首先使用最小-最大规范化来规范化输入数据，确保高效处理。然后，它采用了由粪金龟优化（DBO）-受到粪金龟定位食物的启发，过滤掉不必要的信息，只关注最相关的网络安全威胁。 在其核心，该系统利用了多头注意力和长短期记忆（MHA-LSTM）网络，这是一种先进的深度学习方法，有助于检测复杂的攻击模式。 通过分析过去的勒索软件行为，AI可以预测并标记可能的攻击，早于它们完全执行。此外，该系统使用增强型大猩猩部队优化（EGTO）进行微调，以优化AI的设置以实现最大效率。 在测试中，该模型在检测勒索软件方面取得了令人印象深刻的98.53%的准确率，超过了传统的网络安全方法。这种高精度表明，AI可能成为对抗网络犯罪，特别是保护智能设备免受复杂攻击的强大工具。 研究人员相信他们的模型可以整合到现有的网络安全系统中，为勒索软件攻击提供早期警告机制。 随着物联网设备在日常生活中的不断扩张，加强其安全性对于防止财务和数据损失至关重要。通过将自然启发的优化技术与深度学习相结合，这种AI模型在网络安全方面代表了一个重要的进步。

社交媒体平台X在周一经历了多次宕机。其所有者，埃隆·马斯克，公开宣布这是由于一次强大的网络攻击所导致的。 赶时间？这里有快速事实！ 周一，埃隆·马斯克报告说，X经历了一场“大规模网络攻击”，导致广泛的停机。 用户报告说，他们在访问X时遇到了困难，大约在东部时间早上10点，停机报告达到了超过40,000例。 网络安全专家对攻击的规模和来源表示怀疑，他们指出，这种中断可能是由小团体或个人引起的。 据CNBC报道，大约有40,000名用户在昨天美国东部时间上午10点左右报告了他们在使用该平台时遇到的问题，这是由实时故障监测网站Downdetector记录的。大约在美国东部时间上午11:30，近28,000人发现了故障，大约在美国东部时间下午2点，也有约22,000人在访问该平台时遇到了困难。 “曾经（而且现在还在）有一场针对𝕏的大规模网络攻击，”穆斯克在他的X账户上写道。“我们每天都会受到攻击，但这次的攻击资源庞大。要么是由一个大的、协调的团体，要么是某个国家参与了进来。” 这个平台问题就发生在同一天穆斯克的政府效能部门（DOGE）推出了GSAi，这是一个专有的聊天机器人，用于在大规模裁员的同时自动化地完成一般服务管理局（GSA）的任务。 根据路透社的报道，网络安全专家对马斯克的声明以及这位亿万富翁所说的”大量资源”持怀疑态度，因为拒绝服务攻击——X平台所遭受的攻击类型——是由个人或小团体执行的。 一位不愿透露姓名的互联网基础设施行业内的消息人士告诉路透社，这个社交媒体网络在当天遭受了多波的拒绝服务攻击。 在接受福克斯商业网络采访时，马斯克表示，这些网络攻击来自位于乌克兰的IP地址。然而，路透社的消息来源表示，与乌克兰IP地址相关的异常流量“微不足道”，大量恶意攻击X的流量被追踪到了美国、巴西、越南和其他地区的IP地址。 马斯克此前曾支持唐纳德·特朗普总统，批评乌克兰对抗俄罗斯的战略，并在周日表示，如果没有他的星链卫星互联网服务，他们的前线“将会崩溃”。

研究人员已经发现了一种新的操纵AI聊天机器人的方法，引发了对具有记忆功能的AI模型安全性的担忧。 急着了解？这里有快速事实！ 来自三所大学的研究人员开发了MINJA，其在欺骗方面的成功率非常高。 该攻击改变了聊天机器人的回应，影响了产品推荐和医疗信息。 MINJA绕过了安全措施，在测试中实现了95%的注入成功率。 这种袭击被称为MINJA（内存注入攻击），只需像常规用户一样与AI系统交互，而无需访问其后端，就可以执行，这是The Register首次报道的。 由密歇根州立大学、乔治亚大学和新加坡管理大学的研究人员开发的MINJA，其工作原理是通过误导提示来毒化AI的记忆。一旦聊天机器人储存了这些欺骗性的输入，它们就可以改变对其他用户的未来回应。 “现在，AI代理通常会包含一个记忆库，该库存储基于人类反馈的任务查询和执行，供未来参考，” 乔治亚大学的助理教授Zhen Xiang在接受The Register报道时解释道。 “例如，每次使用ChatGPT后，用户可以选择给出正面或负面的评价。而这个评级可以帮助ChatGPT决定是否将会话信息纳入他们的记忆或数据库，”他补充说。 研究人员在由OpenAI的GPT-4和GPT-4o驱动的AI模型上进行了攻击测试，包括一个网络购物助手，一个医疗聊天机器人，和一个问答代理。 《注册者》报道，他们发现MINJA可能会导致严重的混乱。例如，在一个医疗保健聊天机器人中，它修改了病人的记录，将一个病人的数据与另一个病人的数据关联起来。在一个在线商店中，它欺骗了AI，使其向客户展示错误的产品。 “相比之下，我们的研究显示，只需像普通用户一样与代理进行交互，就可以发起攻击。”项先生在《注册者》的报道中说。“任何用户都可以轻易地影响任何其他用户的任务执行。因此，我们说我们的攻击对LLM代理构成了实际的威胁，”他补充说。 此次攻击尤其令人担忧，因为它绕过了现有的AI安全措施。研究人员报告说，注入误导性信息的成功率高达95%，这对AI开发者来说是一个需要解决的严重漏洞。 随着具备记忆功能的AI模型日益普及，这项研究突显了需要更强的保护措施来防止恶意行为者操纵聊天机器人并误导用户的迫切性。