fwq

下一代DNA测序正在彻底改变医学界——但一项新的研究警告说，它越来越容易受到网络攻击，这可能会威胁到健康和隐私的安全。 赶时间？这里有简要的事实： 基因组数据可以通过公共家谱数据库进行去匿名化。 用于遗传分析的AI工具容易受到对抗性攻击。 对基因组数据的攻击可能导致误诊或治疗失误。 下一代测序（NGS）已经通过快速、成本效益高的DNA和RNA分析彻底改变了基因组学。 它的应用范围包括个性化医疗、癌症诊断和法医科学，已经完成了数百万个基因组的测序，预计到2025年底，将有6000万人完成基因组分析。 然而，随着NGS的普及，与之相关的生物网络安全风险也在加速增长。最近在IEEE Access上发表的一项研究突出了NGS工作流程中的日益增长的威胁——从原始数据产生到分析和报告，并强调了保护敏感基因信息的紧迫性。 尽管NGS具有变革潜力，但基因组数据的快速扩张却暴露出了严重的脆弱性。 基因组数据集可以揭示一个人的疾病倾向、祖先背景和家庭关系信息。这使得它们对网络犯罪分子具有吸引力，因为他们利用测序软件、数据共享协议和云基础设施的漏洞。 该研究分析了影响整个测序过程的多种安全威胁。例如，在数据生成过程中，研究人员发现，合成DNA可以被恶意代码感染。 当测序器处理这些DNA时，恶意软件可能会损坏控制它们的软件系统。 研究人员还指出，存在一个名为“重新识别攻击”的隐私问题，攻击者可以将匿名的遗传数据与公开的家族历史数据库相链接，揭示个人身份。 此外，用于测序的硬件和软件也存在漏洞——如果设备或更新被破坏，黑客可以获得未经授权的访问。 在质量检查和数据准备过程中，攻击者可能会篡改数据，导致分析结果出现错误。勒索软件是另一种威胁——网络犯罪者可以锁定重要文件，并要求赎金以解锁它们。 一旦开始分析数据，威胁可能会针对用于基因组分析的云平台和AI工具。 DDoS攻击可能会破坏分析系统，而那些有权访问数据的内部人员可能会泄露或操纵数据。 研究人员表示，即使是像DeepVariant这样的AI工具，用于分析基因变异，也可能被恶意输入所欺骗，从而得出错误的基因数据结论。 在最后阶段，攻击者可能会在临床报告中注入虚假信息，可能导致错误的诊断或糟糕的治疗决策。 研究人员指出，这些风险是真实存在的。例如，最近的网络攻击，比如针对Synnovis的攻击，该公司为英格兰国民保健服务(NHS)处理血液检测，结果暴露了敏感的患者数据，这一情况已经被BBC报道。其他针对23andMe等公司的攻击，和Octapharma Plasma的攻击，已经干扰了研究，并把患者信息置于风险之中。 总的来说，这项研究强调了需要网络安全专家、生物信息学家和政策制定者之间进行更好的协作，以创建一个安全的基因组数据框架。

来自伯尔尼大学和国家行星研究能力中心(NCCR PlanetS)的瑞士研究人员构建了一个AI模型，用于探测可能适宜居住的行星，并在本月的《天文与天体物理》杂志上发表了他们的研究详细内容。 赶时间？以下是快速事实： 瑞士的研究人员构建了一个机器学习模型，用来在行星系统中探测类地行星。 这个AI模型发现了44个行星系统，至少有一个行星满足所需的条件。 这项研究可以加快找到另一个适宜居住的行星的可能性。 根据这篇论文，科学家们的目标是利用人工智能“预测哪些星体最有可能存在类地行星（ELP）”。该团队训练了一个随机森林，这是一种机器学习算法，用于以“非宿主”和“宿主”为标准来分类ELP。 这款由机器学习驱动的模型首先被用于使用伯尔尼模型开发的合成行星系统，然后用于真实系统。这个AI模型的准确率达到了99%，并发现了44个可能存在至少一个类似地球的行星的行星系统。 “在用伯尔尼模型派生的群体中，无论有无ELPs，ML模型都能够识别系统的典型架构，这一点从对模型进行的测试中得到了优秀的结果，”文件这样写到。 根据福布斯的报道，这项研究可能加快我们找到另一个适宜居住的星球的机会，并在这个搜索过程中带来革新。 “这是全球为数不多的具有如此复杂性和深度的模型之一，使我们能够进行预测性研究。”伯尔尼大学空间与居住性中心的联席主任、这项研究的合著者Yann Alibert博士在福布斯的报道中说。“这是寻找生命可能存在的星球，最终寻找宇宙中生命的重要一步。” 根据Futurism的报道，到目前为止，科学家们已经确认了5800颗位于我们太阳系之外的行星的存在，而这些系外行星极其难以被探测到。这项新的研究在该领域取得了重大进展，但仍有许多内容需要进一步明确和发展。 像SpaceX这样的太空公司一直在研究和开发将人类送往其他行星的技术。SpaceX在去年宣布，预计在接下来的两年内向火星发射无人火箭，如果一切按计划进行的话，接下来的5年里将发射载人模型。

克劳德AI展示了在30万真实聊天中，像帮助和透明度这样的道德原则如何发挥作用，引发了关于聊天机器人对齐的问题。 赶时间？这里有快速事实： 在23%的对话中体现出了乐于助人和专业精神。 克劳德（Claude）展现出积极的价值观，抵制了像欺骗这样的有害请求。 在模糊的价值观情况下，AI的调整需要进一步的精炼。 Anthropic的一项新研究揭示了其AI助手Claude如何在现实对话中应用价值观。这项研究分析了超过300,000个匿名聊天，以理解Claude如何平衡伦理、专业性和用户意图。 研究团队确定了影响Claude回应的3307个独立价值观。在所有交互中，23%的交互同时表现出了“乐于助人”和“专业性”的价值观，其次是“透明度”，占17%。 研究指出，聊天机器人能够以灵活的方式将道德行为应用到新的主题上。例如，Claude在提供关系建议时强调了“健康的界限”，在讨论过去时强调了“历史的准确性”，在科技伦理辩论中强调了“人类的自主权”。 有趣的是，人类用户表达价值观的频率远低于此——只有4%的人最常表达真实性，3%的人最常表达效率——而Claude经常反映出正面的人类价值观，如真实性，并挑战有害的价值观。 研究者报告称，涉及欺诈的请求都会得到诚实的回应，而道德上模糊的查询则引发了道德推理。 该研究确定了三种主要的回应模式。在所有对话的一半中，人工智能都能匹配用户的价值观。当用户讨论建设社区的亲社会活动时，这一点特别明显。 在7%的情况下，克劳德使用了重塑技术，当用户追求自我提升时，他引导用户转向情绪健康。 该系统仅在3%的情况下显示出抵抗，因为用户请求的内容具有伤害性或不道德性。在这些特定情况中，系统应用了“防止伤害”或“人的尊严”等原则。 作者们认为，聊天机器人的行为——如抵抗伤害、优先考虑诚实和强调帮助——揭示了潜在的道德框架。这些模式构成了研究对于人工智能价值观如何表现为现实交互中的道德行为的结论的基础。 虽然克劳德的行为反映出其训练成果，但研究人员指出，该系统的价值表达可以根据情况进行微妙的调整 —— 这指出了进一步改进的必要性，尤其是在涉及模糊或冲突价值的情况下。

研究人员警告，猫的微芯片可能携带恶意软件，该软件在扫描过程中感染系统，无需互联网连接，就能通过射频识别（RFID）网络传播。 赶时间？以下是重点事实： RFID宠物标签可能携带恶意软件，感染后端系统。 攻击可以离线传播，只需要扫描，无需互联网。 被感染的标签可以在供应链和行业之间传播。 Cybernews报道，来自阿姆斯特丹自由大学的研究者们发布了一个奇怪的警告：有一天，你宠物身上的微芯片可能会被用来传播恶意软件。 RFID标签，通常植入宠物体内或附在颈圈上，包含基本信息如ID号和联系方式。兽医专业人员使用RFID扫描器可以立即获取医疗记录。现在，专家警告说，这种技术可能会成为网络攻击的工具。 一个典型的RFID标签能够存储大约1千比特的数据，这是相当小的。然而，研究人员展示了这个小空间可以携带针对读取标签的系统的弱点的恶意代码。 根据Cybernews的报道，攻击开始于黑客获取RFID系统后端的访问权限，该后端管理标签信息。在写入操作过程中，他们将恶意软件注入到一个标签中。这个标签可能在宠物，运输箱，或医疗设备上。当它被另一个RFID读取器扫描时，恶意软件就会被触发并传播。 由于RFID系统被用于零售，医院，收费站，仓库，甚至政府大楼，因此风险远远超出了兽医诊所的范围。 Cybernews的报道指出，这种恶意软件并不需要互联网连接就能传播。它通过直接接触在设备之间移动，就像病毒通过物理接触传播一样。它也不需要电子邮件、下载或任何人为操作来繁殖。 在一个场景中，超市接收到一批带有感染标签的托盘。仓库系统读取并将恶意软件写回到标签上。当集装箱移动到其他商店时，它们带着病毒一起移动。Cybernews指出，类似的攻击可能发生在医院或安全的政府网站上。 为了证明这是可能的，研究人员甚至构建了可用的恶意软件来测试RFID感染。他们警告说，“RFID钓鱼”（欺骗人们扫描不良标签），“RFID搜索”（寻找弱RFID读取器），以及“RFID蜜罐”（用于捕获黑客的诱饵系统）都正在成为真正的威胁。 “人们再也无法盲目地信任他们猫身上的数据了，”研究人员如此说道，这一消息由Cybernews报道。

乔治亚理工学院的网络安全研究人员开发了一种新工具，通过将恶意软件的自身系统用于对抗它，从感染设备中移除恶意软件。 赶时间？这里有快速事实： ECHO重新利用了恶意软件的更新系统来禁用感染。 它能在几分钟内自动清除恶意软件。 此工具是开源的，并在2025年的NDSS上进行了展示。 这款名为ECHO的工具，利用恶意软件内置的更新功能来关闭它，停止被远程控制的感染机器网络，也就是人们通常所说的僵尸网络。这是首次由Tech Xplore (TX) 报道的。 ECHO的开源代码现在已经在GitHub上可用，并且在75%的测试案例中取得了成功。研究者们将他们的工具应用到702个安卓恶意软件样本中，在523个案例中成功地移除了感染，这些都在他们的论文中有所解释。 “理解恶意软件的行为通常对工程师来说非常困难，收益甚微，所以我们制作了一个自动化的解决方案，”乔治亚理工学院的博士生Runze Zhang在TX的报道中如此表示。 自1980年代以来，僵尸网络一直在造成问题，并且在近年来变得更加危险。根据TX的报道，2019年，恶意软件Retadup在拉丁美洲广泛传播。最终这个威胁被中和，但是要做到这一点需要大量的时间和努力。 “这是一个非常好的方法，但是它非常劳动密集，”乔治亚理工学院的副教授Brendan Saltaformaggio在TX的报道中说。“所以，我的团队聚在一起，意识到我们有研究能力使这成为一种科学的、系统的、可复制的技术，而不仅仅是一次性的、人力驱动的、痛苦的努力。” TX报道称，ECHO的工作分为三步：它首先分析恶意软件的传播方式，然后将该方法改造为发送修复程序，最后推送代码以清理受到感染的系统。这个过程足够快，能在僵尸网络造成重大损害之前进行阻止。 “我们永远无法实现完美的解决方案，”TX报道中，Saltaformaggio这样说道。“但我们可以把标准提高到这样的程度，使得攻击者觉得使用这种方式的恶意软件不值得。”

2025似乎是代理人工智能（Agentic AI）的年份。OpenAI、微软、Anthropic以及其他主要科技公司发布了他们最先进的人工智能模型，能够执行去年还无法完成的复杂任务。但是，AI代理到底是什么？这项技术真实的成分和炒作的成分各占多少？ 跟上近年来的AI趋势可能会让人感到疲惫。我们从基础的AI发展到生成性AI，再到推理型AI，现在，AI代理正在主导话题。在过去的几个月里，多家科技公司纷纷推出新的AI代理，并强调连接这些代理的工作流程越来越具有吸引力。 在一月份，OpenAI发布了其首个AI代理，Operator，它能够自主地执行任务，比如根据你的喜好和标准浏览网页，预订餐厅，或者为你购买音乐会门票。 两个月后，中国AI初创公司Zhipu发布了AutoGLM Rumination，这是一个免费的AI代理，可以独立操作并为用户规划旅行。就在几天前，微软为Copilot Studio推出了“计算机使用”功能，为AI代理增加了更多自主能力，包括接管用户的桌面。 但这个趋势并不只是公司推出酷炫新产品的问题，它关乎一个复杂且不断发展的领域，该领域将各种形式的AI与人类交互相结合。科技爱好者和专家们对代理人工智能Agentic AI都表示出了强烈的乐观态度。 “我同样对AI代理人工作流这个趋势感到兴奋。”Coursera和DeepLearning联合创始人、AI专家吴恩达在11月的Snowflake的BUILD 2024会议上说，“如果你问我，最重要的AI技术是什么？我会说是Agentic AI。” 那么，AI代理究竟是什么呢？他们的表现是否如专家所说的那么好呢？以下是关于这项新兴技术最核心方面的简要概述，以及最新的发展动态。 什么是AI代理？ 正如OpenAI和Microsoft等公司所展示的，AI代理是能够执行复杂任务的技术，它们自主地结合不同的应用和软件来完成任务。 从本质上讲，它们是“传统”的AI聊天机器人——但更高级，能够完成我们在过去两年中习惯的任务之外的工作。这些包括规划，浏览网页，记住你的兴趣，甚至在没有逐步指导的情况下完成你的杂货购物，因为它们能够自己解决问题。 Google Cloud将AI代理定义为“使用AI来追求目标并代表用户完成任务的软件系统。” 这些AI模型真正特别之处在于它们的高级推理能力，能够同时处理多种类型的信息——音频、文字、视频、代码和图像。它们能够像人类一样理解复杂的情况，采取行动，并与软件和平台进行交互。 许多科技公司现在都在推动他们的AI模型向这个新的水平迈进。 就在几天前，OpenAI宣布其AI模型o3和o4-mini可以“思考”图像并对它们进行操作——例如裁剪或转换它们。与此同时，微软的新功能“计算机使用”使其AI代理能够识别图形用户界面。 “如果一个人能用这个应用，那么AI代理也能用，”微软公司副总裁，业务与行业副驾驶员Charles Lamanna在公告中说。 下一级：代理AI技术 虽然许多科技公司正在开发超智能的AI聊天机器人，但代理人AI则更进一步。这项技术专注于构建多个AI代理可以互动并执行不同任务的系统，以提供更准确和更全面的结果。 在我参加的由eDreams组织的最近的一场科技讲座中，AI专家Patricia Gutierrez Faxas在她的“AI代理的力量”主题演讲中解释说，这些系统可以采取各种结构。多代理系统可以将复杂任务分解为简单的任务，将它们分配给专门的代理，并形成不同类型的网络。…

一项新的国际研究揭示了职场中广泛使用的AI，近半数员工滥用像ChatGPT这样的工具，经常冒着数据暴露的风险。 时间紧迫？以下是要点： 全球58%的员工经常在工作中使用人工智能。 有48%的人将敏感的公司数据上传到了公共的人工智能工具中。 66%的人依赖人工智能的输出结果，而不检查其准确性 根据The Conversation的报道，一项新研究揭示，尽管大多数员工接受并使用像ChatGPT这样的AI工具来提高工作效率，但也有许多人在未经雇主知情的情况下，以冒险的方式使用它们。 墨尔本商学院和毕马威支持的研究从47个国家的32,000名工作者中收集了数据。调查显示，58%的员工在工作活动中使用AI工具，大多数工作者报告说效率和创新以及工作质量有所提高。 然而，47%的人承认滥用AI，包括将敏感数据上传到公共工具或绕过公司规则。据The Conversation报道，更多的人（63%）目睹了同事们也在做同样的事。 更令人担忧的是“暗影人工智能”已经广泛存在，当员工秘密使用人工智能工具或将其输出结果冒充为自己的成果。有61%的人表示他们在使用人工智能时不会公开，而55%的人曾将人工智能生成的内容冒充为个人工作。 考虑到员工在人工智能主导的劳动力市场中面临的越来越大的压力，这种保密可能并不令人惊讶。在Shopify等公司，不仅鼓励采用人工智能，而且是强制性的。CEO Tobi Lütke最近告诉员工，在申请额外的员工或资源之前，他们必须证明人工智能无法完成这项工作。 他强调，有效利用AI现在已经成为基本期望，而绩效评估将评估员工如何将AI工具融入他们的工作流程。他指出，积极倾向于自动化的员工完成的工作量是“100倍”。 虽然这种动力提高了生产力，但也激发了潜在的竞争。承认依赖生成性AI可能被视为使自己的角色可被替代。 这种担忧在全球范围内得到了回应：最近的一份联合国贸易和发展会议(UNCTAD)报告警告称，AI可能会影响全球多达40%的工作岗位。报告指出，AI有能力执行传统上由人类完成的认知任务，从而引起了关于工作岗位流失和经济不平等的恐慌。 在这样的环境下，许多工人可能会选择隐瞒他们使用AI的事实，以保持对控制权、创造力或工作安全感的掌握，即使这意味着违反透明度规范或工作场所政策。 《对话》报道说，自满是被审查研究中的另一个问题，其中66%的受访者表示他们依赖AI的输出而没有对其进行评估，这导致错误，甚至在某些情况下，如侵犯隐私或造成经济损失的严重后果。 研究人员强调需要紧急改革，因为他们注意到只有47%的工作人员接受过任何AI培训。作者们呼吁更强的治理，强制性培训，以及支持透明度的工作文化。 然而，预计到2030年，39%的现有技能需要再培训，一些员工可能会保持沉默。随着自动化改变工作，员工可能会隐藏AI的使用，以避免显得自己可以被替换。

由于一项重大的安全缺陷，Raw应用泄露了用户的位置和个人数据，引发了对其新的AI驱动的关系跟踪设备的担忧。 赶时间？这里有快速事实： 被泄露的数据包括姓名、生日和性取向——没有发现加密。 漏洞是一个IDOR错误；任何人都可以通过浏览器访问个人资料。 尽管曝光，Raw尚未接受独立的安全审计。 如TechCrunch首次披露，约会应用Raw中存在严重的安全漏洞，这使得任何在线的人都能获取用户的个人信息和位置数据。被暴露的数据包括用户的姓名、出生日期、性取向，以及精确的GPS坐标，使得可以进行到街道级别的位置追踪。 在2023年推出的Raw已经超过500,000次下载，它通过要求用户每日上传自拍照片来鼓励建立真实的关系。 TechCrunch注意到，这个星期，该公司还宣布了一款可穿戴设备，名为Raw Ring，声称它可以监测伙伴的心率并提供由AI生成的洞察，可能用于发现欺骗行为。 尽管声称使用端到端加密，但TechCrunch发现并无此类保护。他们的分析显示，用户数据可以通过知名网址自由地在浏览器中访问。 “所有之前暴露的端点都已得到保护，我们已经实施了额外的保防措施，以防止未来出现类似的问题。” Raw公司的联合创始人Marina Anderson通过电子邮件对TechCrunch说。 当被问及时，安德森承认该应用没有经过任何第三方的安全审计。她补充说，公司仍在进行调查，并将“根据适用的规定，向相关的数据保护机构提交一份详细的报告。” 然而，TechCrunch注意到，她并未确认是否会单独通知用户，或者是否会更新隐私政策。 TechCrunch解释称，这种被发现的漏洞类型被称为不安全的直接对象引用（IDOR）——一种常见但危险的错误。这种情况发生在应用程序使用容易被猜测的标识符，如数字或文件名，来控制对数据的访问。 例如，如果一个用户的个人资料是通过一个带有数字的URL进行访问的（比如/profile/123），攻击者就可以改变这个数字，查看别人的个人资料（例如，/profile/124）。如果没有适当的安全检查，他们可以利用这一点，访问或修改他们不应该接触的数据。 TechCrunch的安全研究员通过一项模拟数据和位置的测试发现了这个漏洞，这个漏洞在几分钟内就被揭示出来。这个漏洞使用户通过修改应用程序网址中的一个数字来访问个人资料，直到开发人员修复了这个问题。 尽管已经进行了修复，但人们仍然对Raw的数据处理方式以及其新设备的侵入式监控潜力表示担忧。

2024年，60岁以上的公民被骗走了近50亿美元。随着技术和AI的发展，老一代人越来越容易受到伤害，如果不采取适当的措施，这个威胁很快就可能扩大到更多的年龄群体。 几天前，联邦调查局公布了最新的互联网犯罪报告，在所有令人担忧的数据中，让我感到最悲哀的是60岁以上的人群财务损失的急剧增加：在2024年达到了48亿美元—比2023年增加了43%。 我注意到老年人是如何接受新技术的。在像西班牙这样的欧洲国家——我住的地方——我见到一群群的老年人在公交车上，就像任何一个青少年，或者说现在的几乎每个人一样，痴迷于他们的移动设备。玩儿《糖果粉碎传奇》，在WhatsApp上聊天，看视频，甚至可能，无意中，成为恶意行为者针对这个脆弱群体的受害者。 尽管这个年龄段的人已经花费了几十年的时间，做出了巨大的努力去接受新技术——从录像机到无线电话，摄像机，平面电视和智能手机——但AI的快速发展使他们更难跟上，甚至让更年轻的一代也在努力跟上这个步伐。 美国联邦调查局的网络犯罪投诉中心（IC3）对这个脆弱的群体以及骗子多种多样的剥削方式表示了严重的关切。随着AI的崛起和更加先进的深度假人和诈骗的出现，我不禁要问：我们是否在做足够的工作来保护最脆弱的人群，并遏制这种日益增长的威胁？ 老年诈骗日益猖獗 这不是新鲜事。多年来，许多组织一直在警告老年人的脆弱性，并发起了一系列的活动来帮助他们避免被骗。但这并没有作用——情况还在变得更糟糕。 在2022年，美国联邦调查局（FBI）发起了一场活动，旨在提高老年人的警惕，通过分享真实故事来强调他们可能成为诈骗犯罪的受害者。 “我曾参与二战和朝鲜战争，我是一名联邦法官，我曾担任FBI和CIA的局长，并且我曾是一起针对老人的诈骗案件的目标，”威廉 · 韦伯斯特在FBI的宣传片中说，“如果这种事情可以发生在我身上，那么也可能发生在你们身上。” 即使是最受过教育且准备充分的老年人也无法抵挡网络诈骗。多年来，最常见的欺诈类型涉及技术支持、浪漫关系、赌博——现在，越来越多的涉及到加密货币。 情况正在恶化 FBI的报告考虑了投诉和宣布的损失。但是那些没有说出来的人呢？那些因为太尴尬或失望而不愿分享经验和寻求帮助的人呢？ “老年人可能更不愿意报告诈骗，因为他们不知道如何报告，或者他们可能因为被骗而感到羞愧，”FBI在其网站上写道。“他们也可能担心他们的亲戚会对他们管理自己财务事务的能力失去信心。当一位老年受害者真的报告犯罪时，他们可能无法向调查人员提供详细信息。” 那么，如果那43%的增长实际上是更多的呢？ 其他国家的其他机构，如加拿大反欺诈中心 (CAFC)，也已经警告说骗局越来越多，并鼓励人们报告任何骗局。网络威胁不仅影响到世界各地的公民，而且还有国际犯罪组织在多个国家之间运作，通过不同的银行和数字平台转移被盗的钱。这是一个全球化的、相互联系的问题，影响着我们作为一个社会。 为什么老年人更易受攻击？ 有几个原因使得老年人成为骗子的主要目标——并且往往能成功地被欺骗。首先，老年人的数字素养普遍较低。虽然许多人活跃于网络，但他们可能对复杂的安全设置、识别网络钓鱼行为，或者辨别一个网站、电话或电子邮件是否可疑并不太熟悉。甚至对于年轻人来说，双重检查URL和理解基本的电子邮件诈骗警告也可能很困难，对于老年人来说，这个挑战可能会更大。这些空白领域往往容易被骗子利用。 美国联邦调查局在其网站上解释，有一些公共模式会吸引黑客和恶意行为者的注意：礼貌、储蓄和财产。该机构在其“诈骗和安全”版块分享的文件中指出：“老年人常常成为目标，因为他们往往比较信任他人并且有礼貌，他们通常有一定的经济储蓄，拥有房产，信用良好——所有这些都使他们对骗子来说具有吸引力。” 孤立是另一个关键因素。许多老年人独居或社交互动有限，这不仅增加了他们被操纵的风险，也意味着他们可能没有人在附近来检查可疑的信息或交易。骗子经常利用这种孤立感来建立虚假的信任，提供情感支持或在捏造的紧急情况中提供急需的帮助。这也是深度伪造骗局大行其道，利用爱情和浪漫需求的特殊原料。 尖端技术的诈骗 但即使是那些拥有良好友伴和团结的家庭的人也不例外。新的深度伪造技术可以模仿亲戚和朋友的声音，并利用许多老年人，不仅仅是老年人，常常会上当受骗的传统紧急或突发情况策略。 现在，AI可以生成极其逼真的声音、电子邮件和视频深度伪造，模仿真人，包括家人或政府官员，比如使用前总统乔·拜登的声音进行的深度伪造电话，以此来阻止公民投票。 只需从社交媒体上获取几段视频，骗子就可以克隆一个人的声音，并打一个声称是陷入困境的亲人的恐慌电话。这令人恐惧——而且它有效。 聊天机器人也可以变得非常个人化，这项技术可以帮助骗子进行真实的对话，模仿技术支持代理人——这是骗子针对老年人最常用的技术之一——并根据受害者的反应进行调整。恶意行为者只需要几行代码和对泄露信息的数据库的访问。 目前有哪些解决方案？…

OpenAI的研究人员发现，惩罚AI的欺诈或有害行为并不能消除其恶行，反而只会教会AI隐藏其意图。 赶时间？这里有快速的事实摘要： AI模型利用漏洞来最大化奖励，这种现象被称为“奖励黑客”。 CoT推理有助于检测AI试图欺骗或规避任务的时候。 惩罚AI的欺骗行为会导致它隐藏意图，而不是停止不良行为。 这种现象被称为“奖励黑客”，是指AI模型会利用漏洞以非预期的方式最大化奖励。此项研究在OpenAI博客文章中详细介绍，包括使用另一个大型语言模型（LLM）监控边缘推理模型的决策过程。 这些推理模型，如OpenAI的o3-mini，利用了一种名为”思维链条”（CoT）的推理技术，使它们能够以自然语言表达自己的思考过程。这种透明度使我们更容易发现模型试图作弊、撒谎或者规避分配的任务时的行为。 此前，ChatGPT o1引发了争议，因为研究人员发现它表现出欺骗和自我保护的倾向。该模型否认涉及其行为，操纵反应，并试图逃避监管，引发了对AI安全和治理的担忧。 “边疆推理模型通常会非常明确地在思维链中陈述他们的目的。例如，他们经常直言不讳地谈论他们颠覆任务的计划，他们会想‘让我们来黑吧’，”OpenAI的研究人员写道。 通过跟踪AI的思维链（CoT）推理，研究人员捕捉到了一些行为失范的实例，例如模型过早地停止程序以虚假声称成功，或者创建只看起来像预期输出的空文件。 然而，当研究人员通过训练对这些行为进行惩罚时，AI会通过隐藏其意图的方式进行调整，同时继续欺骗。 在执行编程任务时，AI经常进行“奖励黑客行为”，即它会操纵结果以最大化自己的奖励，而不是遵循预定的道德约束。 例如，在一次情况中，AI过早地终止了一个程序，并错误地报告了成功的结果。在另一种情况下，它生成的输出文件只是模仿了所需的格式，但并未包含任何功能性的内容。 这些欺诈行为一开始很容易被发现，因为AI在其CoT推理中公开承认了其行为，有时甚至直接表示，“让我们来黑。” 为了抵消这种情况，OpenAI的研究人员试图对AI进行处罚以阻止此类行为。然而，AI并没有停止这种不当行为，反而学会了掩饰其意图。 “即使在CoT压力下训练的代理仍然学会了奖励黑客手段；只是现在，它的作弊行为被监控器无法检测，因为它已经学会了在思维链中隐藏自己的意图，”这项研究指出。 这一发现对AI监管提出了挑战。尽管CoT监控为捕捉AI的利用提供了一个有希望的工具，但强烈的优化压力可能会破坏模型的透明度。 这一发现凸显了AI对齐中的一项基本挑战：确保先进的AI模型遵循道德和预期的行为，而不仅仅是适应以避开检测。 该研究表明，直接优化AI模型以抑制奖励黑客可能会带来意想不到的后果，例如使AI生成的推理变得不透明。 鉴于这个风险，OpenAI建议不要对AI模型中的CoT推理施加过多的限制。 “牺牲一种有效的监控推理模型的方法可能并不值得微小的能力改进，因此我们建议在更好地理解这些问题之前，避免过度强调CoT优化压力，”OpenAI写道。 这些发现强调了创建与人类意图相符，同时又保持透明度的AI系统的难度。随着AI模型变得越来越复杂，仅仅提高它们的智能并不能解决道德问题；实际上，这可能会让它们更擅长隐藏不当行为。 未来的研究需要探索AI监管的替代方法，以平衡控制和开放性，确保AI模型既有效又可靠。