AI教程

在数字交易占主导地位的时代，欺诈已成为一种复杂且无处不在的威胁。到2026年，，仅在美国，每14秒就发生一起身份盗窃案。随着犯罪分子利用人工智能（AI）发起前所未有的攻击，企业面临一个紧迫的问题：他们如何才能在这场高风险竞赛中保持领先？ 今天，我们将探讨当配备传统的机器学习模型和推理大型语言模型引擎时，AI代理如何使欺诈检测更加可解释和稳健。 欺诈挑战的日益增长 请考虑这些惊人的统计数据： 。 。 深度伪造诈骗，使用合成声音模仿CEO授权欺诈性转账。 这是一场军备竞赛：欺诈者正在利用AI驱动的卡测试扩大业务规模，逃避检测，并利用零日漏洞，而防御者（好人）需要同样或更好的自适应工具来保持领先一步。 问题在于，欺诈者正在以比机构更快的速度进行调整，而遗留系统正努力跟上步伐。这些系统的主限制是： 基于规则的引擎：僵化的“如果-则”逻辑无法应对新颖的攻击模式。 机器学习：虽然ML模型擅长检测已知的欺诈模式，但它们是“黑盒”，无法解释决策。更糟糕的是，它们在数据漂移——交易行为的变化使得历史数据过时时表现不佳。 1、自主AI的兴起 AI代理是能够推理、学习和行动的自主系统，使用API和数据库等工具。与静态ML模型不同，它们可以： 分析上下文：交叉引用交易与用户历史记录、位置和市场趋势。 自我改进：使用强化学习（RL）来适应新威胁。 解释决策：生成易于理解的报告（例如，“凌晨2点在用户家34英里外的城市花费316美元购买杂货是可疑的”）。 行为分析：检测微妙的红旗（例如，仓促的结账流程，账单地址与发货地址不匹配）。 对于本文，我们将为代理配备一个传统的ML模型以及一个推理引擎，以便更好地解释交易。 什么是AI代理 2、训练机器学习模型 为了训练我们的ML模型，我们将使用Kaggle上公开的。该数据集包含超过一百万笔欺诈和非欺诈信用卡交易。 接下来，我们将简要解释训练ML模型的步骤： 第一步是删除任何不必要的特征，如名字、姓氏、出生日期等。 接下来，我们标记并编码文本特征，如商户名称、类别和街道。 最后，我们缩放特征，定义预测标签（is_fraud=0或1），将数据拆分为训练集和测试集，并训练机器学习模型孤立森林。 确保在最后保存模型，以便稍后由我们的代理作为工具使用。 # 导入必要的库…

最近，在使用 OpenAI 的论文“语言模型是无监督的多任务学习者”和 Andrej Karpathy 的 YouTube 视频“让我们重现 GPT-2 (124M)”从头重现 GPT-2 LLM 时，我强烈地想要了解分布式数据并行 (DDP) 的工作原理。训练如此大的模型需要多 GPU 设置，而且由于这是我第一次尝试从头开始训练这种规模的模型，所以这个主题对我来说是全新的。 为了弥补这一知识差距，我立即阅读了 PyTorch 的 DDP 文档并系统地理解它。本文就是这段学习之旅的成果。 随着数据集和模型变得越来越大，在多个 GPU 上分配工作负载不仅有用，而且必不可少。它显著减少了训练时间，增强了可扩展性，并使训练大规模模型成为可能。PyTorch 的分布式数据并行 (DDP) 是满足这些需求的强大解决方案之一。…

Google 的 Vertex AI 是一个基于 Google Cloud 的平台，企业家、开发者和 AI 研究人员可以使用它来管理他们的 AI 项目。我们在之前的文章中详细讨论了整个 Vertex AI 生态系统的架构。 本文将讨论 Vertex AI 中的托管 ML 数据集以及如何使用它们来创建程序。 1、什么是托管数据集？ 托管数据集是在 Vertex AI 框架内工作的数据集。你需要它们进行 AutoML 训练（和…

虽然每个人都继续专注于 AI 写论文和创作艺术，但真正的革命正在表面之下发生——在机器人技术中。人工智能机器已经进入工厂、杂货店、仓库、医院和家庭。 让机器人真正智能是 AI 的下一个主要前沿。这不仅仅是将LLM交给一组人形或狗形的螺丝和废金属——它涉及物理、感知、控制和决策，即使在看不见或不确定的条件下也是如此。 运动是人类认为理所当然的事情，但对于机器来说却异常复杂。与处理静态文本的 AI 模型不同，机器人必须实时运行，对动态世界的变化做出反应。多年来，我们一直让机器人在自己的房间或工厂中独自工作，但让机器人与人类一起工作或在不受控制的环境中工作要困难得多。它们必须首先通过传感器（LiDAR、摄像头和 IMU）感知环境，然后准确解释这些数据，通常在信息不完整时做出推断。感知的难度延伸到路线规划、物体检测和深度估计等基本任务，即使是很小的计算错误也可能造成灾难性的后果。 来源： (Elijs Dima) 更不用说图像根本没有深度所需的信息，因为它是 3D 世界的 2D 投影。如果没有足够的线索，如阴影、纹理渐变、遮挡或立体视觉，就无法直接从单个图像推断出深度。随着深度神经网络的出现，让计算机以某种方式看待世界是一项艰巨的任务，研究人员花了几十年的时间才发现这一点。 一旦机器人建立了周围环境的模型，它就面临着控制的挑战——如何与世界互动。无论机器人是在组装微芯片还是移动仓库库存，精度和适应性都至关重要。然而，控制不仅仅是执行编程的动作；它需要对意外情况做出反应。物体会不可预测地滑动、变形或移动，迫使人工智能驱动的操纵模型实时调整。在复杂的环境中，运动规划变得越来越困难，因为机器人必须躲避移动的障碍物或与人类工人协调。与人类不同，机器人在泛化方面很吃力；一个被训练来处理咖啡杯的模型在面对酒杯或香蕉时可能会失败。迁移学习仍然是一个重大障碍，而知与行之间的差距仍然是当今机器人技术中最艰难的前沿之一。多年来，我们在某些特定领域开发了特别强大的模型，但仍然面临着集成和泛化的挑战。 除了抓取困难之外——接下来会发生什么？人类可以看一眼刀，根据情况立即知道它是用来切蔬菜、打开包裹还是涂抹黄油。然而，机器人需要明确的训练才能识别物体的功能以及如何在上下文中正确地与其交互。目前，多模态人工智能正被用于将物体识别与上下文配对，以便它们可以动态调整方法。然而，许多模型仍然依靠预编程或预训练的启发式方法运行。机器人感知的另一个基本问题不仅是识别物体，还包括语义理解——对它们的目的和交互动态的理解。 或者，在控制较少的环境中与人类一起工作时，如何使用该物体？如今，大多数人工智能机器人都是孤立运行的。无论是在配送仓库还是在自动驾驶测试轨道上，它们都针对受控环境进行了优化，以最大限度地减少人类的不可预测性。但要让机器人真正融入日常生活，它们不仅必须感知和行动，还必须实时解读人类的意图。例如，想象一个机器人在餐厅厨房工作。如果人类厨师伸手去拿机器人即将抓起的平底锅，机器人必须立即识别优先级的变化并改变路线。人工智能驱动的人形机器人必须在交流并不总是口头或清晰的环境中处理隐含的社会等级、基于手势的线索和语音语调。这不是一件容易的事。传统的基于规则的方法在这里失败了，因为它们缺乏适应性。相反，人们正在探索强化学习与人类反馈 (RLHF)，以帮助机器人更好地驾驭协作空间。 尽管面临这些挑战和更多挑战，人工智能正在将机器人技术推向一个新时代，机器正在学习在非结构化环境中运行环境中，灵活地操纵物体，并在不可预测的条件下做出瞬间决策。在人形机器人领域，强化学习正在帮助特斯拉的 Optimus 和 Figure AI 的机器人改进其运动和操纵能力。这个想法是，机器人将被放进世界，根据奖励和惩罚自行学习物理、运动和控制。换句话说，就像人类儿童学习与世界互动的方式一样。…

你看，即使是强大的 LLM 也并不总是无所不知（尽管他们可能表现得像个万事通！）。就像所有伟大的事物一样，他们有时也需要外界的一点帮助——在推理、数学、编码或任何复杂任务中需要额外的帮助，而不仅仅是“精心设计的文字”。这就是代理发挥作用的地方。 有很多工具可以构建 LLM 代理，但并非所有工具都易于使用。今天，我们将查看一个简单但功能强大的框架 Phidata，看看它如何让使用 LLM 代理变得轻而易举！ 1、Web代理：通向外部世界的窗口 LLM 通常无法访问互联网，因此让他们体验一下外部世界会立即让他们与时俱进。 例如，让我们在 Python 中设置我们最喜欢的专有 LLM： from openai import OpenAI import os os.environ["OPENAI_API_KEY"] = "get-your-own-api-key" prompt = "Is…

深度学习模型彻底改变了人工智能领域，但其庞大的规模和计算需求可能会成为实际应用的瓶颈。模型蒸馏是一种强大的技术，它通过将知识从大型复杂模型（教师）转移到较小、更高效的模型（学生）来解决这一挑战。 在本博客中，我们将介绍如何使用 LoRA（低秩自适应）等专门技术将 DeepSeek-R1 的推理能力蒸馏到较小的模型（如 Microsoft 的 Phi-3-Mini）中。 1、什么是蒸馏？ 蒸馏是一种机器学习技术，其中较小的模型（“学生”）经过训练以模仿较大的预训练模型（“老师”）的行为。目标是保留老师的大部分表现，同时显着降低计算成本和内存占用。 这个想法最早是在 Geoffrey Hinton 关于知识蒸馏的开创性论文中提出的。它不是直接在原始数据上训练学生模型，而是从老师模型的输出或中间表示中学习。这实际上是受到人类教育的启发。 为什么它很重要： 成本效率：较小的模型需要更少的计算资源。 速度：非常适合延迟敏感的应用程序（例如 API、边缘设备）。 专业化：无需重新训练巨型模型即可针对特定领域定制模型。 2、蒸馏类型 模型蒸馏有几种方法，每种方法都有各自的优点： 数据蒸馏： 在数据蒸馏中，教师模型生成合成数据或伪标签，然后用于训练学生模型。 这种方法可以应用于广泛的任务，即使是那些 logits 信息量较少的任务（例如开放式推理任务）。 Logits蒸馏： Logits…

我找不到 DeepSeek 的知识截止日期，所以我直接问了 DeepSeek： DeepSeek 对知识截止日期的回复 如你所见，它的最新知识来自 2024 年 7 月，它建议使用互联网访问获取最新信息。 如果你直接使用该平台，可以激活“搜索”功能来搜索网络： DeepSeek 中的 Web 搜索功能 但如果使用 API，则需要找到一种变通方法，这就是我们将在本线程中讨论的内容！ 1、理解 JSON 输出 我们如何理解人类语言并从中提取正确的参数调用函数？我们需要这两步： 从原始用户的查询中提取重要信息 使用提取的信息作为参数调用任何需要的函数。在上面的例子中，我们将调用另一个 API（不是 DeepSeek API），具体取决于我们要做什么。 （可选）我们可以将我们调用的函数中的信息提供给…

在不断发展的软件开发世界中，拥有合适的工具可以带来巨大的变化。由充满活力的开发者社区推动的开源项目提供了创新的解决方案来应对常见挑战、提高生产力和增强工作流程。 以下是每个开发人员都应该了解的 15 个基本开源项目的精选列表。让我们深入了解吧！ 1、Frappe — 构建可扩展的 Web 应用程序 是 ERPNext 的骨干，也是创建可扩展 Web 应用程序的强大平台。 亮点： 无缝 REST API 创建。 高度可扩展和可定制。 内置 Python 集成，实现强大的后端逻辑。 2、Permit.io — 简化的访问控制 为你的应用程序提供轻松的基于角色 (RBAC)…

三周前，当 DeepSeek 发布他们的廉价推理模型 R1 时，我认为这是人工智能革命的巅峰。我从未如此印象深刻。 然而，OpenAI 和 Google 都以前所未有的速度做出了回应。 OpenAI 以 o3-mini 做出了回应，这是一个非常强大且价格低廉的大型推理模型。与 o1 和 R1 一样，o3-mini 需要花费时间“思考”才能生成最终响应，这个过程显著提高了最终输出的准确性，但代价是延迟更高。 然而，Google 的回应方式完全不同。他们只是制作了一个更好的模型，消灭了 OpenAI 和 DeepSeek 最强大的推理模型。 我印象深刻。 1、DeepSeek R1 的隐藏问题…

合成数据生成解决了多个基本挑战：数据集中的类别不平衡、数据隐私要求、数据获取成本优化和实验周期加速。传统方法（如 SMOTE [1]）通过在现有数据点之间进行插值来为少数类生成合成样本。之前的博客文章 [2] 对表格合成（数值）数据生成的生成方法进行了全面评估，包括生成对抗网络 (GAN)、变分自动编码器 (VAE)、高斯 Copula、贝叶斯网络和条件表格 GAN (CTGAN)。 这篇文章研究了利用小语言模型 (SLM) 生成合成表格数值数据的新方法。与之前的研究保持连续性，我们专注于单一表格数据，特别是分析来自 NASA 艾姆斯预测卓越中心的涡扇发动机退化模拟数据集 [3][4]。有关数据集特征和研究动机，读者可以参考之前的出版物。 该研究考察了四种关键方法： 具有领域特定约束的 SLM 微调 使用数值标记器和自定义损失函数进行高级微调 Transformer GAN 和条件 Transformer GAN 架构 语言模型…