fwq

开源语言模型的兴起使强大的AI工具更加普及，让开发者、研究人员和爱好者能够试验尖端技术，而无需依赖基于云的API。在这些创新中，deepseek-r1-abliterated 作为DeepSeek第一代推理模型的一个突破性的纯净变体脱颖而出。本文探讨了该模型的独特之处及其与原始DeepSeek R1的关系，并介绍了如何使用Ollama在本地运行它。 1、什么是deepseek-r1-abliterated？ 是DeepSeek R1模型的一个干净的版本，这是一种为高级推理任务设计的最先进语言模型。原始的DeepSeek R1因其性能可与OpenAI的o1等专有模型相媲美而受到关注，但它包括限制有害或敏感输出的安全机制。通过“abliteration”过程，“abliterated”版本去除了这些安全措施，生成的内容没有预定义的限制。 这种方法允许用户探索创意、争议性或利基应用，同时保留原始模型的核心推理能力。然而，这种自由伴随着伦理责任，因为该模型可能会产生不适当或不安全的内容，如果没有适当的监督。 在本地部署deepseek-r1-abliterated提供了几个优势： 隐私：数据永远不会离开你的机器，这对于敏感应用至关重要。 节省成本：避免与基于云的模型相关的每次API费用。 定制化：通过系统提示和参数定制模型的行为。 离线使用：无需互联网连接即可运行。 像Ollama这样的工具简化了本地部署，让用户能够轻松管理并运行大型语言模型（LLMs）。 2、原始DeepSeek R1：简要概述 是一种创新工具，因其强大的未经审查的搜索和查询功能而受到关注。专为开发者和数据爱好者设计，DeepSeek R1让你可以绕过传统限制，访问未过滤的原始数据。这种自由对于需要全面洞察力的项目特别有益。 凭借其强大的架构，DeepSeek R1提供了不受审查算法约束的快速搜索功能。这一独特功能让用户能够深入研究数据集，探索广泛的结果，并执行对研究和开发至关重要的高级查询。 Deepseek R1的优点包括： 推理能力：在AIME和MATH等基准测试中优于许多模型。 成本效益：开放权重减少了对昂贵云服务的依赖。 灵活性：兼容本地部署和自定义。 然而，其内置的安全过滤器限制了其在无限制实验中的实用性——这一缺口由abliterated版本填补。 2、Abliteration提纯过程 Abliteration…

今天，我们很高兴在 Unsloth 中引入推理功能！DeepSeek 的 R1 研究揭示了一个“顿悟时刻”，其中 R1-Zero 通过使用群组相对策略优化 (GRPO) 自主学习分配更多思考时间而无需人工反馈。 我们增强了整个 GRPO 流程，使其使用的 VRAM 比 Hugging Face + FA2 少 80%。这样你就可以使用 Qwen2.5 (1.5B) 在仅 7GB 的 VRAM 上重现…

在这篇博文中，我们将深入探讨 EXO Labs 如何使用家用设备实现 AI 推理任务的划分和分配。我们将探索核心组件及其功能。最后，我们将介绍使用你拥有的设备设置自己的 AI 集群的步骤。 从本质上讲，EXO 将大型 AI 模型拆分成较小的部分（“碎片”）并将它们分布在多个设备上。可以把它想象成一场接力赛，每个跑步者（设备）处理旅程的一部分（模型处理）。 1、EXO的工作原理 关键组件： 碎片管理：EXO 将 AI 模型分成可管理的块。 智能分区：系统根据每台设备的功能找出最佳的任务分割方式。 gRPC 通信：设备使用这种高速协议相互通信。 环形拓扑：数据以环形流动，每台设备先处理自己的部分，然后再传递。 任务如何在网络中流动： 你提出问题：向 EXO 网络发送提示。 任务分配：系统将你的请求分割到可用设备中。 处理：每台设备都在其模型部分上工作。结果编译：一台设备收集所有部分并组装最终答案。…

构建大规模、全面的数据集来测试 LLM 输出可能是一个费力、昂贵且具有挑战性的过程，尤其是从头开始构建时。但是，如果我告诉你，现在只需几分钟就可以生成通常花费数周精心制作的数千个高质量测试用例，你会怎么想？ 合成数据生成利用 LLM 创建高质量数据，而无需手动收集、清理和标注大量数据集。借助 GPT-4 等模型，现在可以在更短的时间内合成生成比人工标记数据集更全面、更多样化的数据集，这些数据集可用于借助一些 LLM 评估指标对 LLM（系统）进行基准测试。 在本文中，我将教你有关如何使用 LLM 生成合成数据集（例如，可用于评估 RAG 管道）的所有知识。我们将探索： 合成生成方法（蒸馏和自我改进） 什么是数据演化、各种演化技术及其在合成数据生成中的作用 使用 LLM 从头开始​​创建高质量合成数据的分步教程。 如何使用 DeepEval 在不到 5 行代码中生成合成数据集。 感兴趣吗？让我们深入了解。 1、什么是使用…

正如你一定在多个地方读到的那样，2025 年是AI代理的一年。以至于马克·扎克伯格公开表示 Meta 将让AI代理担任中高级工程师。 从过去的几个版本中可以清楚地看出，微软现在拥有 3 个多代理编排框架（AutoGen、Magentic-One、Tiny-Troupe），OpenAI 发布了 Swarm，AWS 除了独立的 Langraph 和 CrewAI 之外还推出了多代理编排器。现在，就连 HuggingFace 也加入了推出“smolagents”的行列，这又是一个多代理框架，但有所不同。 1、什么是 smolagents？ 是 Hugging Face 新推出的代理框架，旨在简化利用大型语言模型 (LLM) 的智能代理的创建。这个轻量级库使开发人员能够用最少的代码构建代理，专注于实用性和易用性。 Smolagents 的主要功能： 简单性：Smolagents 允许使用简单的编码方法快速进行原型设计和部署，即使是那些在创建代理方面经验有限的人也可以使用它。…

AI 编码助手的华丽营销承诺描绘了一幅诱人的画面：完美的代码生成、闪电般的开发速度，以及一个永不休息的数字伙伴。 但在与数百名开发者（包括来自三大洲的远程开发者）交谈后，我发现了一个更为复杂的现实，而硅谷的光鲜演示文稿却巧妙地忽略了这一点。 1、人工智能的诱惑 当 Mark Davidson（一位在财富 500 强公司拥有二十年经验的远程开发者）首次将 GitHub Copilot 集成到他的工作流程中时，他被迷住了。“感觉就像指尖上有一个读心者，”他回忆道，靠在西雅图家庭办公室的椅子上。“但三个月后，我注意到了一些令人不安的事情。” 根据的最新数据，78% 的开发者现在使用 AI 编码助手，而 2022 年这一比例仅为 27%。然而，在这些令人印象深刻的采用率背后，隐藏着一个复杂的成本网络。 2、技术债务的时间炸弹 最隐蔽的影响并不会立即体现在你的资产负债表上。卡内基梅隆大学软件工程研究所的表明，与传统编写的代码相比，AI 助手生成的代码可能会引入高达 35% 的技术债务。 “这就像在你的代码库上借了一笔高息贷款，”麻省理工学院计算机科学与人工智能实验室的首席研究员 Sarah Chen 博士解释道。“代码今天可以工作，但你正在以维护挑战的形式积累利息。”…

我最近探索了如何利用 OpenAPI 规范为 AI 代理提供可操作的功能。在这篇博客中，我旨在分享我的见解并展示这个过程。 1、OpenAPI规范简介 让我们从基础开始。 什么是 OpenAPI 规范？ OpenAPI 规范是一个标准化的、与语言无关的框架，用于定义 HTTP API。它使人类和机器都能发现和理解服务的功能，而无需访问其源代码、详细文档或网络流量检查。正确定义的 OpenAPI 规范允许消费者以最少的实现逻辑与远程服务交互。在此处了解更多信息。 应该何时使用 OpenAPI 规范？ 当你想将 AI 功能整合到现有 API 中时，OpenAPI 特别有用。许多企业已经拥有正在运行的 API。在当前的 AI 浪潮中，将…

是 Microsoft 开发的 Python 包，旨在将各种文件格式转换为 Markdown。 自首次亮相以来，该库的人气飙升，在短短两周内就获得了超过 25,000 个 GitHub 星！🤯 1、是什么让 MarkItDown 如此受欢迎？ MarkItDown 为各种文件类型提供强大的支持，例如： Office 格式：Word、PowerPoint、Excel 媒体文件：图像（带有 EXIF 数据和描述）、音频（带有转录支持） Web 和数据格式：HTML、JSON、XML、CSV 档案：ZIP 文件 它不仅可以处理 Word 等标准格式，还可以处理多模式数据，这使其脱颖而出。例如，它使用…

本文最初发布在我的Substack通讯中：“。” 那个通讯是为那些技术背景不如我的Medium读者的读者准备的。因此，如果你已经安装了这些工具，可以跳过设置部分。 在这篇文章中，我将提供一个快速概述，说明如何使用开源的DeepSeek R1模型在本地搭建一个能够进行网络搜索的聊天机器人。 这将是一项相当技术性的任务，我在考虑时感到很困难，因为通讯定位为以非技术性的方式解释技术内容，但为了帮助那些想开始AI之旅的人们，我还是决定写这篇文章。 我尽力以非技术性的方式解释（因为我们是半专家，对吧？），但如果您仍然有任何问题，请在Substack上给我发私信（特别是如果您使用的是Windows；我是用Mac完成这个设置的）。 1、期望 按照这个快速指南操作后，你可以在笔记本电脑或台式机上启动一个简化的聊天机器人，如下所示： 一个由DeepSeek R1驱动的基本聊天机器人，能够执行网络搜索 （输出格式可以更美观一些，但稍后再做。我强迫自己今天发布这篇文章） 我们将通过基本设置和分步指南来启动您的AI学习之旅。 2、为什么在本地运行？ 我不能使用DeepSeek应用程序/网页版本吗？ 当然可以。 随着DeepSeek AI助手越来越受欢迎，我看到这种情况的频率越来越高： 我可以想象它有多忙。 ……而且这种情况可能会持续一段时间。 此外，人们可能对使用这些公司的AI助手服务有隐私顾虑。 如果仅在你的计算机上运行，则不会有这种担忧。 最后，如果你想学习AI，这也是熟悉一些开发工具的好方法。 3、设置资源 在开始之前，我们需要以下内容： 你的本地命令终端（只需在Mac上进入“终端”，在Windows上进入“命令提示符”） Python Docker Desktop…

没有人比他们的驾照照片更丑，也没有人比他们的个人资料照片更好看。 这句话仍然很有趣，但事情是这样的。 几年后，我们的个人资料照片将被更具互动性和动态的东西所取代：会说话的AI头像。 事实上，AI头像已经用于许多用例。想想我们在社交媒体上使用的视频游戏角色、虚拟助手和个性化贴纸。 AI头像的主要目的是（并且将是）在虚拟环境中代表人们，并使他们的互动更加人性化。 3 个互联网头像示例：来自 Windows 的 ducky，一个 3 角色头像和 Synthesia 的人工智能视频头像 Alex 互联网内容正在从静态转向动态，头像也不例外。很快，每个人都会有自己的 3D 头像来代表他们在数字世界中。 有些头像非常逼真，有些则完全可定制。有些是 3D 的，有些是 2D 的。有些可以说话，有些可以说话和思考。有些可以帮你找到一辆完美的汽车，有些可以让你爱上它们。 不，我们不是在科幻电影里。这是新常态。 那么，让我们看看如何使用 AI 头像，以及目前可用的一些最佳 AI…