AI教程

大型语言模型 (LLM) 的兴起改变了 AI 驱动的应用程序，实现了从聊天机器人到自动代码生成的一切。然而，高效运行这些模型仍然是一个挑战，因为它们通常需要大量的计算资源。 为了解决这个问题，开发人员依赖于优化的推理框架，旨在最大限度地提高速度、最大限度地减少内存使用量并无缝集成到应用程序中。这个领域的两个杰出解决方案是 VLLM 和 Ollama——每个解决方案都满足不同的需求。 VLLM 是一个优化的推理引擎，可提供高速令牌生成和高效的内存管理，使其成为大型 AI 应用程序的理想选择。 Ollama 是一个轻量级且用户友好的框架，可简化在本地机器上运行开源 LLM 的过程。 那么，你应该选择哪一个呢？在这次全面的比较中，我们将分解它们的性能、易用性、用例、替代方案和分步设置，以帮助你做出明智的决定。 1、VLLM 和 Ollama概述 在深入了解细节之前，让我们先了解这两个框架的核心目的。 VLLM（超大型语言模型）是由 SKYPILOT 构建的推理优化框架，旨在提高在 GPU 上运行的 LLM…

为什么 DeepSeek 能席卷 AI 世界，而 Qwen2.5-Max 和 Qwen Chat 却难以引起同样的轰动？ 在过去两周里，DeepSeek 的抱负不知何故让西方大吃一惊。它被描述为斯普特尼克时刻，也是对美国的警钟，等等。 我认为炒作是由于这个领域的大多数人不了解或对市场没有基本的了解。 看看下面这张来自《人工智能分析》的幻灯片，它显示了自 2024 年 12 月 16 日起的质量指数。 DeepSeek V2.5 领先于 AI21Labs 和 Cohere，这已经是一项重大成就；指数为 72。 Qwen…

本指南展示了如何微调 Segformer，这是一种最先进的语义分割模型。我们的目标是为披萨送货机器人建立一个模型，这样它就可以看到要行驶的方向并识别障碍物 🤖。 我们将首先在 Segments.ai 上标记一组人行道图像。然后，我们将使用 🤗 transformers 微调预先训练的 SegFormer 模型，transformers 是一个开源库，提供最先进模型的易于使用的实现。在此过程中，我们将学习如何使用 Hugging Face Hub，这是最大的开源模型和数据集目录。 语义分割是对图像中的每个像素进行分类的任务。你可以将其视为对图像进行更精确分类的方法。它在医学成像和自动驾驶等领域有广泛的用例。例如，对于我们的披萨送货机器人来说，重要的是要确切地知道人行道在图像中的位置，而不仅仅是是否有人行道。 因为语义分割是一种分类，所以用于图像分类和语义分割的网络架构非常相似。 2014 年，Long 等人发表了一篇，使用卷积神经网络进行语义分割。 最近，Transformers 已用于图像分类（例如 ViT），现在它们也用于语义分割，进一步推动了最先进的技术。 是 Xie 等人于 2021 年引入的语义分割模型。…

AI 领域的进步速度确实在以前所未有的速度前进。短短一周多的时间，DeepSeek-R1 LLM 模型的发布就以其令人印象深刻的准确性震撼了 AI 世界，其准确性与现有模型相当，但创建成本仅为典型成本的一小部分。 DeepSeek 团队成功地将其庞大的 671B 参数模型的推理能力提炼为基于 Qwen（DeepSeek-R1-Distill-Qwen-1.5B、7B、14B 和 32B）和 Llama（DeepSeek-R1-Distill-Llama-8B 和 70B）的 6 个小模型。这实际上意味着你可以使用自己的模型副本 – 自定义它、进行更改、在本地运行它或将其托管在云平台上。 在本博客中，我们用 Python 构建一个 DeepSeek-R1 聊天机器人。简而言之，Streamlit 用于前端，而在后端，通过对托管在 Snowflake 中的…

我已经使用 Python 和 JavaScript 进行开发一段时间了，涉足 AI 和非 AI 项目。 虽然 Python 凭借其庞大的生态系统无可否认地主导着 AI 开发领域，但 JavaScript/TypeScript 拥有自己独特的优势，使其成为强有力的竞争者： 性能：由于其异步特性和非阻塞 I/O，JavaScript/TypeScript 在基于 Web 的应用程序中通常优于 Python。 集成：与 Web 技术的无缝兼容性使创建 AI 驱动的 Web…

推理模型并不完全是新事物，但 DeepSeek 的 R1 模型的发布在开源社区中引起了极大的兴奋。在阅读 DeepSeek-R1 论文后，我对他们的后训练技术特别感兴趣，据报道，该技术可以显着提高性能。 传统的后训练方法是监督微调 (SFT)。在 SFT 中，为模型提供提示和期望的输出，以了解用户偏好、结构对齐、安全协议等。本质上，SFT 展示了开发人员或用户对模型的期望，并引导它与这些示例保持一致。 既然已经提到了后训练，那么在深入研究 R1 的后训练方法之前，值得简要讨论一下预训练，因为两者是相关的。训练大型语言模型 (LLM) 的初始步骤之一是因果语言建模。在此阶段，模型通过关注前面的标记来学习预测序列中的下一个标记。此过程产生“基础”模型，这些模型以半监督的方式在大量公共文本数据上进行训练，没有明确的标签，以预测后续标记。说到公共文本数据，我们即将耗尽它（在某种程度上，在这种情况下忽略其他模式）。这种稀缺性是研究人员专注于 LLM 后训练阶段的主要驱动力之一。 回到后训练，存在许多技术，例如 SFT、PPO 和 DPO 等。虽然某些方法在特定领域表现更好，但它们通常会限制指令对齐的创作自由，或者在长时间运行中变得过于昂贵。相反，基础模型没有这些限制，但不可预测、难以指导，并且经常产生人类难以理解的输出。 R1 的作者发现了一种两全其美的方法：将原始模型与指令对齐，同时保留一定程度的创作自由。我不会在这里详细介绍整个过程，但从根本上讲，它们允许基础模型以相当大的自由度“推理”，同时设定专注于准确性和格式的简单目标。为了实现这一点，他们采用了强化学习，实施了一种称为“GRPO”（组相对策略优化）的优化技术。 GRPO 消除了对批评模型（传统上与策略模型大小相同并用于…

AI 代理对于自动化复杂的推理任务至关重要。Smolagents 是由 Hugging Face 开发的轻量级 AI 代理框架，允许将大型语言模型 (LLM) 与现实世界的数据处理无缝集成。与其他高级模型相比，DeepSeek-R1 是一种开源 LLM，它以更低的成本增强了推理能力。我们使用 Ollama 来托管 DeepSeek-R1，从而实现高效的本地部署。 本文探讨如何使用 Smolagents 和 DeepSeek-R1 构建推理代理，并利用工具进行网页抓取和数据导出。 1、Smolagents 概述 Smolagents 提供了一个极简的 AI 代理框架，专为开发人员设计，以便高效地构建和部署智能代理。 Smolagents的主要功能： 简单：紧凑的代码库（约…

本文基于我的书和关于 LLM 的的内容。 为了创建这篇文章，我将使用上一篇文章中构建的代理：如何创建医疗代理/RAG 系统。 但别担心；文章和随附的笔记本都包含所有必要的代码。关于如何创建代理的解释不会像提到的文章中那样详细，因为在这种情况下，我将更多地关注 LangSmith 以及如何跟踪代理的内部流量。 与往常一样，本文将基于笔记本中的代码，可以在找到。 我的建议是在阅读文章时打开笔记本，并在完成后创建自己的版本。 1、加载数据集 首先，让我们加载数据集。正如我之前提到的，我将包含代码，但不提供详细解释： !pip install -q langchain==0.3.0 !pip install -q langchain-openai==0.2.0 !pip install -q langchainhub==0.1.21 !pip install -q datasets==3.0.0…

原始的 DeepSeek R1 是一个 6710 亿参数的语言模型，由 Unsloth AI 团队进行了动态量化，大小减少了 80%（从 720 GB 减少到 131 GB），同时保持了强大的性能。当添加模型卸载时，该模型可以在 24GB VRAM 下以低令牌/秒的推理速度运行。 为什么大小对大型语言模型很重要 大型语言模型本质上需要大量存储和计算资源。为所有参数保持全精度表示（通常为 FP16 或 FP32）变得不切实际，尤其是对于局部推理，因为它需要内存。量化（减少权重表示的位宽）通过大幅减少模型大小和内存占用提供了一种解决方案。然而，整个网络的简单、统一的量化可能会导致严重的性能下降，表现为不稳定的输出或重复的 token 生成。 动态量化：一种量身定制的方法 Unsloth AI…

文本转语音（TTS）技术已经取得了很大的进步，今天我很高兴向大家介绍 Zonos，这是一个令人印象深刻的开源 TTS 系统，提供高质量的语音合成和多语言支持。在本指南中，我们将探索如何使用 Google Colab 轻松上手 Zonos，使其对每个人来说都易于使用，无论他们的硬件配置如何。 1、什么是 Zonos？ Zonos 是一个开源的文本转语音模型，可以克隆声音并在多种语言中生成自然的语音。它的特别之处在于能够在不同语言或表达不同情感时保持参考音频的声音特征。 Zonos关键特性包括： 支持多种语言（英语、日语、西班牙语等） 声音克隆功能 实时生成 ️ 可调语音参数 易于使用的界面 Zonos 可以用于各种用途： 内容创作：有声书、播客、视频旁白 教育：语言学习材料、教育内容 可访问性：为视觉障碍者提供文本转语音 娱乐：游戏角色声音、创意项目 Zonos 是开源且由社区驱动的。你可以： 在…