AI教程

本篇对应原白皮书以下章节： 3. 通过针对性学习提升模型性能 现实场景通常需要超出训练数据的知识，有以下几种方法帮助模型/agent 获取这些知识： 在推理时通过提示词提供示例 基于检索的上下文学习 （RAG）：提供外部知识库 基于 Fine-tune 的学习：使用特定数据微调 有效使用模型的关键之一是它们在生成输出时能够选择合适的工具，特别是在生产环境中大规模使用工具时。 虽然一般的训练有助于模型发展这一技能，但现实场景通常需要超出训练数据的知识。可以将其想象为基本烹饪技能与精通特定菜系之间的区别。两者都需要基础的烹饪知识，但后者需要针对更细致结果的专门学习。 为了帮助模型获取这种特定知识，存在几种方法： 上下文学习：这种方法在推理时为通用模型提供提示、工具和少样本示例，使其能够在特定任务中“即时”学习如何以及何时使用这些工具。ReAct 框架是自然语言处理中这种方法的一个例子。 基于检索的上下文学习：该技术通过从外部存储中检索最相关信息、工具和相关示例，动态填充模型提示。例如，Vertex AI 扩展中的“示例存储”或之前提到的基于 RAG 架构的数据存储。 基于微调的学习：这种方法在推理之前使用更大的特定示例数据集训练模型。这有助于模型在接收到任何用户查询之前理解何时以及如何应用某些工具。 为了进一步深入了解每种针对性学习方法，让我们回顾一下我们的烹饪类比。 假设有一位厨师收到了一份具体的食谱（提示）、一些关键食材（相关工具）以及一些示例菜肴（少量示例）。基于这些有限的信息和厨师对烹饪的普遍知识，他们需要“即兴”想出如何准备一道最符合食谱和顾客偏好的菜肴。这就是上下文学习。 现在，让我们想象一下，这位厨师在一个备有丰富食材的厨房（外部数据存储）中，里面装满了各种食材和烹饪书（示例和工具）。厨师现在能够从储藏室中动态选择食材和烹饪书，从而更好地符合顾客的食谱和偏好。这使得厨师能够利用现有和新知识，制作出更明智和精致的菜肴。这就是基于检索的上下文学习。 最后，假设我们把这位厨师送回学校学习一种或多种新的菜系（在更大的特定示例数据集上进行预训练）。这使得厨师能够以更深入的理解来应对未来未见过的顾客食谱。如果我们希望厨师在特定菜系（知识领域）中表现出色，这种方法非常完美。这就是基于微调的学习。 每种方法在速度、成本和延迟方面都有独特的优势和劣势。然而，通过在代理框架中结合这些技术，我们可以利用各自的优势并最小化其劣势，从而实现更强大和适应性更强的解决方案。 4.…

一向谨慎的微信，这次为何光速拥抱了DeepSeek? 核心内容：1. 微信搜索接入DeepSeek R1，提供“AI搜索”新体验2. 微信月活超13亿，其选择DeepSeek意味着AI的进一步普及3. 腾讯在AI领域的谨慎态度与此次迅速接入DeepSeek的反差分析 话说，今天，最令人关注的事情就是，微信搜索居然接入了DeepSeek。 简单来说，就是有网友发现，微信正在灰度测试接入DeepSeek R1，在聊天界面顶部进入搜索栏，页面会出现“AI搜索”入口，点击后出现输入框，并有“快速问答”、“深度思考”两个选项可选，而“深度思考”就是使用的DeepSeek-R1的模型。 腾讯方面也对这一信息作出了确认，其称，“微信搜一搜在调用混元大模型丰富AI搜索的同时，近日正式灰度测试接入DeepSeek。在灰度测试范围的用户，可在对话框顶部搜索入口，看到“AI搜索”字样，点击进入后，可免费使用DeepSeek-R1满血版模型，获得更多元化的搜索体验。” 有的童鞋要说了，这不是很正常嘛，国内不是有100多个公司产品都接入了DeepSeek了吗？腾讯微信接入不是很正常吗？‍‍‍‍‍‍‍‍‍ 八姐却觉得吧，这个事情还真的不简单，毕竟，微信是国内2C用户数最多，黏度最高的APP——月活用户超过13亿、日活用户11亿。微信这般体量的类手机操作系统应用接入了DeepSeek，这表明，AI的普适性进一步渗透并加速，同时，这也让DeepSeek朝着中国AI版安卓的方向更近了一步。 微信拥抱DeepSeek，如果快速风靡，这也会给其他同行带来压力：对于字节跳动、阿里这样的大厂而言，如何分配自家大模型和接入DeepSeek的力度，如何应对当下的局势，也值得思量；而对于很多腰部乃至头部的AI公司而言，这更是一个艰难的选择。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍ 而更令八姐关心的是，一项谨慎持重的腾讯，在AI领域坚持后发入场的腾讯，为何在接入DeepSeek的问题上如此迅速，甚而有些激进呢？‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍ 众所周知，马化腾对大模型这个事情的态度是相当看重，也相当谨慎的。‍‍‍‍‍‍‍‍‍‍‍‍ 在腾讯2023年股东大会上，马化腾曾表示，“我们最开始以为AI是互联网十年不遇的机会，但是越想越觉得，这是几百年不遇的、类似发明电的工业革命一样的机遇。” 但他也同样谨慎地表示，腾讯也一样在埋头研发，但是并不急于早早做完，把半成品拿出来展示——“对于工业革命来讲，早一个月把电灯泡拿出来，在长的时间跨度上来看是不那么重要的。关键还是要把底层的算法、算力和数据扎扎实实做好，而且更关键的是场景落地，目前（我们）还在做一些思考。我感觉现在有很多公司太急了，感觉是为了提振股价，我们一贯不是这种风格。” 他也认为：“好的公司不能包揽一切，要聚焦最擅长的领域，才能更好地发挥自己的价值，不能贪图利益，把宝贵的精力分散在其他人更专业的方面去抢一杯羹，专注才能最大化地发展自己的优势。” 于是，无论在投资上，还是在技术上，腾讯在AI领域都是如此的路径。具体到产品上，元宝缺席了去年的砸钱投流大战，根据数据，截至去年12月，元宝App端月活291万，仅是豆包的二十四分之一。 马化腾是这种态度，而众所周知，微信的谨慎更是一以贯之。那么，为何，这次腾讯在拥抱DeepSeek上却如此激进呢？‍‍ 八姐觉得吧，非常重要的原因就是，DeepSeek的优秀以及低成本已经被行业验证过了，要不然也不会引发全球AI的海啸式反应，接入已经验证过的“共识”，显然更符合腾讯谨慎的产品路线；另外，腾讯似乎对哪家的大模型不是很关心，更关心的是场景应用落地，既然自家的混元大模型有点入场晚，那就接入其他家、无竞争关系的大模型，只要能继续用应用抢占用户心智，这就是最重要的。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍ 事实上，马化腾早就表明了他更看重应用和场景落地。在前不久腾讯的内部年会上，马化腾就曾表示：“腾讯会持续投入资源进行算力的储备，希望各个BG都能拥抱大模型的产品化落地场景，目前包括微信、QQ、输入法、浏览器等产品都将推出AI智能体，游戏、微信读书、腾讯视频等产品也将基于混元做更多AI探索。” 说到底，作为中国最赚钱、作为用户数最为庞大的科技公司之一，腾讯管理层可能考虑更多的是，如何在现在AI时代成功的活下去，保持住自己上一个时代的优势，让自己的应用持续笼住用户，并通过更为精准的搜索、个性化推荐和广告投放来赚钱。 从这个角度而言，DeepSeek可能是最好的选择。毕竟，腾讯的大模型入场晚，也并未将宝全押在元宝上，接入成本更低、更为优秀的DeepSeek，才是更为讨巧和理智的方案。腾讯也已经在算力上做好了准备，比如2024年购买了23万张英伟达芯片，今年还将持续购买。这也意味着微信第一批Deepseek用户量同时在线可能没有问题。而微信的Deepseek可能比Deepseek本身可能更为稳定好用。 想象一下，未来的微信，既是你的联络工具，也是你的个人助手，还是你的知识大脑，更是你的生产工具。你是不是更离不开微信了？‍‍‍‍‍‍‍‍‍‍‍ 最后，不得不感叹，AI加持后，一切都变得太快了。先发入场者，全面切换开源大模型，沉没成本太高；而后发入场者，则可以更少包袱的拥抱其他家的大模型。‍‍‍‍‍‍‍‍‍‍‍ 这场AI的大战，真是太扑朔迷离了，估计谁也很难预测到终局。

ima.copilot刚出来的时候, 用了一段时间. 除了混元自身模型有一些差距以外, 对整个公众号的内容生态上的支持是非常好的. 前段时间也测试了一下公众号后台用LLM自动回复,除了业务逻辑上有些交互的问题(例如正常的留言交流和搜索整理公众号内容的区分),其实整理的内容还是可读性很高的, 当然也有因为基础模型的问题导致的 最近微信开始灰度DeepSeek了, 在2C的市场上将会迎来更多的变数, 特别是对字节豆包的生态上的影响. 毕竟腾讯微信的DAU是接近10亿级的. 另一方面最近百度和火山的表态(参考快科技的报道[1]) 百度智能云事业群总裁沈抖在全员会上表示，国内大模型去年的“恶意”价格战，导致行业整体创收相较于国外差了多个数量级。 字节跳动旗下火山引擎总裁谭待通过朋友圈回应称，大模型降价是通过技术创新实现的，大家应像DeepSeek一样聚焦基本功，少无端猜测，归因外部。 谭待指出，火山引擎的豆包1.5Pro模型的预训练成本和推理成本均低于DeepSeek V3，更是远低于国内其他模型，在当前价格下有非常不错的毛利。他进一步解释：“国内外的厂商都在依靠技术创新，降低模型价格。我们也只是实现了Gemini 2.0 Flash的价格水平而已，这个价格完全是依赖技术进步可以做到的。” 其实很多时候成本的估计的分歧, 本质是技术上的差距. 例如尤洋老师估计的数据, 和DeepSeek-V3的论文实现的PD分离+EP并行性能差距超过10倍以上. 本质上的成本差异就是拿一些开源社区简单的TP/PP并行的结果来估计是有很大的差距的. 特别是Google Gemini 2.0 Flash的价格水平来看, 技术上还有更多的优化空间. 例如昨天提到的一篇文章对MOE的性能分析.…

ark 参与每月一次的 AI 夜聊会，这期间也认识了很多正在AI应用创业的大佬朋友们，学到了很多有价值的内容。 由于这次的内容更多偏内部，所以我仅针对自己分享的可公开的部分做一个内容整理，里面会有大量的非共识的部分，有的可能是暴论哈哈哈；如果有感兴趣的朋友可以一起沟通交流； 1. 关于 DeepSeek 所带来的行业趋势判断 1. DeepSeek的RL融合LLM方法+开源训练过程，在今年一定会产生成本更低，推理能力更强的模型，而最好的模型不一定来自于幻方自身；那么从这里又会产生几个推论： 国内的资金与投资趋势会有一些变化 首先，我认为美元等外部资金可能会有小幅回流；不同于国内的社会状况，海外资本除了会关注宏观的政策环境外，还会关注其资产的价值，是在上升还是下降，如果在一个明显的上升通道，那么必然会带来境外资金通过各种形式增持国内资产，所以国内的资金盘总量可能会变大。 另外，年初投资圈定调在 AI 应用层的趋势可能会因为 DeepSeek 的横空出世会因此发生变化，训练成本将会让很多除了老牌大模型厂商外的更多垂直领域和创业公司有更多的机会训练出表现力更好的模型； 由此推断：虽然单个标的投资会变小，而投资总额度会因为数量的增多而变大。 LLM结合更多传统AI的技术路径将会变热 DeepSeek 的技术路径带来了很多更具有创新性的结论： 首先最具性价比的推理模型应该是对齐人类的感知学习与思考方式，而但LLM 其实不是接近于人类的思考模式；其堆算力和参数也并不是一个最优解；且LLM的「基于概率单项输出」的模式无法解决平行世界的推理问题； 例如一些观点性问题：如果XX公司当年没有被XX所收购，那么在这一波AI浪潮中是否会成为一家伟大的公司等等。这些是从来没有发生过的事件，但是因为LLM在融合了RL之后具备了平行世界推理能力，使得更多的分析型场景可以被创造并落地；这些恰恰是过去 而解决平行世界推理、以及其它复杂推理的场景不仅仅只有RL融合LLM这一条路径，例如模仿学习等；今年我觉得很有可能会有更多技术路径被探索出来。 更多的AI应用新场景将有望落地 DeepSeek…

  AI 领域的每个应用场景都有其独到的挑战。在系统承载了生产环境的流量后，开发者就需要开始监控边界场景和特殊案例 系统化视角：将大语言模型看作是系统组件而非独立存在，其性能与可靠性需要完善的可观测体系和防护机制，且要与用户需求和商业目标保持动态对齐 构建能及时反应用户问题的指标告警机制，同时建立指标清理流程以淘汰过时监控项 围绕业务发展方向构建指标体系，既要匹配当前阶段目标，也要整合历史经验教训 不要将事情复杂化。采用渐进式开发模式，先搭建基础指标框架，再完善监控基础设施，最终实现系统成熟度的阶梯式提升 Denys Linkov 在 QCon 旧金山技术大会上发表了题为《构建 LLM 系统评估微观指标的框架设计》的专题演讲。本文整理自该演讲内容，重点探讨大语言模型（LLM）准确性评估所面临的独特挑战，并系统地阐述了如何通过创建、跟踪及动态修正微观指标体系来持续优化 LLM 模型表现。 你是否遇到过这样的场景：修改了系统提示词却导致生产环境出现问题？运行了所有的测试用例，更新模型前也有进行充分的评估，一切看起来都没什么问题，直到有人在 Discord 服务器上 @ 你，抱怨说系统完全挂掉了。 这个关于微观指标的构想，源自于作者在 AI 代理平台 Voiceflow 上修改系统提示词时的亲身经历。仅仅是调整了与模型交互的提示词模板，却意外引发了一个典型案例：某用户在使用德语与模型对话时，前四次交互中模型都能正确使用德语回答，但在第五次对话时，模型却突然切换成了英语的回答。客户对此非常不满，质疑为什么模型在全程使用德语的对话中会突然改用英语。纳闷的不只是用户，作者也摸不着头脑。 LLM 平台的开发，或者说任何类型的平台开发，都是充满挑战的。…

基于融合DeepSeek，教育行业的“AI老师”，向前一大步。 多位教育行业的多位从业者认为，借助DeepSeek，“基于问答的AI老师讲解解题将是最容易突破的领域”。 在这样的时机下，2月14日，学而思宣布正式推出“随时问”APP，这是一款融合DeepSeek R1技术的AI学习产品。 与此同时，学而思随时问团队也与多知等多家媒体进行对话，详细阐述了这一产品的核心理念与未来规划。 这意味着，“随时问”作为新一代AI学习产品，或成为好学而思的战略产品之一。 目前，“随时问”APP主要提供免费答疑服务，可以针对不同年龄段进行分层解答，包括学习问题、生活问题。答疑过程中，部分题目会根据相应知识点推荐学而思自研的互动讲解视频。 （接入DeepSeek的学而思随时问APP已可以在应用商店下载） 根据团队介绍，DeepSeek的V3版本已成为学而思九章大模型的基座之一，学而思加入大量教育领域专有数据进行二次训练，并在此基础上开发学习场景的产品功能。 学而思随时问负责人熊泽法提到，“接入DeepSeek是一个做乘法的关系，核心是能不能做出体验的厚度。我们的目标是让每一个学生都能免费享受到一对一的精准辅导。” 01 “时机到了” 在学而思看来，现在正式推出“随时问”APP是一个非常好的时机。 学而思团队一直关注DeepSeek的进展，熊泽法说：“DeepSeek在2025年初取得突破始料未及，R1模型的出现让全行业感受到出现巨大的变化。” 熊泽法提到：“第一，深度思考模式让产品的可用性大幅提升，DeepSeek R1模型相比于DeepSeek V3模型在逻辑推理有很大的提高，在其基座之上去做产品，想象空间完全被打开，深度思考模式让幻觉降低，经测试数学纯文本题目的准确率已经与真人接近甚至超出真人。 第二，低成本，这是优质的技术进入产品和市场一个非常重要的杠杆，也让免费服务用户成为可能； 第三，DeepSeek 开源，充分透明。“随时问”APP接入满血版DeepSeek R1，叠加对教育场景的理解，更快速、更稳定、更准确地回答用户各种各样的问题。 学而思九章大模型负责人白锦峰补充说：“DeepSeekR1推理能力、低成本、开源以及中文的支持能力非常好，这些综合因素造就R1是突破性的及其输出是“有灵魂的”，也是区别于其他大模型的地方。” 白锦峰介绍，在好未来的技术中台中，公有云已经接入DeepSeek的版本，也在部署私有云的DeepSeek。DeepSeek成本低，是相对于OpenAI o1来说的，DeepSeek的推理成本仅为OpenAI o1的‌3%‌‌。但是，成本还是有的，私有化部署的门槛是比较高的。好未来在接入DeepSeek的策略上优先考虑的是用户体验。 不论如何，DeepSeek 为整个AI技术注入了新的活力。 熊泽法说：“DeepSeek…

DeepSeek 浪潮下的主流编程语言分析：机遇与挑战（含香港服务器部署指南） 一、背景概述 在科技飞速发展的今天，人工智能（AI）技术正在以前所未有的速度改变各个行业。其中，DeepSeek 作为 AI 领域的新兴力量，凭借其强大的自然语言处理（NLP）和代码生成能力，迅速吸引了全球开发者的关注。 对于程序员而言，这既是一场技术革命，也是一场职业挑战。现有的编程语言（如 Python、Java、C++、JavaScript 等）在 DeepSeek 的冲击下，能否继续保持其主导地位？如何借助香港服务器等高性能计算资源来优化代码部署？这些问题值得深入探讨。 二、DeepSeek 简介及其对编程领域的影响 2.1 DeepSeek 的基本原理与特性 DeepSeek 采用基于 Transformer 的深度学习技术，能够理解自然语言并生成高质量代码。其核心特点包括： 强大的代码生成能力：可以根据自然语言描述自动生成代码。 自学习优化：随着数据的积累，代码质量和准确度不断提高。 跨语言支持：涵盖 Python、Java、C++、JavaScript 等多种主流编程语言。 2.2 DeepSeek…

在当今快节奏的金融市场中，获取准确及时的信息对于做出明智的投资决策至关重要。想象一下，一位人工智能金融分析师能够分析股票数据、提取相关新闻见解并综合可行的建议——所有这些都是实时的。 在上一节中，我们构建了一个能够分析股票数据的金融分析师。现在，我们将专注于创建一个专门用于提取相关新闻见解的代理。该代理将利用 Yahoo Finance 来获取与股票相关的新闻，利用 MarkItDown 进行网页抓取，利用 DeepSeek-R1 进行 llm 学习，利用 LangChain 来构建应用程序。通过利用这些工具，我们旨在开发一种简化的工作流程，提供全面的市场洞察，使投资者能够做出明智的决策。 这个新闻洞察代理将实现： 获取新闻 URL：Yahoo Finance 收集所提供股票的相关新闻 URL。 提取新闻内容：利用 Microsoft 的 MarkItDown 从获取的 URL 中提取所有文本。 分析和总结：利用 DeepSeek…

DeepSeek 提出了一个模型，该模型的推理能力可与 OpenAI-o1 相媲美，尽管其参数只是 OpenAI-o1 的一小部分，训练成本也低得多。 之前，我写了一篇文章，展示了 GPT-4o 无法有效推理的实例。其中一个例子就是“死薛定谔猫”问题。 我的一位读者在 DeepSeek-R1 上尝试了同样的提示，他告诉我 DeepSeek 的输出，实际上非常令人印象深刻！ 当我问 GPT-4o 时，它的回答是这样的。显然，它没有意识到猫已经死了，猫还活着的概率是 0。 修改后的薛定谔猫问题提交给 GPT-4o。它没有意识到猫已经死了，因此概率显然是零。 当我在 DeepSeek 上尝试同样的问题时，我注意到 LLM 像一个聪明的人一样思考，试图考虑所有可能性，避免在最终确定答案之前犯愚蠢的错误。最终，它不仅给出了正确的答案，而且解释得很好。 同样的问题问了 DeepSeek-R1。它回答正确（0%）。 如果你想要更多…

作为Modular AI的设计负责人，我的团队今年正在从零开始开发许多AI产品和工作流程。尽管我多年来一直为开发者设计，但我个人也必须迅速掌握一些特定的AI主题，并构建我们的角色集，所以我决定分享一些我自己建立的最佳实践和参考资料。 指导UI原则： 精简的信息是受欢迎的。就像数据科学和金融科技等B2B行业一样，这些角色欢迎密集的数据——只要设计得当，具有强层次结构。所以，减少那些边距吧！ 解析的元数据是最清晰的。提取出元数据并使其可搜索、可过滤、可排序非常重要。表格、侧边抽屉、标签系统——这些都是需要优化的主要设计系统元素。 记住——用户在其他网站上花费的时间比在你自己的网站上更多。AI领域的强大领导者，如HuggingFace和OpenAI。如果他们已经建立了某种模式，并且没有强烈理由偏离，那就采用它。我知道，我知道，这违背了第一原则，但第一原则有其适用的场合。我会让你自己决定你的团队和路线图是否适合。 一个很好的为开发者设计的资源是。这里有一些他们的原则，显然这些原则是专门为开发者角色定制的： 直到快速实现才算完成 添加任何东西都会稀释其他内容 实用性胜过纯粹性 可接近性优于简单性 半途而废和什么也不做一样糟糕 鼓励流畅 重视焦点而非功能 因此，在这些原则的指导下，这是我团队今年发布的几个关键界面。请记住，我的团队只有4人（2名设计师和2名开发人员），我们是一家快节奏的初创公司。我们的设计最初都是以MVP形式发布的，然后在上线后进行迭代，并经常基于现有系统来快速从0到1，并尽快获得真实的外部验证。本文中的所有设计都是我和共同创建的。设计是一项团队运动。 我将要介绍的屏幕： 1、与LLM聊天 作为终端用户，我们现在对聊天界面非常熟悉。作为开发者与LLM（大型语言模型）聊天几乎与在AI平台上的最终用户体验相同，比如、或。这关乎尽可能简洁，并提供快速且简洁的答案。 主要区别在于AI开发者还需要评估模型的速度、构建在其上的便捷性、兼容性和部署能力。 保持界面像传统搜索引擎一样简洁，但提供一个微妙的第二层展示底层发生的事情，包括文档链接、展示模型速度的基准数据以及其他数据，例如每令牌的成本。这是我们在Modular如何解决这个问题的方法。 使用的UI框架： , , 屏幕1 – 简单的“开始聊天”介绍屏幕，显示用户使用的是哪个模型，运行该模型所需的硬件以及处理的流量。 当然，所有界面都支持浅色/深色模式。以下是嵌入我们开发者控制台的深色模式版本。 屏幕2…