土猛的员外
导读：
- 为什么企业AI落地往往不顺？
- 重新认识一下知识，不是数据，也不是文档；
- AI企业知识库不等于RAG；
- 如何将文档、数据变成知识，TorchV对SECI模型的实现介绍。
今年的AI应用里，让我最惊艳的应该是Gemini的Deep Research（pro版本）和Manus了，似乎AI真的走到了自己思考和执行事项的时代，相信已经用上这些产品的朋友会有同样的感叹。
但别急，我也发现了它们的一些局限。
也许用显微镜看的时候，它们的局限会很多，比如相对来说还比较高的执行失败率，或者明明规划路径是对的，最终结果却未达预期。但对我来说，最大的差距是Deep Research在规划时不能理解企业特有的业务流程，造成很多它们给的结果明明很好，但和我的业务无关，特别是企业自身的知识无法用几句话就讲清楚的时候，再聪明的AI也无法理解企业知识。
所以你猜到了，我想说的就是在真正的企业AI应用中，没有知识库是不行的。就像你请了一个国际高级咨询师，如果人家完全没有了解公司业务和知识的情况下，给你开了三天闭门会，也许你会觉得如沐春风，然并卵。
主要内容：
TorchV创业一年半的经历，以及对产品和市场的感想。
我们对AI企业知识库的定义。
昨天（2025.05.29）是TorchV创业一年半的日子，本来不想写什么的，因为最近被业务推进的速度摧残的都没有好好休息。但是突然看到红薯老师的文章里面引用了Srinivas Rao的《99% 的 AI 初创公司将在 2026 年前消亡》，让我突然有想写一篇创业感想的冲动。在这个时候看到这篇文章，应该说也算是一种警醒，至少会让我去好好总结和思考。AI有很多方向，我们到底应该聚焦在什么方向上。
Srinivas Rao的《99% 的 AI 初创公司将在 2026 年前消亡》观点带有一些悲观色彩，他分析99%AI初创公司消亡的主要原因缺乏真正的技术护城河，仅仅是依赖类似openai、anthropic等公司的大模型提供的API来进行包壳。这其实也是我们一开始创业就考虑的问题，不是因为我们多么有先见之明，而是实力不允许。所以我们一路走来，不自觉地就往更落地的方向走去了，去做AI企业知识库，而不是高举高打那些非常性感的技术和应用。就像《投名状》里面的台词：有希望打赢的仗，绝对轮不到我们上，让我们上的，肯定是没希望打赢的。把没有希望打赢的仗打赢，我们才有机会，但仅仅是个机会。你说很难？但不难根本轮不到你。当然，我们的处境还不至于如此凶险，但是低头看路是我们生存之道。
下面是我们创业的一些历程，以及一些思考。写的比较仓促，大家就当流水账看吧。
转眼到了2024年尾，和小伙伴一起创立TorchV也接近一年。虽然这一年做了很多事情，但从技术层面上来说，RAG肯定是不得不提的，所以今天分享一下作为大模型应用创业者所感知的这一年，RAG技术和市场环境的变化。
首先申明，本文更多来自于本人主观感受，且内容更多是回顾性的结论，不建议作为其他文章的引用材料。
主要内容包括：
- RAG技术变化
- 主要架构变化
- 技术细节变化
- 市场需求变化
- 上半年：AI无所不能，大而全；
- 下半年：回归理性，小而难；
- 明年预测：应用才是王道；
- 从业者变化。
其中技术部分放在上篇，市场需求变化放在下篇。
RAG（检索增强生成）其实是由两部分组成的，分别是检索和大模型生成。当然，既然有检索就必然会先有索引，包括chunking、embedding等动作都是为了建立更好的索引。因为我们之前从零开始创建并运营了一个千万级用户的智能问答类产品，所以在2021年左右其实就已经采用Java技术栈在使用RAG里面“RA”的大部分技术了。在2023年年中，RAG这个词突然火了起来，于是我们就立马就扑进去了，而且相信RAG在企业应用领域比纯粹使用大模型会更具实用性，至少在三年之内是这样的（随着最近传闻Scaling Law遇到瓶颈，好像这个时间还有可能被推后）。短短几个月，RAG开始的火爆程度甚至有超过LLM的趋势，在2024年1月我甚至还参加了“共识粉碎机”的EP15讨论会，主要话题就是“2024年是否会成为RAG元年？”。
原作者：Deval Shah
图：RAG 中的倒数秩融合（图片由作者提供）
检索增强生成 （RAG） 是自然语言处理中的一种强大技术，结合了基于检索的模型和生成模型的优势。
检索阶段可以成就或破坏您的 RAG 管道。
如果检索器未能从检索器中获取相关文档，则精度较低，幻觉的可能性会增加。
有些查询适合基于关键字的检索技术，如 BM25，而有些查询在密集检索方法中可能表现得更好，其中我们从语言模型嵌入了 embedding。有混合技术可以解决这两种检索方法的缺点。
在这篇博文中，我们将深入探讨 RRF、它的机制、数学直觉和在 RAG 系统中的应用。
在我的产品研发生涯中，出品的产品已经超过十个了，有 toG、toB也有toC，有复杂的，也有非常简单的。回顾这十多个产品，也发现一个有意思的想象，但凡现在依然还被很多客户在使用的，往往都是目的很纯粹的产品，至少从产品初衷来说，都是仅为了解决一个核心问题的。而那些单个产品就带有很多功能的toG系统，现在基本上都已经被扔进垃圾桶了……
所以在我和八一菜刀自己出来创业之后，就“立志”要做简单但强大的产品。
以下是我在2024年6月29日上午在北京富力万丽酒店举行的稀土掘金开发者大会RAG专场的分享内容，包括文字稿，一并分享给大家！
朋友们，上午好！
我叫卢向东，来自杭州，今天为大家分享的是我们在大模型应用的企业落地时碰到的一些关于RAG的难点和创新。
可能很多朋友认识我是因为公众号“土猛的员外”，从去年6、7月份开始持续分享了关于RAG和大模型的一些文章和观点。现正在和几个伙伴一起创业，担任杭州萌嘉网络科技（也就是TorchV）的CEO。
今天在这里想和大家分享的主要内容，是关于我们在大模型应用的企业落地场景中遇到的一些问题，以及一些落地的产品案例。我一共会分享四个难点，三个应用案例，然后把一些个人对这一领域的思考放在最后面。希望能从不同视角给大家带来一些大模型应用在企业落地实践中的内容。
OK，那现在我们就进入第一Part，来讲讲我们在实践中遇到的问题。
title: 用户手册-快速入门
slug: /getting-started
displayed_sidebar: mainSidebar
版本历史
| 版本 | 作者 | 日期 | 备注 |
|---|---|---|---|
| beta v1.0.0 | 卢向东(yuanwai@mengjia.net)、肖玉民(xiaoymin@mengjia.net) | 2024/02/28 | 初始化 |
| beta v1.6.0 | 卢向东(yuanwai@mengjia.net)、肖玉民(xiaoymin@mengjia.net) | 2024/03/31 | 正式版本v1.0 |
| beta v1.7.0 | 卢向东(yuanwai@mengjia.net)、肖玉民(xiaoymin@mengjia.net)、厉杭波(lihangbo@mengjia.net) | 2024/04/11 | 正式版本v1.1 |
| beta v1.7.3 | 卢向东(yuanwai@mengjia.net)、肖玉民(xiaoymin@mengjia.net)、厉杭波(lihangbo@mengjia.net) | 2024/05/07 | 正式版本v1.2 |
| beta v1.7.5 | 卢向东(yuanwai@mengjia.net)、肖玉民(xiaoymin@mengjia.net)、厉杭波(lihangbo@mengjia.net) | 2024/06/07 | 正式版本v1.3 |
本手册旨在介绍TorchV AI用户端的业务及操作流程，以便用户能更有效地进行业务处理和操作。
主要内容
使用TorchV AI产品的运营人员及技术人员
浏览器：Chrome 100+/火狐(FireFox)/Microsoft Edge
本文不展示具体产品架构，如您需要查看TorchV产品架构，请点击TorchV产品架构查看。
最近两个多月写文章的频率明显低了很多，不是因为懒了，而是忙着做LLM应用的客户场景落地去了。今天把客户场景落地中的一些心得总结分享一下，希望对广大期望LLM应用落地的企业有一些帮助。
与很多企业客户的深度接触之后，发现绝大多数企业在LLM应用落地中存在三个显著问题，这些企业包括世界500强企业、央企、著名品牌公司，也包括和我们一样但非AI行业的创业公司，所以从样本上来说应该有一定的参考下。然后再分享一下我们在落地过程中碰到的各种难点和需要客户一起决策的点。
