土猛的员外
以下是我在2024年6月29日上午在北京富力万丽酒店举行的稀土掘金开发者大会RAG专场的分享内容，包括文字稿，一并分享给大家！
朋友们，上午好！
我叫卢向东，来自杭州，今天为大家分享的是我们在大模型应用的企业落地时碰到的一些关于RAG的难点和创新。
可能很多朋友认识我是因为公众号“土猛的员外”，从去年6、7月份开始持续分享了关于RAG和大模型的一些文章和观点。现正在和几个伙伴一起创业，担任杭州萌嘉网络科技（也就是TorchV）的CEO。
今天在这里想和大家分享的主要内容，是关于我们在大模型应用的企业落地场景中遇到的一些问题，以及一些落地的产品案例。我一共会分享四个难点，三个应用案例，然后把一些个人对这一领域的思考放在最后面。希望能从不同视角给大家带来一些大模型应用在企业落地实践中的内容。
OK，那现在我们就进入第一Part，来讲讲我们在实践中遇到的问题。
title: 用户手册-快速入门
slug: /getting-started
displayed_sidebar: mainSidebar
版本历史
| 版本 | 作者 | 日期 | 备注 |
|---|---|---|---|
| beta v1.0.0 | 卢向东(yuanwai@mengjia.net)、肖玉民(xiaoymin@mengjia.net) | 2024/02/28 | 初始化 |
| beta v1.6.0 | 卢向东(yuanwai@mengjia.net)、肖玉民(xiaoymin@mengjia.net) | 2024/03/31 | 正式版本v1.0 |
| beta v1.7.0 | 卢向东(yuanwai@mengjia.net)、肖玉民(xiaoymin@mengjia.net)、厉杭波(lihangbo@mengjia.net) | 2024/04/11 | 正式版本v1.1 |
| beta v1.7.3 | 卢向东(yuanwai@mengjia.net)、肖玉民(xiaoymin@mengjia.net)、厉杭波(lihangbo@mengjia.net) | 2024/05/07 | 正式版本v1.2 |
| beta v1.7.5 | 卢向东(yuanwai@mengjia.net)、肖玉民(xiaoymin@mengjia.net)、厉杭波(lihangbo@mengjia.net) | 2024/06/07 | 正式版本v1.3 |
本手册旨在介绍TorchV AI用户端的业务及操作流程，以便用户能更有效地进行业务处理和操作。
主要内容
使用TorchV AI产品的运营人员及技术人员
浏览器：Chrome 100+/火狐(FireFox)/Microsoft Edge
本文不展示具体产品架构，如您需要查看TorchV产品架构，请点击TorchV产品架构查看。
最近两个多月写文章的频率明显低了很多，不是因为懒了，而是忙着做LLM应用的客户场景落地去了。今天把客户场景落地中的一些心得总结分享一下，希望对广大期望LLM应用落地的企业有一些帮助。
与很多企业客户的深度接触之后，发现绝大多数企业在LLM应用落地中存在三个显著问题，这些企业包括世界500强企业、央企、著名品牌公司，也包括和我们一样但非AI行业的创业公司，所以从样本上来说应该有一定的参考下。然后再分享一下我们在落地过程中碰到的各种难点和需要客户一起决策的点。
大语言模型(LLM) 已经存在了几年，它们正在迅速向 AI Agents和Agents Workflow发展。不要误解我的意思，大语言模型(LLM)是很棒的，但他们在自动化方面仍然不够有效。大语言模型与其他工具相结合是利用大语言模型(LLM)所拥有的通用智能的一种非常有效的方式，通过消耗大量的Tokens。大语言模型最大的问题是他们有迷失的倾向(幻觉和自我一致性)，我们永远不知道大语言模型(LLM)或代理(Agents)什么时候会失败。在这些失败的周围几乎没有护栏，但我们还远远没有结束利用大语言模型(LLM)通用智能的全部能力。
因此，在今天的博客中，我们将深入探讨:
昨天去参加在上海举办的NVIDIA创业者会议，感受了AI创业的热情，还听了Dify CEO张路宇的分享。加上吴恩达在红杉分享会上对AI Agents的推动，带动了国内大量自媒体对AI Agents的狂轰滥炸。所以也想从我自己的角度来分享一些思考。
先贴一下吴恩达分享的四种AI Agents设计模式：
本质上AI Agents是一个依赖于大语言模型（LLM）的业务组件，是LLM在企业场景落地中的手段，而且不仅一种手段。我觉得目前由三种主流的AI Agents的采用方式，纯个人观点，不代表任何官方意见。
目前，使用大型语言模型(LLMs)构建应用程序不仅复杂而且脆弱。典型的pipelines通常使用prompts来实现，这些prompts是通过反复试验手工制作的，因为LLMs对prompts的方式很敏感。因此，当您更改pipelines中的某个部分(例如LLM或数据)时，可能会削弱其性能—除非您调整prompts(或微调步骤)。
当您更改pipeline中的一部分时，例如LLM或数据，您可能会削弱其性能……
DSPy[1]是一个框架，旨在通过优先编程而不是prompt来解决基于语言模型(LM)的应用程序中的脆弱性问题。它允许您在更改组件时重新编译整个管道，以根据您的特定任务对其进行优化，而不是重复手动轮次的prompt工程。
虽然关于该框架的论文[1]早在2023年10月就已经发表了，但我是最近才知道的。在看了Connor Shorten的一个视频“DSPy解释!” 之后，我已经可以理解为什么开发者社区对DSPy如此兴奋了!
本文简要介绍了DSPy框架，涵盖了以下主题:
Function Call（函数调用）并不是什么新鲜事。2023 年 7 月，OpenAI 为其 GPT 模型引入了函数调用，该功能现在已被竞争对手采用。Google 的 Gemini API 最近支持它，Anthropic 正在将其集成到 Claude 中。函数调用对于大型语言模型 （LLMs ）来说变得至关重要，从而增强了它们的功能。
考虑到这一点，我的目标是编写一个全面的教程，涵盖基本介绍之外的函数调用（已经有很多教程了）。重点将放在实际实施上，构建一个完全自主的人工智能代理，并将其与 Streamlit 集成，以获得类似 ChatGPT 的界面。虽然 OpenAI 用于演示，但本教程可以很容易地适用于其他LLMs支持函数调用，例如 Gemini。
Function Calling（函数调用）使开发人员能够描述函数（也称为工具，您可以将其视为模型要执行的操作，例如执行计算或下订单），并让模型智能地选择输出包含参数的 JSON 对象来调用这些函数。简单来说，它允许：
它开辟了许多可能性：
神经网络是人工智能 （AI） 的核心，为从发现照片中的物体到翻译语言的各种应用提供动力。在本文中，我们将深入探讨神经网络是什么，它们是如何工作的，以及为什么它们在当今技术驱动的世界中很重要。
Index 指数
·1：了解基础知识
∘ 1.1： 什么是神经网络？
∘ 1.2： 神经网络的类型
·2：神经网络的架构
∘ 2.1： 神经元的结构
∘ 2.2： 图层
∘ 2.3： 层在学习中的作用
·3：神经网络的数学
∘ 3.1： 加权总和
∘ 3.2： 激活函数
∘ 3.3： 反向传播：神经学习的核心
∘ 3.4： 分步示例
∘ 3.5： 改进
·4：实现神经网络
∘ 4.1： 用 Python 构建简单的神经网络
∘ 4.2： 利用库实现神经网络 （TensorFlow）
·5：挑战
∘ 5.1： 克服过拟合
·6：结论
神经网络是生物学和计算机科学的酷炫融合，灵感来自我们大脑处理复杂计算任务的设置。从本质上讲，它们是旨在发现模式和理解感官数据的算法，这使它们可以做很多事情，例如识别人脸、理解口语、做出预测和理解自然语言。
经过一个忙碌的3月，2024年4月1日，我们迎来了2024年1月26日首次发版以来最大的一次更新，TorchV AI（原TorchV Bot）从原来的beta 版本升级到了正式版v1.0。
目前TorchV AI的主要技术架构依然还是RAG+LLM，实现的是”快思考“的功能。再往后，我们会在TorchV AI中逐步增加”慢思考“的功能，既更加面向业务的Agent和Workflow。
以下是TorchV AI v1.0的主要更新升级内容：
您依然可以申请TorchV AI的试用，直接加微信（lxdhdgss）联系即可！
本文非AI技术文章，而是讲述我们在AI应用创业过程中的一些心得。网上常说技术创业者往往缺的不是技术，而是对市场需求的感知，以及如何做到PMF。我们离PMF还有距离，但是已经在路上，所以分享一些自己的AI创业心得，希望得到您共鸣和反馈。
昨天最开心的一件事情是我们的一个客户（后面简称“ZY”）的AI应用上线了，ZY使用的是TorchV的AI PaaS服务，而且他们切入的市场需求真的非常棒！鉴于他们做的是专属社群的生意，不太愿意在互联网过多曝光，所以我只说一些大概内容，会略去一些敏感信息。
首先他们的服务对象是在读的重点大学本科生与各类研究生，为学生提供收费的知识服务，对于他们商业模式我就不再过多透露了，但我们内部也评价了一下，确实很有卖点，而且他们具备一些独特优势。
下面我把重点放在讲述ZY与我们TorchV相关的内容上。