我的学习笔记

土猛的员外

聊个5分钟的企业AI应用需求变化趋势

好久没打理Blog了，今天抽时间聊聊当下的企业AI应用需求趋势。

image-20240906121737716

一、企业AI应用需求的底层逻辑

如果从去年年底开始算，我们接触的需求也不少了，具体数量肯定在四五百个以上，各类需求都有。如果一定要做个归纳分类，那可以从客户需求的出发点切入来分类，或者说从底层逻辑来分类。

01用新技术解决老问题

阅读全文

介绍TorchV AI的两款应用，做简洁却重要的事情

写在前面

在我的产品研发生涯中，出品的产品已经超过十个了，有 toG、toB也有toC，有复杂的，也有非常简单的。回顾这十多个产品，也发现一个有意思的想象，但凡现在依然还被很多客户在使用的，往往都是目的很纯粹的产品，至少从产品初衷来说，都是仅为了解决一个核心问题的。而那些单个产品就带有很多功能的toG系统，现在基本上都已经被扔进垃圾桶了……

所以在我和八一菜刀自己出来创业之后，就“立志”要做简单但强大的产品。

  • 简单：也就是上面说的产品的初衷非常单纯，就是去解决一个问题；
  • 强大：这可能有多个解释，如对客户非常有效，有很高的使用价值；产品使用体验非常好，上手很快，能被广泛使用；产品性能好，性能稳定，可解释性（可控）强。

阅读全文

稀土掘金分享——RAG在企业应用中落地的难点与创新（文字稿）

0629讲稿

以下是我在2024年6月29日上午在北京富力万丽酒店举行的稀土掘金开发者大会RAG专场的分享内容，包括文字稿，一并分享给大家！

image-20240702093954294

朋友们，上午好！

我叫卢向东，来自杭州，今天为大家分享的是我们在大模型应用的企业落地时碰到的一些关于RAG的难点和创新。

image-20240702094040067

可能很多朋友认识我是因为公众号“土猛的员外”，从去年6、7月份开始持续分享了关于RAG和大模型的一些文章和观点。现正在和几个伙伴一起创业，担任杭州萌嘉网络科技（也就是TorchV）的CEO。

今天在这里想和大家分享的主要内容，是关于我们在大模型应用的企业落地场景中遇到的一些问题，以及一些落地的产品案例。我一共会分享四个难点，三个应用案例，然后把一些个人对这一领域的思考放在最后面。希望能从不同视角给大家带来一些大模型应用在企业落地实践中的内容。

OK，那现在我们就进入第一Part，来讲讲我们在实践中遇到的问题。

阅读全文

TorchV AI用户手册0609

title: 用户手册-快速入门
slug: /getting-started
displayed_sidebar: mainSidebar

版本历史

版本 作者 日期 备注
beta v1.0.0 卢向东(yuanwai@mengjia.net)、肖玉民(xiaoymin@mengjia.net) 2024/02/28 初始化
beta v1.6.0 卢向东(yuanwai@mengjia.net)、肖玉民(xiaoymin@mengjia.net) 2024/03/31 正式版本v1.0
beta v1.7.0 卢向东(yuanwai@mengjia.net)、肖玉民(xiaoymin@mengjia.net)、厉杭波(lihangbo@mengjia.net) 2024/04/11 正式版本v1.1
beta v1.7.3 卢向东(yuanwai@mengjia.net)、肖玉民(xiaoymin@mengjia.net)、厉杭波(lihangbo@mengjia.net) 2024/05/07 正式版本v1.2
beta v1.7.5 卢向东(yuanwai@mengjia.net)、肖玉民(xiaoymin@mengjia.net)、厉杭波(lihangbo@mengjia.net) 2024/06/07 正式版本v1.3

1.引言

1.1 编写目的

本手册旨在介绍TorchV AI用户端的业务及操作流程，以便用户能更有效地进行业务处理和操作。

主要内容

1.2 读者对象

使用TorchV AI产品的运营人员及技术人员

1.3 环境要求

浏览器：Chrome 100+/火狐(FireFox)/Microsoft Edge

1.4 产品架构说明

本文不展示具体产品架构，如您需要查看TorchV产品架构，请点击TorchV产品架构查看。

2.快速开始

阅读全文

LLM企业应用落地场景中的问题一览 ｜LLM ｜RAG ｜Agent ｜TorchV

最近两个多月写文章的频率明显低了很多，不是因为懒了，而是忙着做LLM应用的客户场景落地去了。今天把客户场景落地中的一些心得总结分享一下，希望对广大期望LLM应用落地的企业有一些帮助。

前述

与很多企业客户的深度接触之后，发现绝大多数企业在LLM应用落地中存在三个显著问题，这些企业包括世界500强企业、央企、著名品牌公司，也包括和我们一样但非AI行业的创业公司，所以从样本上来说应该有一定的参考下。然后再分享一下我们在落地过程中碰到的各种难点和需要客户一起决策的点。

三个问题

  1. AI思维：就像以前大家常说的“互联网思维”一样，AI思维接下来肯定会被越来越多提及。其实所谓的“XX思维”没这么玄乎，说到点子上，其实就是想了解更多已经在开展的案例，然后结合自身情况来做“复制”或创新；
  2. 快速工具：企业工作人员使用LLM很简单，一个浏览器就可以。但是要把LLM的能力结合到自身的业务应用和系统中就没那么容易。需要对接LLM的API、控制幻觉、管理知识库、让RAG的准确度、相关性达到企业应用水平，还需要和自己的应用相结合等。绝大多数企业更希望将自有的研发人员（AI研发人员稀缺是普遍现象）投入到应用开发上，希望基于一个开箱即用、稳定和高质量的LLM应用开发平台来提升他们的业务水平；
  3. POC验证：这是大部分企业开始都没有提出来的，但却是最影响签约的环节。企业客户需要一套有说服力的POC评测方案，在评测结果上得到满意效果之后，企业内部决策（购买）才会变得更加顺畅。

阅读全文

【翻译】AI Agents Are All You Need

大语言模型(LLM) 已经存在了几年，它们正在迅速向 AI Agents和Agents Workflow发展。不要误解我的意思，大语言模型(LLM)是很棒的，但他们在自动化方面仍然不够有效。大语言模型与其他工具相结合是利用大语言模型(LLM)所拥有的通用智能的一种非常有效的方式，通过消耗大量的Tokens。大语言模型最大的问题是他们有迷失的倾向(幻觉和自我一致性)，我们永远不知道大语言模型(LLM)或代理(Agents)什么时候会失败。在这些失败的周围几乎没有护栏，但我们还远远没有结束利用大语言模型(LLM)通用智能的全部能力。

因此，在今天的博客中，我们将深入探讨:

  • 大语言模型(LLM)的未来是什么样子;
  • 我们如何从RAG管道转向Agents;
  • 以及创建一个可行的基于LLM的AI Agent(工具使用、Memory和规划)有哪些挑战?;
  • 最后，我们研究不同类型的Agents，以及AI Agents和RAG的未来是什么样子.

阅读全文

探讨实现AI Agents的三种方式，不同的方式带来不同的客群和场景 ｜LLM ｜Agent ｜RAG

昨天去参加在上海举办的NVIDIA创业者会议，感受了AI创业的热情，还听了Dify CEO张路宇的分享。加上吴恩达在红杉分享会上对AI Agents的推动，带动了国内大量自媒体对AI Agents的狂轰滥炸。所以也想从我自己的角度来分享一些思考。

先贴一下吴恩达分享的四种AI Agents设计模式：

  • 自我反思（Reflection）：可以自我修正；
  • 使用工具（Tool Use）：链接其他系统去做一些事情，比如把我电脑里面的未归档文件做好归档；
  • 规划（Planning）：类似于思维链，分解复杂任务，找到路径；
  • 协作（Multiagent Collaboration）：不同类型的助理（agent），可以通过协作组成一个团队或一家公司，嗯，不过目前这一步应该还需要一些时间。

1

本质上AI Agents是一个依赖于大语言模型（LLM）的业务组件，是LLM在企业场景落地中的手段，而且不仅一种手段。我觉得目前由三种主流的AI Agents的采用方式，纯个人观点，不代表任何官方意见。

阅读全文

【翻译】DSPY简易教程

目前，使用大型语言模型(LLMs)构建应用程序不仅复杂而且脆弱。典型的pipelines通常使用prompts来实现，这些prompts是通过反复试验手工制作的，因为LLMs对prompts的方式很敏感。因此，当您更改pipelines中的某个部分(例如LLM或数据)时，可能会削弱其性能—除非您调整prompts(或微调步骤)。

当您更改pipeline中的一部分时，例如LLM或数据，您可能会削弱其性能……

DSPy[1]是一个框架，旨在通过优先编程而不是prompt来解决基于语言模型(LM)的应用程序中的脆弱性问题。它允许您在更改组件时重新编译整个管道，以根据您的特定任务对其进行优化，而不是重复手动轮次的prompt工程。

虽然关于该框架的论文[1]早在2023年10月就已经发表了，但我是最近才知道的。在看了Connor Shorten的一个视频“DSPy解释!” 之后，我已经可以理解为什么开发者社区对DSPy如此兴奋了!

本文简要介绍了DSPy框架，涵盖了以下主题:

【翻译】LLM的Function-Call简易教程

Function Call（函数调用）并不是什么新鲜事。2023 年 7 月，OpenAI 为其 GPT 模型引入了函数调用，该功能现在已被竞争对手采用。Google 的 Gemini API 最近支持它，Anthropic 正在将其集成到 Claude 中。函数调用对于大型语言模型 （LLMs ）来说变得至关重要，从而增强了它们的功能。

考虑到这一点，我的目标是编写一个全面的教程，涵盖基本介绍之外的函数调用（已经有很多教程了）。重点将放在实际实施上，构建一个完全自主的人工智能代理，并将其与 Streamlit 集成，以获得类似 ChatGPT 的界面。虽然 OpenAI 用于演示，但本教程可以很容易地适用于其他LLMs支持函数调用，例如 Gemini。

Function Calling是干什么用的？

Function Calling（函数调用）使开发人员能够描述函数（也称为工具，您可以将其视为模型要执行的操作，例如执行计算或下订单），并让模型智能地选择输出包含参数的 JSON 对象来调用这些函数。简单来说，它允许：

  • Autonomous decision making（自主决策）:模型可以智能地选择工具来回答问题。
  • Reliable parsing（可靠的解析）: 响应采用 JSON 格式，而不是更典型的类似对话的响应。乍一看似乎并不多，但这就是允许LLM连接到外部系统的原因，例如通过具有结构化输入的 API。

它开辟了许多可能性：

  • Autonomous AI assistants（自主人工智能助手）: 机器人可以与内部系统交互，完成客户订单和退货等任务，而不仅仅是提供查询的答案
  • Personal research assistants（个人研究助理）: 假设您正在计划旅行，助理可以在 Excel 中搜索 Web、抓取内容、比较选项和汇总结果。
  • IoT voice commands（IoT 语音命令）: 模型可以控制设备或根据检测到的意图建议操作，例如调整交流温度。

Function Calling的结构

阅读全文

【翻译】神经网络背后的数学原理

神经网络是人工智能 （AI） 的核心，为从发现照片中的物体到翻译语言的各种应用提供动力。在本文中，我们将深入探讨神经网络是什么，它们是如何工作的，以及为什么它们在当今技术驱动的世界中很重要。

Index 指数

·1：了解基础知识
∘ 1.1： 什么是神经网络？
∘ 1.2： 神经网络的类型
·2：神经网络的架构
∘ 2.1： 神经元的结构
∘ 2.2： 图层
∘ 2.3： 层在学习中的作用
·3：神经网络的数学
∘ 3.1： 加权总和
∘ 3.2： 激活函数
∘ 3.3： 反向传播：神经学习的核心
∘ 3.4： 分步示例
∘ 3.5： 改进
·4：实现神经网络
∘ 4.1： 用 Python 构建简单的神经网络
∘ 4.2： 利用库实现神经网络 （TensorFlow）
·5：挑战
∘ 5.1： 克服过拟合
·6：结论

1：了解基础知识

1.1： 什么是神经网络？

神经网络是生物学和计算机科学的酷炫融合，灵感来自我们大脑处理复杂计算任务的设置。从本质上讲，它们是旨在发现模式和理解感官数据的算法，这使它们可以做很多事情，例如识别人脸、理解口语、做出预测和理解自然语言。

阅读全文