土猛的员外
神经网络是人工智能 （AI） 的核心，为从发现照片中的物体到翻译语言的各种应用提供动力。在本文中，我们将深入探讨神经网络是什么，它们是如何工作的，以及为什么它们在当今技术驱动的世界中很重要。
Index 指数
·1：了解基础知识
∘ 1.1： 什么是神经网络？
∘ 1.2： 神经网络的类型
·2：神经网络的架构
∘ 2.1： 神经元的结构
∘ 2.2： 图层
∘ 2.3： 层在学习中的作用
·3：神经网络的数学
∘ 3.1： 加权总和
∘ 3.2： 激活函数
∘ 3.3： 反向传播：神经学习的核心
∘ 3.4： 分步示例
∘ 3.5： 改进
·4：实现神经网络
∘ 4.1： 用 Python 构建简单的神经网络
∘ 4.2： 利用库实现神经网络 （TensorFlow）
·5：挑战
∘ 5.1： 克服过拟合
·6：结论
神经网络是生物学和计算机科学的酷炫融合，灵感来自我们大脑处理复杂计算任务的设置。从本质上讲，它们是旨在发现模式和理解感官数据的算法，这使它们可以做很多事情，例如识别人脸、理解口语、做出预测和理解自然语言。
经过一个忙碌的3月，2024年4月1日，我们迎来了2024年1月26日首次发版以来最大的一次更新，TorchV AI（原TorchV Bot）从原来的beta 版本升级到了正式版v1.0。
目前TorchV AI的主要技术架构依然还是RAG+LLM，实现的是”快思考“的功能。再往后，我们会在TorchV AI中逐步增加”慢思考“的功能，既更加面向业务的Agent和Workflow。
以下是TorchV AI v1.0的主要更新升级内容：
您依然可以申请TorchV AI的试用，直接加微信（lxdhdgss）联系即可！
本文非AI技术文章，而是讲述我们在AI应用创业过程中的一些心得。网上常说技术创业者往往缺的不是技术，而是对市场需求的感知，以及如何做到PMF。我们离PMF还有距离，但是已经在路上，所以分享一些自己的AI创业心得，希望得到您共鸣和反馈。
昨天最开心的一件事情是我们的一个客户（后面简称“ZY”）的AI应用上线了，ZY使用的是TorchV的AI PaaS服务，而且他们切入的市场需求真的非常棒！鉴于他们做的是专属社群的生意，不太愿意在互联网过多曝光，所以我只说一些大概内容，会略去一些敏感信息。
首先他们的服务对象是在读的重点大学本科生与各类研究生，为学生提供收费的知识服务，对于他们商业模式我就不再过多透露了，但我们内部也评价了一下，确实很有卖点，而且他们具备一些独特优势。
下面我把重点放在讲述ZY与我们TorchV相关的内容上。
注意：本文【非技术文章】，适用于所有想通过最新的AI技术优化自己的工作和业务的朋友。
在大部分企业和事业单位，非结构化数据占比远大于结构化数据，挖掘非结构化数据的价值，为人们所用，任重道远。
王坚博士的《在线》是一本相对有争议的书，当年出版不久，我记得身边的朋友里就有人踩有人捧。虽然他当时讲的更多是基于云计算和大数据的一些未来发展看法，但是其中有一个重要观点，我觉得在AI时代依然适用，那就是“连接”。连接讲的是数据与互联网的连接，是数据与各类业务系统的连接，只有发生了连接，数据的价值才会像石油遇见内燃机，交流电遇见电动机一痒，价值成倍上升。没有连接的数据就只能变成“沉默数据”，在掸去尘灰再次被人发现之前，这些资料文件毫无价值。
我们在构建新事物时，都会依赖一些经过验证的方法、途径和模式。对于软件工程师来说，这个说法非常正确，但对于生成式人工智能和人工智能本身来说，情况可能并非如此。随着生成式人工智能等新兴技术的出现，我们缺乏充分验证的模式来支撑我们的解决方案。
在这里，我分享了一些生成式人工智能的方法和模式，这些方法和模式是基于我对LLM在生产中的无数实现的评估。这些模式的目标是帮助减轻和克服生成式人工智能实现中的一些挑战，如成本、延迟和幻觉。
意图识别是面向目标对话系统的一项重要任务。意图识别(有时也称为意图检测)是使用标签对每个用户话语进行分类的任务，该标签来自预定义的标签集。
分类器在标记数据上进行训练，并学习区分哪个话语属于哪个类别。如果一个看起来不像任何训练话语的话语来到分类器，有时结果会很尴尬。这就是为什么我们也会对“域外”话语进行分类，这些话语根本不属于域。
OpenAI最近发布了他们的新一代embedding模型，称为embeddingv3，他们描述是他们性能最好的embedding模型，具有更高的多语言性能。这些模型分为两类:较小的称为text-embeddings-3-small，较大且功能更强大的称为text-embeddings-3-large。
有关这些模型的设计和训练方式的信息披露得很少。正如他们之前发布的embedding模型(2022年12月与ada-002模型类)一样，OpenAI再次选择了一种闭源方法，其中模型只能通过付费API访问。
但这些性能真的值得花钱去看吗?
这篇文章的动机是将这些新模型与开源模型的性能进行实证比较。我们将依赖于一个数据检索工作流，在这个工作流中，必须根据用户查询找到语料库中最相关的文档。
我们的语料库将是欧洲人工智能法案，该法案目前处于验证的最后阶段。这个语料库除了是世界上第一个关于人工智能的法律框架外，还有一个有趣的特点，那就是它有24种语言版本。这使得比较不同语言族的数据检索的准确性成为可能。
这篇文章将通过以下两个主要步骤:
世界正在向数字时代发展，在这个时代，每个人都可以通过点击距离获得几乎所有他们想要的东西。可访问性、舒适性和大量的产品为消费者带来了新的挑战。我们如何帮助他们获得个性化的选择，而不是在浩瀚的选择海洋中搜索?这就是推荐系统的用武之地。
推荐系统可以帮助组织增加交叉销售和长尾产品的销售，并通过分析客户最喜欢什么来改进决策。不仅如此，他们还可以学习过去的客户行为，给定一组产品，根据特定的客户偏好对它们进行排名。使用推荐系统的组织在竞争中领先一步，因为它们提供了增强的客户体验。
在本文中，我们将重点介绍FinalMLP，这是一个旨在提高在线广告和推荐系统中点击率(CTR)预测的新模型。通过将两个多层感知器(MLP)网络与门控和交互聚合层等高级功能集成在一起，FinalMLP优于传统的单流MLP模型和复杂的双流CTR模型。作者通过基准数据集和现实世界的在线A/B测试测试了它的有效性。
除了提供FinalMLP及其工作原理的详细视图外，我们还提供了实现和将其应用于公共数据集的演练。我们在一个图书推荐设置中测试了它的准确性，并评估了它解释预测的能力，利用作者提出的两流架构。
FinalMLP[1]是建立在DualMLP[2]之上的两流多层感知器(MLP)模型，通过引入两个新概念对其进行增强:
作为人类，我们可以阅读和理解文本(至少其中一些文本)。相反，计算机“用数字思考”，所以它们不能自动掌握单词和句子的意思。如果我们想让计算机理解自然语言，我们需要将这些信息转换成计算机可以处理的格式——数字向量。
许多年前，人们就学会了如何将文本转换为机器可理解的格式(最早的版本之一是ASCII)。这种方法有助于呈现和传输文本，但不编码单词的含义。当时，标准的搜索技术是搜索包含特定单词或N-gram的所有文档时使用的关键字搜索。
然后，几十年后，Embeddings出现了。我们可以计算单词、句子甚至图像的Embeddings。Embeddings也是数字向量，但它们可以捕捉到含义。因此，您可以使用它们进行语义搜索，甚至处理不同语言的文档。
在本文中，我想更深入地探讨Embedding主题并讨论所有细节:
让我们继续了解Embeddings的演变。