AI.x社区

就像无数人从敲下“HelloWorld”开始代码之旅一样，许多研究员从“MNIST数据集”开启了人工智能的探索之路。MNIST数据集（MixedNationalInstituteofStandardsandTechnologydatabase）是一个用来训练各种图像处理系统的二进制图像数据集，广泛应用于机器学习中的训练和测试。MNIST数据集共有70000张图像，其中训练集60000张，测试集10000张。所有图像都是28×28的灰度图像，每张图像包含一个手写数字。每张图像都有标注。共10个...

我们将到我们将要求解目标函数：在这里我们对min后面的式子进行放缩。之前我们认为：该式大于等于0。现在我们对该式进行放缩，我们知道当x>1时，2x>2。所以我们总有办法使进行此放缩的目的是为了化简。当该式大于等于1时，它的最小值就是1。所以目标函数可以化简成：所以目标函数就变成了当遇到求极大值问题时，我们将其转换成求极小值问题，所以我们只需要求w的极小值就可以。为了方便后续化简，我们将w变成w的平方，并乘以12...

大家好！我是小A！今天我们接着上一篇，为大家讲解多元线性回归是怎么一回事。何为多元？当我们的输入x只有一维属性时，我们称之为一元。就像我们判断人胖瘦，只需了解体重这一个属性，我们就可以辨识。当x包含n个属性，由n个属性进行描述时，我们称之为多元。比如我们判断一个西瓜是好瓜还是坏瓜，我们需要了解的信息就多了，我们需要知道瓜的生产日期，瓜的颜色，瓜敲起来声响如何等等，综合上述多种属性才能判断瓜的成色。这...

LSTM即longshorttermmemory，是RNN神经网络的改进版本。它与RNN的不同之处就在于，它引入了细胞状态这样一种概念，不同于RNN只考虑最近的状态，LSTM的细胞状态会决定哪些状态留下来，哪些状态被遗忘。这样即使很久以前的状态也会对下一步的预测作出影响，很大程度上的弥补了RNN的缺陷。不同于RNN单一神经网络层，LSTM有四个神经网络层，如下图所示：首先先熟悉一下上图中图标的含义在上面的图例中，每一条黑线传输着一整个向量...

LSTM的关键在于它的“记忆单元”，能够选择性地记住或者忘记信息。其核心组件包括三个门和一个记忆单元：1.遗忘门（ForgetGate）：决定应该丢弃哪些信息。2.输入门（InputGate）：决定更新哪些新的信息。3.输出门（OutputGate）：决定当前状态如何影响输出。数学公式解释遗忘门：ftσ(Wf⋅[ht−1,xt]+bf)遗忘门决定了上一时刻的状态Ct−1中，哪些信息需要保留，哪些需要丢弃。值域为[0,1]，1表示完全保留，0表示完全丢弃。输入...

XGBoost是华盛顿大学博士陈天奇创造的一个梯度提升（GradientBoosting）的开源框架。至今可以算是各种数据比赛中的大杀器，被大家广泛地运用。接下来，就详细介绍一下XGBoost的原理和公式推导。XGBoost其实是一个树集成模型，他将K（树的个数）个树的结果进行求和，作为最终的预测值。好比接下来有两颗决策树：tree1和tree2。小男孩的回归预测分数是tree1叶子结点的权重和tree2叶子结点的权重相加：2+0.92.9。爷爷的预测分数同...

作为机器学习的入门课程，线性回归是我们必须要学习的第一个算法。今天我们就来详细的讲解一下线性回归。在讲解之前，我们先来解释以下几个问题。可为线性？线性是指自变量x和因变量y之间是线性的关系，即图像是一条直线，叫做线性。何为回归？百度百科的解释是：指研究一组随机变量(Y1，Y2，…，Yi)和另一组(X1，X2，…，Xk)变量之间关系的统计分析方法，又称多重回归分析。通俗的讲就是我们研究一个函数，当我们输入自变量x时...

神经网络为什么可以做到智能分类，回归预测？他是如何做到的呢？让我们先来看一个回归预测问题，请看下面这张图：解释一下上图中的要素：蓝色曲线为真实数据，红色为神经网络预测曲线。其中红色曲线由三段直线构成，【01】区间内斜率k1；【12】区间内斜率k1；【2∞】区间内斜率k1。实际上神经网络预测曲线y^可以由以下三个函数构成：‍‍‍‍‍‍解释一下上图中的要素：其中y1x，区间【0∞】；y20，区间【01】，y22x+2，区间【1...

从本篇开始我将会给大家详细的讲解神经网络以及最经典的卷积神经网络。我们都知道神经网络是机器学习的一个分支，而神经网络的延伸和丰富又形成了一个新的学科：深度学习。深度学习目前主要应用在计算机视觉领域，也就是对图片的识别检测和分类。但是既然是图像处理，处理结果就会受到一下几个因素的影响：1.照射角度改变拍照的角度，改变物体的位置，要求能够识别‍‍‍‍2.光照强度上图中亮度强的白猫可以一眼识别，而亮度低...

fwx+b，再经由sigmoid(f)或者softmax(f)得到的概率与样本实际值y(x)是有偏差的，怎样能使预测值无限接近样本实际值呢？这时就需要用到反向传播来更新神经网络参数。反向传播主要是通过计算损失函数对网络参数的梯度，然后利用梯度下降等优化方法来更新参数，从而使网络逐步优化，降低预测误差。。反向传播流程如下所示：1.前向传播（ForwardPropagation）首先，对输入数据进行前向传播计算，得到网络的输出。这包括以下步骤：输...

很多课程都会通过公式来说明Transformer，但是没有给你算过数，也没让你明白一件更重要的事：“自注意力给出来的输出，实际上表示了什么？”本文就想用一个质化、好懂、可实际运算的例子，带你真正看懂SelfAttention是怎么工作的，并解释它的输出真正意义!1.让我们再来回顾下什么是“注意力机制”？你看一段文字时，总会下意识的想：我要看哪些词？哪些字是我目前理解这句话的关键？注意力机制就是这样一种方法，它允许模型根据...

LightGBM是一个快速、高效的梯度提升框架，他由微软开发，在数据挖掘和机器学习领域应用广泛。接下来详细介绍下他的原理1.梯度提升框架：LightGBM基于梯度提升决策树（GBDT）算法，通过迭代地训练决策树来逐步减少预测误差。它将弱学习器（如决策树）组合成一个强学习器，不断地根据之前模型的误差来调整新模型的训练，从而提高整体模型的准确性。举例：假设有一个预测房价的任务，我们有一些房屋的特征数据，如面积、房间数、...

循环神经网络（RNN）是一类能够处理序列数据的神经网络，它在处理自然语言处理、语音识别、时间序列分析等任务中表现出色。RNN的独特之处在于它能够捕捉序列中的时间依赖关系，这使得它与传统的前馈神经网络（如MLP）有着显著的不同。RNN的基本原理在标准的前馈神经网络中，输入和输出之间的映射是静态的：输入通过一组层的线性变换和非线性激活函数，然后生成输出。而RNN引入了循环的概念：在处理序列数据时，RNN不仅考虑当前...

在深度学习飞速发展的当下，Transformer架构无疑是闪耀的明星，被广泛应用于自然语言处理、计算机视觉等多个领域。而Transformer的“智慧源泉”，正是自注意力机制。今天，就让我们深入剖析这一神奇机制，揭开它的神秘面纱。首先要明白一个概念：为什么需要自注意力机制？传统的神经网络，如循环神经网络（RNN）在处理序列数据时，按顺序依次处理每个元素，对于长距离依赖的捕捉能力欠佳，会出现梯度消失或梯度爆炸问题。卷积神...

今天我们来讲一讲神经网络的参数到底是如何更新的！我们先来看看如下神经网络中的最后一个参数b3是怎样进行更新的。后面的章节再来讲w1w2w3b1b2是如何更新的。我们先假设w1w2w3b1b2参数均已得到最优解，分别如上图中绿色数据所示。假设我们要拟合的曲线如下图所示：我们先给b3赋一个默认的初始值0。假设最上面的绿色曲线是我们要拟合的真实曲线，最下面的绿色曲线是当前的预测曲线。我们先来求一个残差平方和，即对于所有的输入...

ReLU（RectifiedLinearUnit）函数详细讲解ReLU（修正线性单元）是一种在深度学习中非常流行的激活函数，它主要用于神经网络中的隐藏层。ReLU的设计简单而高效，能够有效地处理梯度消失问题，使深度神经网络得以训练。1.ReLU函数的定义ReLU的数学表达式非常简洁：f(x)max⁡(0,x)意思是：当输入值x大于0时，输出值就是输入值x。当输入值x小于或等于0时，输出值是0。2.ReLU函数的图形ReLU函数的图形形状呈现为分段线性函数，在输入...

梯度消失（VanishingGradient）与梯度爆炸（ExplodingGradient）梯度消失和梯度爆炸是深度神经网络训练中经常遇到的两个重要问题，尤其是在训练较深的网络时。这两个问题都会影响网络的训练效率，甚至导致训练失败。下面小A将详细讲解这两个问题。一.梯度消失概念梯度消失是指在训练深度神经网络时，反向传播过程中的梯度逐渐变小，最终导致梯度接近于零的现象。这使得神经网络的权重更新非常缓慢，甚至导致某些层的权重根本不...

今天我们要讲解的算法是Word2vec。Word2vec（wordtovector）顾名思义，这是一个将单词转换成向量形式的工具。通过转换，可以把对文本内容的处理简化为向量空间中的向量运算，计算出向量空间上的相似度，来表示文本语义上的相似度。Word2vec主要分为CBOW（ContinuousBagofWords）又叫连续词袋和SkipGram两种模式，今天我们主要讲解的就是CBOW，接下来我们将从头到尾的详细讲解Word2vec算法流程。先来讲解一个背景知识：onehot向...

今天我们来讲一讲神经网络的参数到底是如何更新的！我们先来看看如下神经网络中的最后一个参数b3是怎样进行更新的。后面的章节再来讲w1w2w3b1b2是如何更新的。我们先假设w1w2w3b1b2参数均已得到最优解，分别如上图中绿色数据所示。假设我们要拟合的曲线如下图所示：我们先给b3赋一个默认的初始值0。假设最上面的绿色曲线是我们要拟合的真实曲线，最下面的绿色曲线是当前的预测曲线。我们先来求一个残差平方和，即对于所有的输入...

什么是梯度下降？梯度下降是一种用于优化目标函数的迭代算法。什么是目标函数？就是损失函数，损失函数（LossFunction）是在机器学习和深度学习中广泛使用的一个概念。它主要用于衡量模型的预测结果与实际结果之间的差异程度。简单来说，损失函数的值越小，说明模型的预测越准确。例如，在一个回归问题（比如预测房价）中，常用的损失函数是均方误差（MSE）。假设真实房价是y，模型预测的房价是y^，均方误差损失函数可以表示为...