AI.x社区

作为机器学习的入门课程，线性回归是我们必须要学习的第一个算法。今天我们就来详细的讲解一下线性回归。在讲解之前，我们先来解释以下几个问题。可为线性？线性是指自变量x和因变量y之间是线性的关系，即图像是一条直线，叫做线性。何为回归？百度百科的解释是：指研究一组随机变量(Y1，Y2，…，Yi)和另一组(X1，X2，…，Xk)变量之间关系的统计分析方法，又称多重回归分析。通俗的讲就是我们研究一个函数，当我们输入自变量x时...

神经网络为什么可以做到智能分类，回归预测？他是如何做到的呢？让我们先来看一个回归预测问题，请看下面这张图：解释一下上图中的要素：蓝色曲线为真实数据，红色为神经网络预测曲线。其中红色曲线由三段直线构成，【01】区间内斜率k1；【12】区间内斜率k1；【2∞】区间内斜率k1。实际上神经网络预测曲线y^可以由以下三个函数构成：‍‍‍‍‍‍解释一下上图中的要素：其中y1x，区间【0∞】；y20，区间【01】，y22x+2，区间【1...

从本篇开始我将会给大家详细的讲解神经网络以及最经典的卷积神经网络。我们都知道神经网络是机器学习的一个分支，而神经网络的延伸和丰富又形成了一个新的学科：深度学习。深度学习目前主要应用在计算机视觉领域，也就是对图片的识别检测和分类。但是既然是图像处理，处理结果就会受到一下几个因素的影响：1.照射角度改变拍照的角度，改变物体的位置，要求能够识别‍‍‍‍2.光照强度上图中亮度强的白猫可以一眼识别，而亮度低...

fwx+b，再经由sigmoid(f)或者softmax(f)得到的概率与样本实际值y(x)是有偏差的，怎样能使预测值无限接近样本实际值呢？这时就需要用到反向传播来更新神经网络参数。反向传播主要是通过计算损失函数对网络参数的梯度，然后利用梯度下降等优化方法来更新参数，从而使网络逐步优化，降低预测误差。。反向传播流程如下所示：1.前向传播（ForwardPropagation）首先，对输入数据进行前向传播计算，得到网络的输出。这包括以下步骤：输...

很多课程都会通过公式来说明Transformer，但是没有给你算过数，也没让你明白一件更重要的事：“自注意力给出来的输出，实际上表示了什么？”本文就想用一个质化、好懂、可实际运算的例子，带你真正看懂SelfAttention是怎么工作的，并解释它的输出真正意义!1.让我们再来回顾下什么是“注意力机制”？你看一段文字时，总会下意识的想：我要看哪些词？哪些字是我目前理解这句话的关键？注意力机制就是这样一种方法，它允许模型根据...

LightGBM是一个快速、高效的梯度提升框架，他由微软开发，在数据挖掘和机器学习领域应用广泛。接下来详细介绍下他的原理1.梯度提升框架：LightGBM基于梯度提升决策树（GBDT）算法，通过迭代地训练决策树来逐步减少预测误差。它将弱学习器（如决策树）组合成一个强学习器，不断地根据之前模型的误差来调整新模型的训练，从而提高整体模型的准确性。举例：假设有一个预测房价的任务，我们有一些房屋的特征数据，如面积、房间数、...

循环神经网络（RNN）是一类能够处理序列数据的神经网络，它在处理自然语言处理、语音识别、时间序列分析等任务中表现出色。RNN的独特之处在于它能够捕捉序列中的时间依赖关系，这使得它与传统的前馈神经网络（如MLP）有着显著的不同。RNN的基本原理在标准的前馈神经网络中，输入和输出之间的映射是静态的：输入通过一组层的线性变换和非线性激活函数，然后生成输出。而RNN引入了循环的概念：在处理序列数据时，RNN不仅考虑当前...

在深度学习飞速发展的当下，Transformer架构无疑是闪耀的明星，被广泛应用于自然语言处理、计算机视觉等多个领域。而Transformer的“智慧源泉”，正是自注意力机制。今天，就让我们深入剖析这一神奇机制，揭开它的神秘面纱。首先要明白一个概念：为什么需要自注意力机制？传统的神经网络，如循环神经网络（RNN）在处理序列数据时，按顺序依次处理每个元素，对于长距离依赖的捕捉能力欠佳，会出现梯度消失或梯度爆炸问题。卷积神...

今天我们来讲一讲神经网络的参数到底是如何更新的！我们先来看看如下神经网络中的最后一个参数b3是怎样进行更新的。后面的章节再来讲w1w2w3b1b2是如何更新的。我们先假设w1w2w3b1b2参数均已得到最优解，分别如上图中绿色数据所示。假设我们要拟合的曲线如下图所示：我们先给b3赋一个默认的初始值0。假设最上面的绿色曲线是我们要拟合的真实曲线，最下面的绿色曲线是当前的预测曲线。我们先来求一个残差平方和，即对于所有的输入...

ReLU（RectifiedLinearUnit）函数详细讲解ReLU（修正线性单元）是一种在深度学习中非常流行的激活函数，它主要用于神经网络中的隐藏层。ReLU的设计简单而高效，能够有效地处理梯度消失问题，使深度神经网络得以训练。1.ReLU函数的定义ReLU的数学表达式非常简洁：f(x)max⁡(0,x)意思是：当输入值x大于0时，输出值就是输入值x。当输入值x小于或等于0时，输出值是0。2.ReLU函数的图形ReLU函数的图形形状呈现为分段线性函数，在输入...

梯度消失（VanishingGradient）与梯度爆炸（ExplodingGradient）梯度消失和梯度爆炸是深度神经网络训练中经常遇到的两个重要问题，尤其是在训练较深的网络时。这两个问题都会影响网络的训练效率，甚至导致训练失败。下面小A将详细讲解这两个问题。一.梯度消失概念梯度消失是指在训练深度神经网络时，反向传播过程中的梯度逐渐变小，最终导致梯度接近于零的现象。这使得神经网络的权重更新非常缓慢，甚至导致某些层的权重根本不...

今天我们要讲解的算法是Word2vec。Word2vec（wordtovector）顾名思义，这是一个将单词转换成向量形式的工具。通过转换，可以把对文本内容的处理简化为向量空间中的向量运算，计算出向量空间上的相似度，来表示文本语义上的相似度。Word2vec主要分为CBOW（ContinuousBagofWords）又叫连续词袋和SkipGram两种模式，今天我们主要讲解的就是CBOW，接下来我们将从头到尾的详细讲解Word2vec算法流程。先来讲解一个背景知识：onehot向...

今天我们来讲一讲神经网络的参数到底是如何更新的！我们先来看看如下神经网络中的最后一个参数b3是怎样进行更新的。后面的章节再来讲w1w2w3b1b2是如何更新的。我们先假设w1w2w3b1b2参数均已得到最优解，分别如上图中绿色数据所示。假设我们要拟合的曲线如下图所示：我们先给b3赋一个默认的初始值0。假设最上面的绿色曲线是我们要拟合的真实曲线，最下面的绿色曲线是当前的预测曲线。我们先来求一个残差平方和，即对于所有的输入...

什么是梯度下降？梯度下降是一种用于优化目标函数的迭代算法。什么是目标函数？就是损失函数，损失函数（LossFunction）是在机器学习和深度学习中广泛使用的一个概念。它主要用于衡量模型的预测结果与实际结果之间的差异程度。简单来说，损失函数的值越小，说明模型的预测越准确。例如，在一个回归问题（比如预测房价）中，常用的损失函数是均方误差（MSE）。假设真实房价是y，模型预测的房价是y^，均方误差损失函数可以表示为...