AL123 人文社科免费专区文学 2024-06-01

计算社会学：基础理论篇_郭斌；梁韵基；於志文_AZW3_MOBI_EPUB_PDF_电子书（无页码）_郭斌；梁韵基；於志文

内容节选

CHAPTER 3第3章线性模型机器学习方法可以根据输入变量x和输出变量y之间的映射关系进行分类。若函数y=f（x）是线性函数，则称模型是线性模型，否则模型为非线性模型。线性模型又可分为普通线性模型和广义线性模型。本章首先介绍线性模型的基本形式，随后介绍几种经典的线性模型，包括普通线性模型-线性回归和广义线性模型。 3.1 基本形式给定一个由d个属性描述的数据样本x=（x1，…，xi，…，xd），其中xi是x在第i个属性上的取值，线性模型试图基于xi建立一个线性映射函数f（x），对于x的真值进行预测。当x的真值为连续实数时，则对应一个线性回归模型。当x的真值为离散数据时，则对应一个分类任务。一个通过属性的线性组合来进行预测的函数，即一般用向量形式写成：其中，w=（w1，w2，…，wd）表示各种属性的权重；b表示偏置。通过学习参数w和b，即可建立属性与预测结果之间的线性依赖。以鸢尾属植物数据集为例，判断植物为山鸢尾，变色鸢尾，维吉尼亚鸢尾中哪一类，考虑从花萼长度、花萼宽度、花瓣长度、花瓣宽度等特征出发，建立特征与植物类型之间的线性模型。例如若在鸢尾属植物预测问题中学得：说明花瓣长度和花瓣宽度是最重要的特征来区分鸢尾属植物的种类。可以看到，线性模型不仅形式简单，而且能够直观地反映不同特征对诊断结论的贡献性，具有良好的可解释性。 3.2 线性回归［1］线性回归问题假设目标值与输入值之间线性相关，试图寻找一条直线，尽可能地拟合数据点。当目标值只与一个输入特征相关时，称为一元线性回归。当目标值与d个输入特征相关时，称为多元线性回归。一元线性回归试图建立x↦f（x）的映射关系，形式如式（3-2）所示，利用预测值f（x）与真实值y之间的均方误差确定参数w和b的最佳取值。在线性回归问题中，通常采用均方误差（Mean Square Error，MSE）作为损失函数，定义预测值^yi=f（xi）与真实值yi之间的距离。均方误差损失函数定义如下：为使均方误差最小化，目标函数式（3-4）可以进一步记为基于均方误差最小化来进行模型求解的方法称为“最小二乘法”。在线性回归中，最小二乘法试图找到一条直线，使所有样本到直线上的欧氏距离之和最小。线性回归的最小二乘参数估计通过对w和b分别求导进行：令上述两式（3-6）、式（3-7）为0，可得w和b最优解的闭式解：多元线性回归研究多个输入特征共同影响目标值，可表示为类似一元线性回归，可使用最小二乘法估计w和b。需注意，在多元线性回归中，将w以向量的形式表示为输入x变为矩阵X，其中每行前d个元素分别表示（x1，x2，…，xd），最后一个元素恒置为1，即输出y变为向量y=（y1，y2，…，ym），则令，对求导得与一元线性回归相似，令上式为0，可得最优解的闭式解，但其中涉及矩阵逆的计算，故做以下讨论。当XTX为满秩矩阵或正定矩阵时，令式（3-14）为0可得：当XTX非满秩矩阵或正定矩阵，无法利用满秩矩阵或正定矩阵的性质进行矩阵逆的计算，此时常用的解决思路是求出多个能使均方误差最小化的，再引入正则化项确定一个最终的。 3.3 逻辑回归我们在上节中介绍了线性回归，可以将线性回归模型简写为线性回归预测一个数值，用于处理回归问题。本节介绍广义的线性模型，将线性回归模型用于分类任务。其基本思想是寻找一个单调可微的函数，令线性回归模型预测值逼近类别y的衍生物。定义广义线性模型为其中g（·）是单调可微的，称为联系函数（Link Function）。单调阶跃函数非连续，因此通常使用对数几率函数作为替代。对数几率函数如下所示：令z=wTx+b，则式（3-18）可以记为如下形式：对式（3-19）两边取对数，可以得到：式（3-20）称为对数线性回归，式（3-21）称为对数几率回归，其中称为几率，称为对数几率。以p（y=1|x）表示y，式（3-22）可写为易得［2］称二项逻辑回归模型是如式（3-23）的条件概率分布。参数w和b可写为w=（w，b），使用最大似然估计法求解模型参数。设：似然函数为对数似然函数为由于式（3-26）是关于w的高阶可导连续凸函数，故可通过梯度下降法和牛顿法求得最大似然估计值。将二项逻辑回归模型推广到多项，用于多类分类，称为多项逻辑回归模型： 3.4 线性判别分析 3.4.1 基本思想［32］线性判别分析（Linear Discriminant Analysis，LDA）是一种经典的线性学习算法，可用于分类和降维。以二分类为例，LDA的核心思想是：给定训练数据，LDA将样本投影到一条直线上，使得同类样本的投影点尽可能接近、异类样本的投影点尽可能远离。在对测试样本进行分类时，将样本也投影到这条直线上，再根据其投影位置来确定新样本的类别。多分类LDA则......