分类：MachineLearning - 技术文章—

机器学习是什么

　　近几年机器学习非常火，机器学习并不是近来才出现的已经出现了几十年了，但随着互联网、移动互联网、计算资源的迅猛发展使得机器学习有了庞大的数据、廉价的计算资源、广泛的应用场景；三种条件可以说缺一不可，互联网、移动互联网带来了大数据与广泛的应用场景，摩尔定律使得机器越来越便宜云计算的出现又让计算资

模型评估与选择

　　好记忆不如烂笔头，之前西瓜书这章也看过几次但还是掌握不够，今天又拿来翻翻顺便做个笔记；　　前面写了几篇线性回归与逻辑回归的文章，是说模型训练的但是模型的性能怎样该怎么选择使用最小二乘法还是梯度下降法呢，我们总得要比较模型的性能再做选择吧；所以就有了这里所说的模型评估与选择；　　既然是读书比较

逻辑回归

　　前面几篇文章介绍了线性回归算法，他们都属于线性模型现在这篇说的是逻辑回归，虽然都有回归二字却是非线性模型；逻辑回归的输出为特定离散值，用于判定数据的分类所以逻辑回归（Logistic regression）也称为分类模型；分类模型又有二分与多分类，逻辑回归通常用于二分类；以下内容为Stand

线性回归——最大似然法

似然函数　　似然函数与概率非常类似但又有根本的区别，概率为在某种条件（参数）下预测某事件发生的可能性；而似然函数与之相反为已知该事件的情况下推测出该事件发生时的条件（参数）；所以似然估计也称为参数估计，为参数估计中的一种算法；下面先求抛硬币的似然函数，然后再使用似然函数算出线性回归的参数；　　

线性回归——梯度下降法_实例

　　上篇文章介绍了梯度下降法在线性回归中的相关理论与证明，这里使用程序实例代码方式看梯度下降法是怎样一步一步下降求出最优解的； X = [1 4;2 5;5 1;4 2]; y = [19;26;19;20]; m = length(y); alpha = 0.002; %步长 num_it

线性回归——梯度下降法

　　前面的文章讲了使用最小二乘法来求线性回归损失函数的最优解，最小二乘法为直接对梯度求导找出极值，为非迭代法；而本篇文章了使用一个新的方法来求损失函数的极值：梯度下降法（Gradient Descendent, GD），梯度下降法为最优化算法通常用于求解函数的极值，梯度下降法为迭代法，给定一个β在梯

线性回归——最小二乘法（二）

　　上篇文章中介绍了单变量线性回归，为什么说时单变量呢，因为它只有单个特征，其实在很多场景中只有单各特征时远远不够的，当存在多个特征时，我们再使用之前的方法来求特征系数时是非常麻烦的，需要一个特征系数一个偏导式，而却最要命的时特性的增长时及其迅猛的，几十、几百、几千…… 单变量线性回归：多变量线性

线性回归——最小二乘法_实例（一）

　　上篇文章介绍了最小二乘法的理论与证明、计算过程，这里给出两个最小二乘法的计算程序代码； Octave代码 clear all;close all; % 拟合的数据集 x = [2;6;9;13]; y = [4;8;12;21]; % 数据长度 N = length(x); % 3

线性回归——最小二乘法（一）

　　相信学过数理统计的都学过线性回归（linear regression），本篇文章详细将讲解单变量线性回归并写出使用最小二乘法（least squares method）来求线性回归损失函数最优解的完整过程，首先推导出最小二乘法，后用最小二乘法对一个简单数据集进行线性回归拟合；线性回归　　线性

2025-07-23

精准与效率：RAG应用PDF文档图文提取OCR策略