自动求导实现与可视化

micrograd为一个自动梯度引擎，其实现了反向传播算法，用于学习理解深度学习中的自动求导原理。自动求导无论再传统的机器学习中还是深度学习或是目前非常热门的大语言模型GPT中其都是非常重要基础部分。反向传播算法可以高效计算出神经网络中损失函数关于训练权重的梯度，使得可通过快速迭代

2019-08-28

MachineLearning

python中几种自动微分库

　　简单介绍下python的几个自动求导工具，tangent、autograd、sympy；　　在各种机器学习、深度学习框架中都包含了自动微分，微分主要有这么四种：手动微分法、数值微分法、符号微分法、自动微分法，这里分别简单走马观花（hello world式）的介绍下下面几种微分框架； sympy

2018-05-17

MachineLearning

　　梯度下降法（Gradient Descendent）是机器学习的核心算法之一，自动微分则是梯度下降法的核心；　　梯度下降法用于求损失函数的最优值，前面的文章中我们说过梯度下降是通过计算参数与损失函数的梯度并在梯度的方向不断迭代求得极值；但是在机器学习、深度学习中很多求导往往是很复杂的，手动使用