AGI(通用人工智能)推进过程中有两种影响深远的技术路线
损失函数 Loss Function:用来衡量模型预测结果与真实结果之间的差距。损失值越小,模型预测越准确;损失值越大,模型预测越差。通过对损失函数求导来寻找最小值。
损失梯度 Loss Gradient:损失函数对模型参数的导数(正常情况下是偏导数),告诉你要怎么改才好。
感知机:最早的神经网络模型之一,本质上是一个二分类线性模型,用于判断一个样本属于哪一类。
感知机结构:
输入特征:x =(x1, x2,…,xn)
对应权重:w = (w1, w2,…,wn)
偏移量:b
感知机输出:y=sign(w * x+ b);
其中w * x = w x从1到n的求和
sign函数定义:sign(z) = { +1 , z ≥ 0; -1, z < 0} 简单来说,结果大于0,说明是可信的激活状态,结果小于0,说明是不可信的未激活状态。
线性可分:能够找到一条直线、一个平面或者超平面将正负样本完全分开,那么数据就是线性可分的。感知机可收敛,经过调整权重能找到分割性
线性不可分:无论怎样都无法将两类数据分开(例如异或)。感知机无法收敛,怎么调整都会分错
单层感知机无法解决线性不可分问题,构建如下多重感知机,可解决线性不可分。(多层神经网络的由来)

多重感知机训练调整流程
反向传播:通过“误差反馈”调整权重,优化精度