AGI(通用人工智能)推进过程中有两种影响深远的技术路线

  1. **符号主义。**核心思想是主张通过明确的、可解释的规则来构建智能(例如决策树)
  2. 联结主义。核心思想是模拟人脑神经元的连接方式,通过数据训练让系统自主学习规律(例如神经网络)

损失函数 Loss Function:用来衡量模型预测结果与真实结果之间的差距。损失值越小,模型预测越准确;损失值越大,模型预测越差。通过对损失函数求导来寻找最小值。

损失梯度 Loss Gradient:损失函数对模型参数的导数(正常情况下是偏导数),告诉你要怎么改才好。

感知机:最早的神经网络模型之一,本质上是一个二分类线性模型,用于判断一个样本属于哪一类。

感知机结构:

输入特征:x =(x1, x2,…,xn)

对应权重:w = (w1, w2,…,wn)

偏移量:b

感知机输出:y=sign(w * x+ b);

其中w * x = w x从1到n的求和

sign函数定义:sign(z) = { +1 , z ≥ 0; -1, z < 0} 简单来说,结果大于0,说明是可信的激活状态,结果小于0,说明是不可信的未激活状态。

线性可分:能够找到一条直线、一个平面或者超平面将正负样本完全分开,那么数据就是线性可分的。感知机可收敛,经过调整权重能找到分割性

线性不可分:无论怎样都无法将两类数据分开(例如异或)。感知机无法收敛,怎么调整都会分错

单层感知机无法解决线性不可分问题,构建如下多重感知机,可解决线性不可分。(多层神经网络的由来)

image.png

多重感知机训练调整流程

反向传播:通过“误差反馈”调整权重,优化精度