资源下载 - 从此开始!

下载我_精品源码软件教程资源网

您的位置:首页 > 建站教程 > 建站资源 > 正文

python实现感知器算法详解

2017-12-20 02:11 来源:未知 编辑:admin

在1943年,沃伦麦卡洛可与沃尔特皮茨提出了第一个脑神经元的抽象模型,简称麦卡洛可-皮茨神经元(McCullock-Pitts neuron)简称MCP,大脑神经元的结构如下图。麦卡洛可和皮茨将神经细胞描述为一个具备二进制输出的逻辑门。树突接收多个输入信号,当输入信号累加超过一定的值(阈值),就会产生一个输出信号。弗兰克罗森布拉特基于MCP神经元提出了第一个感知器学习算法,同时它还提出了一个自学习算法,此算法可以通过对输入信号和输出信号的学习,自动的获取到权重系数,通过输入信号与权重系数的乘积来判断神经元是否被激活(产生输出信号)。


一、感知器算法

我们将输入信号定义为一个x向量,x=(x1,x2,x3..),将权重定义为ω=(ω1,ω2,ω3...)其中ω0的值为,将z定义为为两个向量之间的乘积,所以输出z=x1*ω1 + x2*ω2+....,然后将z通过激励(激活)函数,作为真正的输出。其中激活函数是一个分段函数,下图是一个阶跃函数,当输入信号大于0的时候输出为1,小于0的时候输出为0,这里的阶跃函数阈值设置为0了。定义激活函数为Φ(z),给激活函数Φ(z)设定一个阈值θ,当激活函数的输出大于阈值θ的时候,将输出划分为正类(1),小于阈值θ的时候将输出划分为负类(-1)。如果,将阈值θ移到等式的左边z=x1*ω1+x2*ω2+....+θ,我们可以将θ看作为θ=x0*ω0,其中输出x0为1,ω0为-θ。将阈值θ移到等式的左边之后,就相当于激活函数的阈值由原来的θ变成了0。


感知器算法的工作过程:

1、将权重ω初始化为零或一个极小的随机数。

2、迭代所有的训练样本(已知输入和输出),执行如下操作:

a、通过权重和已知的输入计算输出

b、通过a中的输出与已知输入的输出来更新权重


权重的更新过程,如上图的公式,其中ω与x都是相对应的(当ω为ω0的时候,x为1),η为学习率介于0到1之间的常数,其中y为输入所对应的输出,后面的y(打不出来)为a中所计算出来的输出。通过迭代对权重的更新,当遇到类标预测错误的情况下,权重的值会趋于正类别和负类别的方向。


第一个公式表示的是,当真实的输出为1的情况下,而预测值为-1,所以我们就需要增加权重来使得预测值往1靠近。

第二个公式表示的是,当真实的输出为-1的情况下,而预测值为1,所以我们就需要减少权重来使得预测值往-1靠近。

注意:感知器收敛的前提是两个类别必须是线性可分的,且学习率足够小。如果两个类别无法通过一个线性决策边界进行划分,我们可以设置一个迭代次数或者一个判断错误样本的阈值,否则感知器算法会一直运行下去。


最后,用一张图来表示感知器算法的工作过程


二、python实现感知器算法

import numpy as np 
 
class Perceptron(object): 
  ''''' 
  输入参数: 
  eta:学习率,在0~1之间,默认为0.01 
  n_iter:设置迭代的次数,默认为10 
  属性: 
  w_:一维数组,模型的权重 
  errors_:列表,被错误分类的数据 
  ''' 
  #初始化对象 
  def __init__(self,eta=0.01,n_iter=10): 
    self.eta = eta 
    self.n_iter = n_iter 
  #根据输入的x和y训练模型 
  def fit(self,x,y): 
    #初始化权重 
    self.w_ = np.zeros(1 + x.shape[1]) 
    #初始化错误列表 
    self.errors_=[] 
    #迭代输入数据,训练模型 
    for _ in range(self.n_iter): 
      errors = 0 
      for xi,target in zip(x,y): 
        #计算预测与实际值之间的误差在乘以学习率 
        update = self.eta * (target - self.predict(xi)) 
        #更新权重 
        self.w_[1:] += update * xi 
        #更新W0 
        self.w_[0] += update * 1 
        #当预测值与实际值之间误差为0的时候,errors=0否则errors=1 
        errors += int(update != 0) 
      #将错误数据的下标加入到列表中 
      self.errors_.append(errors) 
    return self 
  #定义感知器的传播过程 
  def net_input(self,x): 
    #等价于sum(i*j for i,j in zip(x,self.w_[1:])),这种方式效率要低于下面 
    return np.dot(x,self.w_[1:]) + self.w_[0] 
  #定义预测函数 
  def predict(self,x): 
    #类似于三元运算符,当self.net_input(x) >= 0.0 成立时返回1,否则返回-1 
    return np.where(self.net_input(x) >= 0.0 , 1 , -1) 


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

打赏一下,我们会为大家提供更多优质资源!

相关文章,95%的人会看!{有内幕、有真相...}

看过本文的人还看过

关闭

微信扫一扫

站长微信账号