神经网络训练技巧

小随机数初始化

现在权重初始值要非常接近  又不能等于 ，解决方法就是将权重初始化为很小的数值，以此来打破对称性。

其思路是：如果神经元刚开始的时候是随机且不相等的，那么它们将计算出不同的更新，并将自身变成整个网络的不同部分。

实现方法是：W = 0.01 * np.random.randn(D,H)。其中 randn 函数是基于零均值和标准差的一个高斯分布来生成随机数的。

小随机数初始化在简单的网络中效果比较好，但是网络结构比较深的情况不一定会得到好的结果。比如一个 10 层的全连接网络，每层 500 个神经元，使用  激活函数，用小随机数初始化。

代码与输出图像如下：

import numpy as np

import matplotlib

matplotlib.use('TkAgg')

import matplotlib.pyplot as plt

# 假设一些高斯分布单元

D = np.random.randn(1000, 500)

hidden_layer_sizes = [500]*10  # 隐藏层尺寸都是500，10层

nonlinearities = ['tanh']*len(hidden_layer_sizes)  # 非线性函数都是用tanh函数

act = {'relu': lambda x: np.maximum(0, x), 'tanh': lambda x: np.tanh(x)}

Hs = {}

for i in range(len(hidden_layer_sizes)):

    X = D if i == 0 else Hs[i-1]  # 当前隐藏层的输入

    fan_in = X.shape[1]

    fan_out = hidden_layer_sizes[i]

    W = np.random.randn(fan_in, fan_out) * 0.01  # 权重初始化

    H = np.dot(X, W)  # 得到当前层输出

    H = act[nonlinearities[i]](H)  # 激活函数

    Hs[i] = H  # 保存当前层的结果并作为下层的输入

# 观察每一层的分布

print('输入层的均值：%f 方差：%f'% (np.mean(D), np.std(D)))

layer_means = [np.mean(H) for i,H in Hs.items()]

layer_stds = [np.std(H) for i,H in Hs.items()]

for i,H in Hs.items():

    print('隐藏层%d的均值：%f 方差：%f' % (i+1, layer_means[i], layer_stds[i]))

# 画图

plt.figure()

plt.subplot(121)

plt.plot(list(Hs.keys()), layer_means, 'ob-')

plt.title('layer mean')

plt.subplot(122)

plt.plot(Hs.keys(), layer_stds, 'or-')

plt.title('layer std')

# 绘制分布图

plt.figure()

for i,H in Hs.items():

    plt.subplot(1, len(Hs), i+1)

    plt.hist(H.ravel(), 30, range=(-1,1))

plt.show()

一、课程目标

本公司本着为工控事业培育和输出从电工基础到机器视觉的人才理念，着力于让小白成为工控业专家为目标。

大林上位机视觉软件培训专家特开设从电工基础、PLC、运动控制、上位机、工业机器人、机器视觉培训课程，为实现工业4.0事业而不懈努力。

机构课程全程真实教学、实干为主，不装逼，不扯淡，只唠干货，能做项目！！

二、老师介绍

大林老师

是专业从事上位机视觉软件的开发与培训，多年从事上位机机器视觉相关项目开发，对电气人员学习C#开发视觉软件有独到的见解，即使您是零基础或只要从事过电气自动化相关工作的学员都能够轻松快速学会。

三、校区介绍

大林上位机机器视觉培训机构，分为两个校区，苏州校区（苏州木渎），常州校区（常州新北）

四、硬件设施

校区提供2000多平方的实训基地，完美的设备硬件配套，可以做到边学习边操作，鉴于本机构隶属于某自动化公司，学员可以配合边学习边配合公司开发人员完成项目，这样学习起来事半功倍

五、毕业服务

学业完成后本公司可以择优录取，在我们自动化公司的实习，解决您的后顾之忧

六、课程对象

1.零基础无任何相关知识

2.有电气及PLC编程基础的更容易入手

3.需要系统性提升整体能力

4.跨行业转型

5.想拥有一份体面高收入

6.对自己前途迷茫

7.学历低英语不好

七、课程特色

为您量身提供零基础快速成为上位机及机器视觉软件开发专家的学习方案

承接企事业单位定制个性化学员集体培训。

八、课程内容

小白亦可通过学习成为工业软件开发专家，从电气图，到梯形图，到高级语言SCL，再到C#，突破高级语言难的瓶颈，轻松掌握。

从零开始，从电气基本元件入手，跟随课程递进学习，PLC，工业机器人，数据库，运动控制器，上位机，机器视觉，统统一网打尽。

欢迎亲临现场咨询，老师私人定制课程 ，学习更清晰！

九、授课方式

1、线下现场授课更直观，知识点更易吸收，现场互动更易理解和运用。

      1，赠送老师录制课程随时随地轻松学习

      2，赠送配套书籍不限环境随意学习

      3，课间和课后答疑知识掌握更牢固

      4，现场设备随意使用，人机结合熟练运用，加深知识理解。

      5，老师指导完善简历，轻松上岗。

2、线上视频录播课程-整套

      1，赠送配套书籍不限环境随意学习

      2，售后答疑轻松解答

      3，福利：线下报名课程原价抵扣

3、 线上视频课程+现场设备实操

      1，赠送配套书籍不限环境随意学习

      2，售后答疑轻松解答

      3，现场和课后答疑知识掌握更牢固

      4，现场设备随意使用，人机结合熟练运用，加深知识理解

      5，福利：线下报名课程原价抵扣

苏州激光3D视觉检测培训_苏州机器视觉测量软件编程培训_苏州机器视觉缺陷检测软件开发培训_苏州机器视觉与运动控制卡开发培训_苏州机器视觉与雷赛运动控制卡开发培训_苏州视觉引导无序抓取培训_苏州视觉引导机器人定位培训

苏州上位机软件开发学习_苏州上位机编程学习_苏州上位机软件开发学习学校_苏州C#与上位机开发学习_苏州C#上位机编程学习_苏州VSC#编程学习_苏州C#与工业自动化编程学习_苏州C#与PLC监控学习_苏州C#与PLC编程上位机软件学习_苏州C#与工业机器人编程学习