mxnet的计算性能
计算性能的重要因子：命令式编程，符号式编程，惰性计算，自动并行计算，多GPU计算。
mxnet的命令式编程和符号式编程命令式编程：一行一行一次执行，运行非常的慢。符号式编程：计算流程完全定义好之后才被执行。(Theano,Tensorflow)符号式编程步骤：1.定义计算流程。2.计算流编译成可执
...
卷积网络模型的简单介绍
计算机中的神经网络是研究者试图通过人工模拟脑神经元作为学习模型，但是这种模型通过梯度下降来学习，不得而知人脑应该不是这样学习的吧。这块恐怕还需要生物学家做出贡献，才能进一步提升或者说优化神经网络的学习能力。时代造英雄，深度神经网络的崛起不是偶然，随着海量的数据，计算能力更强的硬件支撑，深度神经网络
...
批量归一化
批量归一化一般情况下，在数据的预处理过程中会对样本特征进行归一化处理(将均值变为0方差为1)，使得优化求解过程中数值更加稳定，收敛的更快一些。但是对于深层网络模型而言会变得复杂：矩阵的乘法，使得网络中一些层的输入值不在一个数量级，那么训练过程中会造成不稳定。数学上的解释更加直接的说法，给定批量输入，
...
卷积神经网络
卷积神经网络卷积神经网络的模型有很多，从LeNet,AlexNet,GoogleNet,Inception到ResNet，牢牢把握卷积的核心，其他的网络结构只是加深了层数，和一些trick。本文用mxnet构造一个LeNet网络。
卷积网络的由来在说卷积神经网络的时候，先来想一下为什么会有卷积神经网
...
欠拟合，过拟合与正则
欠拟合：指的是在训练集上，训练误差较高欠拟合可能的原因：复杂的数据，配上简单的模型
过拟合指的训练集上的训练误差较低，但是测试集上的泛化误差较高过拟合可能的原因：训练的数据量过少，模型过于强大，误认为学习到了所有，导致最终的泛化误差较大。
测试模型模型L2正则
欠拟合过拟合code123456789
...
mxnet二多类逻辑回归softmax
多类逻辑回归1.其实就是一个多分类问题，用到softmax函数：将每一项变为非负，然后归一化每一项得到一个概率。(softmax虽然简单但是手写存在一点问题，当输入过大，出现NAN,除此之外易造成数值的不稳定)2.另一种针对预测为概率值的损失函数—-交叉熵损失函数，关于交叉熵函数的详解.将两个概率的
...
mxnet一
为什么要选择mxnet呢，主要是被tensorflow弄烦了！不是说tensorflow很难上手，就是来来回回折腾了好多次，换个口味。其次，仰慕李沐大神，国人小骄傲。再其次，接触了一点mxnet之后确实比tensorflow友好些，以后做实验可能mxnet更方便的一点。当然，前期tensorflo
...
python编码问题
python中的编码和解码python中的字符串1.python 有两种字符串类型：str和unicode2.str转换成特定编码类型，需要把str转为Unicode，然后由unicode转为特定编码。
unicode和utf-8的区别
utf-8用1-8个字节来保存unicode编码的字符。uni
...
Tensorflow三
CNN厉害的地方在于感受野和权值共享减少神经网络的训练参数.类比于人，不需要每个神经元对全局图像做感受，每个神经元只感受局部信息，然后在高层组合这些局部信息得到全局信息。相比于全连接层，CNN局部连接大量减少了参数。总的来说CNN能够自己做特征提取。
1234567891011121314151
...
Tensorflow二
上一节讲了tensorflow简单的运算，这节用简单的线性模型感受一下tensorflow和机器学习的一般操作。本章节只讲tensorflow的用法，如果对线性模型不了解的可以自行查阅，或者等博主有空写个专题（涉及基本原理和公式的推导）。讲两个模型，线性回归(numpy造一些数据)，逻辑回归（mn
...