首页 > 编程语言 >【AI入门】C++构建BP神经网络，并实现手写数字识别

【AI入门】C++构建BP神经网络，并实现手写数字识别

时间：2023-02-17 17:35:53浏览次数：44  
标签：val NY AI NB ++ C++ int bias BP

目录

BP神经网络的基本原理

参考资料：机器学习（西瓜书） - 周志华

如图所示，一个简单的BP网络包含输入层，隐藏层和输出层。

给定输入值\(x_1,x_2,...,x_n\)，隐藏层和输出层的输出分别值为。

\[b_i=f(\sum\limits_{j}v_{ji}x_{j}-\gamma_i)\\ \]

\[y_i=f(\sum\limits_{j}w_{ij}b_j-\theta_i) \]

\(v,w\)为连接权，\(\gamma,\theta\)为阈值。\(f\)​为激活函数，一般取

\[f(x)=sigmoid(x)=\frac{1}{1+e^{-x}} \]

它有很好的性质，为求解梯度提供了便利

\[f'(x)=f(x)(1-f(x)) \]

对训练例\((x_1,y_1)...(x_n,y_n)\),假定神经网络的输出为\(\hat{y_1}...\hat{y_n}\),则定义网络的均方误差为

\[E=\frac{1}{2}\sum\limits_j(\hat{y_j}-y_j)^2 \]

我们可以根据网络的均方误差，采取梯度下降的方法，调整连接权与阈值的参数值，例如

\[v_{ij}\leftarrow v_{ij}+\Delta v \]

为尽量减小均方误差，\(\Delta v\)应取均方误差关于\(v_{ij}\)的负梯度方向。

我们令

\[\Delta v=-\eta\frac{\partial E}{\partial v_{ij}} \]

其中\(\eta\in(0,1)\)称为学习率，控制着算法每一轮迭代中的更新步长，若太大容易震荡，太小收敛速度又会过慢。

这里略去使用链式求导法则求解梯度的具体过程，仅给出结果。

\[g_i=\hat{y_i}(1-\hat{y_i})(y_i-\hat{y_i}) \]

\[e_i=b_i(1-b_i)\sum\limits_{j}w_{ij}g_j \]

\[\Delta w_{ij}=\eta g_jb_i \]

\[\Delta \theta_i=-\eta g_i \]

\[\Delta v_{ij}=\eta e_jx_i \]

\[\Delta\gamma_i = -\eta e_i \]

从输出数据计算输出数据和误差的过程称为前向传播。而调整权值和阈值则从输出到输入的方向进行，称为反向传播(back propagation)。

BP神经网络的C++实现

算法的流程图如下

根据西瓜书上的推导与流程，实现了BP神经网络的基本框架

const int NX = 784, NB = 500, NY = 10;//输入层X，隐藏层B，输出层Y节点数
const double eta = 0.1;//学习率

struct Node {
    double val{};
    double bias{};
    vector<double> weight;
} x[NX], b[NB], y[NY];//输入层X，隐藏层B，输出层Y
double g[NY], e[NB];//用于反向传播
double trainx[NX], trainy[NY];//训练数据



double sigmoid(double x) { return 1.0 / (1.0 + exp(-x)); }

double get_rand_weight() { return rand() % 10 / 5.0 - 1; } //生成(-1,1)随机数
double get_rand_bias() { return rand() % 10 / 500.0 - 0.01; } //生成(-0.01,0.01)随机数


//网络初始化
void init() {
    for (int i = 0; i < NX; i++) {
        //x[i].bias = get_rand_bias();
        for (int j = 0; j < NB; j++) {
            x[i].weight.push_back(get_rand_weight());
        }
    }
    for (int i = 0; i < NB; i++) {
        b[i].bias = get_rand_bias();
        for (int j = 0; j < NY; j++) {
            b[i].weight.push_back(get_rand_weight());
        }
    }
    for (int i = 0; i < NY; i++) {
        y[i].bias = get_rand_bias();
    }
};

//前向传播
void forward() {
    //首先需要清空隐藏层和输出层原有的非参数数据！！！
    for (int i = 0; i < NB; i++) b[i].val = 0;
    for (int i = 0; i < NY; i++) y[i].val = 0;
    //输入层读取数据
    for (int i = 0; i < NX; i++) x[i].val = trainx[i];
    //输入层->隐藏层
    for (int i = 0; i < NX; i++) {
        for (int j = 0; j < NB; j++) {
            b[j].val += x[i].val * x[i].weight[j];
        }
    }
    //隐藏层求值
    for (int i = 0; i < NB; i++) {
        b[i].val = sigmoid(b[i].val - b[i].bias);
    }
    //隐藏层->输出层
    for (int i = 0; i < NB; i++) {
        for (int j = 0; j < NY; j++) {
            y[j].val += b[i].val * b[i].weight[j];
        }
    }
    //输出层求值
    for (int i = 0; i < NY; i++) {
        y[i].val = sigmoid(y[i].val - y[i].bias);
    }
}

//反向传播
void back() {
    //计算g和e
    for (int i = 0; i < NY; i++) {
        g[i] = y[i].val * (1 - y[i].val) * (trainy[i] - y[i].val);
    }

    for (int i = 0; i < NB; i++) {
        double res = 0;
        for (int j = 0; j < NY; j++) {
            res += b[i].weight[j] * g[j];
        }
        e[i] = b[i].val * (1 - b[i].val) * res;
    }

    //更新参数w, theta, v, gamma
    for (int i = 0; i < NB; i++)
        for (int j = 0; j < NY; j++)
            b[i].weight[j] += eta * b[i].val * g[j];
    for (int i = 0; i < NY; i++)
        y[i].bias -= eta * g[i];
    for (int i = 0; i < NX; i++)
        for (int j = 0; j < NB; j++)
            x[i].weight[j] += eta * x[i].val * e[j];
    for (int i = 0; i < NB; i++)
        b[i].bias -= eta * e[i];
}

将BP神经网络应用于手写数字识别

数据处理过程参考了这篇博客https://www.cnblogs.com/alphainf/p/16395313.html

使用Minst数据集，可以从官网http://yann.lecun.com/exdb/mnist/获取。

训练集包含60000组28*28的手写数字灰度图像，以及每个图像对应的正确数字0~9。

我们可以将28*28=784个像素的灰度值标准化为(0,1)的实数，作为输入层的数据。

输出层的节点数设为10，\(y_0\)到\(y_9\)分别表示输入图像为0~9的概率。

隐藏层节点数量可以自行设点，这里取500。

FILE *fImg, *fAns;
fImg=fopen("train-images.idx3-ubyte","rb");
fseek(fImg, 16, SEEK_SET);
fAns=fopen("train-labels.idx1-ubyte","rb");
fseek(fAns, 8, SEEK_SET);

//读入一张新的图片
//除了前16字节，接下来的信息都是一张一张的图片
//每张图片大小为28*28 = 784 = NX，每个char表示该像素对应的灰度，范围为0至255
unsigned char img[NX], ans;
fread(img, 1, NX, fImg);
for (int i = 0; i < NX; i++) trainx[i] = (double)img[i] / 255.0;
//读入该图片对应的答案
//除了前8字节，第k个字节对应第k张图片的正确答案
fread(&ans,1,1,fAns);
for(int i = 0; i < NY; i++) trainy[i] = (i == ans) ? 1 : 0;

我编写了这样一段代码，可以粗略地将图像和训练过程可视化。

for (int i = 0; i < 28; i++) {
        for (int j = 0; j < 28; j++) {
            if (trainx[i * 28 + j] != 0) cout << 'X';
            else cout << ' ';
        }
        cout << endl;
    }
    cout << "Test Case #" << Case <<", result is " << res << ", answer is " << (int)ans << endl;

完整代码如下

#include <iostream>
#include <cstdlib>
#include <cmath>
#include <vector>
using namespace std;


const int NX = 784, NB = 500, NY = 10;//输入层X，隐藏层B，输出层Y节点数
const double eta = 0.1;//学习率

struct Node {
    double val{};
    double bias{};
    vector<double> weight;
} x[NX], b[NB], y[NY];//输入层X，隐藏层B，输出层Y
double g[NY], e[NB];//用于反向传播
double trainx[NX], trainy[NY];//训练数据



double sigmoid(double x) { return 1.0 / (1.0 + exp(-x)); }

double get_rand_weight() { return rand() % 10 / 5.0 - 1; } //生成(-1,1)随机数
double get_rand_bias() { return rand() % 10 / 500.0 - 0.01; } //生成(-0.01,0.01)随机数


//网络初始化
void init() {
    for (int i = 0; i < NX; i++) {
        //x[i].bias = get_rand_bias();
        for (int j = 0; j < NB; j++) {
            x[i].weight.push_back(get_rand_weight());
        }
    }
    for (int i = 0; i < NB; i++) {
        b[i].bias = get_rand_bias();
        for (int j = 0; j < NY; j++) {
            b[i].weight.push_back(get_rand_weight());
        }
    }
    for (int i = 0; i < NY; i++) {
        y[i].bias = get_rand_bias();
    }
};

//前向传播
void forward() {
    //首先需要清空隐藏层和输出层原有的非参数数据！！！
    for (int i = 0; i < NB; i++) b[i].val = 0;
    for (int i = 0; i < NY; i++) y[i].val = 0;
    //输入层读取数据
    for (int i = 0; i < NX; i++) x[i].val = trainx[i];
    //输入层->隐藏层
    for (int i = 0; i < NX; i++) {
        for (int j = 0; j < NB; j++) {
            b[j].val += x[i].val * x[i].weight[j];
        }
    }
    //隐藏层求值
    for (int i = 0; i < NB; i++) {
        b[i].val = sigmoid(b[i].val - b[i].bias);
    }
    //隐藏层->输出层
    for (int i = 0; i < NB; i++) {
        for (int j = 0; j < NY; j++) {
            y[j].val += b[i].val * b[i].weight[j];
        }
    }
    //输出层求值
    for (int i = 0; i < NY; i++) {
        y[i].val = sigmoid(y[i].val - y[i].bias);
    }
}

//反向传播
void back() {

    //计算g和e
    for (int i = 0; i < NY; i++) {
        g[i] = y[i].val * (1 - y[i].val) * (trainy[i] - y[i].val);
    }

    for (int i = 0; i < NB; i++) {
        double res = 0;
        for (int j = 0; j < NY; j++) {
            res += b[i].weight[j] * g[j];
        }
        e[i] = b[i].val * (1 - b[i].val) * res;
    }

    //更新w, theta, v, gamma
    for (int i = 0; i < NB; i++)
        for (int j = 0; j < NY; j++)
            b[i].weight[j] += eta * b[i].val * g[j];
    for (int i = 0; i < NY; i++)
        y[i].bias -= eta * g[i];
    for (int i = 0; i < NX; i++)
        for (int j = 0; j < NB; j++)
            x[i].weight[j] += eta * x[i].val * e[j];
    for (int i = 0; i < NB; i++)
        b[i].bias -= eta * e[i];
}


FILE *fImg, *fAns;
int result[1000000] = {0}; //每次训练的结果，正确为1，错误为0
void train(int Case) {
    //读入一张新的图片
    //除了前16字节，接下来的信息都是一张一张的图片
    //每张图片大小为28*28 = 784 = NX，每个char表示该像素对应的灰度，范围为0至255
    unsigned char img[NX], ans;
    fread(img, 1, NX, fImg);
    for (int i = 0; i < NX; i++) trainx[i] = (double)img[i] / 255.0;
    //读入该图片对应的答案
    //除了前8字节，第k个字节对应第k张图片的正确答案
    fread(&ans,1,1,fAns);
    for(int i = 0; i < NY; i++) trainy[i] = (i == ans) ? 1 : 0;

    //前向传播，计算答案是否正确
    forward();
    int res = 0;
    for (int i = 0; i <= 9; i++)
        if (y[i].val > y[res].val)
            res = i;
    result[Case] = (res == ans) ? 1 : 0;
/*
    for (int i = 0; i < 28; i++) {
        for (int j = 0; j < 28; j++) {
            if (trainx[i * 28 + j] != 0) cout << 'X';
            else cout << ' ';
        }
        cout << endl;
    }
    cout << "Test Case #" << Case <<", result is " << res << ", answer is " << (int)ans << endl;

*/
    //反向传播
    back();

    //输出最近100局的正确率
    int P = 100, cnt = 0;
    if(Case % P == 0) {
        for(int i = 0; i < P; i++)
            cnt += result[Case - i];
        cout << Case << " " << cnt << endl;
    }
}

int main() {
    fImg=fopen("train-images.idx3-ubyte","rb");
    fseek(fImg, 16, SEEK_SET);
    fAns=fopen("train-labels.idx1-ubyte","rb");
    fseek(fAns, 8, SEEK_SET);
    freopen("result.txt", "w", stdout);
    init();
    for (int Case = 1; Case <= 60000; Case++) {
        train(Case);
    }
    return 0;
}

程序每训练100次，会输出过去一百次测试的正确率，在60000次测试后，平均正确率达到85%左右

训练次数-正确率曲线如图所示

存在的疑惑

一开始将阈值和连接权用同样的(-1,1)随机数生成器，发现网络会失效，只会输出同一个答案。尝试将阈值调小后才提升了准确率。

代码中对于阈值的反向传播处理可能存在问题。

标签：val,NY,AI,NB,++,C++,int,bias,BP
From： https://www.cnblogs.com/vv123/p/17130946.html

相关文章

  • Debian/ubuntu系统的开机自启动服务的设置——update-rc.d: error: XXX Default-Start
    最近把自己的树莓派搞了起来，搭了个上网的共享热点，但是遇到了开机自启动的设置问题。 我们先给出正常的ubuntu系统的开机自启动服务的设置：在/etc/init.d/路径下面创建......
  • 测试公开课资料系列02--Postman之chai.js断言应用
    前言如果要挖井，就要挖到水出为止。明晚公开课给大家讲讲如何用chai.js断言，有用过postman只会右侧点来自动生成断言代码，或在公司应用postman的朋友们都来听听。一、c......
  • C++ 猜数字
    #include<iostream>#include<random>#include<limits>namespacerandom{std::random_devicerd;std::seed_seqrr={rd(),rd(),rd(),rd(),rd(),rd......
  • 用Java实现邮件发送 SimpleMailMessage
    网上很多用Session方式那种发送，有点过于冗余，需要在POM文件里添加依赖有一个文章更详细可以参考：https://www.php.cn/manual/view/22279.html<dependency><......
  • String之contains方法
    https://blog.csdn.net/qq_41837249/article/details/1160183431 String类型有一个方法：contains（）,该方法是判断字符串中是否有子字符串。如果有则返回true，如果没有则返回f......
  • C++中的静态成员
    在一个类的定义中，关键字static声明一个不属于类实例的成员。一些细节如果类定义中某个成员的声明说明符包含关键字static，那么它就是类的静态成员。静态成员的名称不能......
  • C++继承--公有继承
    C++继承--公有继承#include<iostream>#include<cstdio>usingnamespacestd;classStudent{//基类public:voidget_value();voiddisplay();private:intnu......
  • c++继承---私有继承
    私有继承   在声明一个派生类的时候将基类的继承方式指定为private的,称为私有继承,用私有继承方式建立的派生类称为私有派生类,其基类称为私有基类.私有继承中的......
  • Vue CLI 2内置框架webpack框架结构解析
    目前Vue已经到3.X版本，相应的VueCLI也已经是VueCLI3版本，创建命令使用vuecreate，如果要用2.X版的vueinit命令，需要全局安装一个桥接工具：npminstall-g@vue/cli-init创......
  • 旁路挂载服务器硬盘 导出数据 raid和lvm操作
    dell420服务器突然不能上电，机房无备用设备；机房代维拆硬盘（硬盘C）后闪送至公司。（怀疑是电源故障）非重实时服务，服务器单硬盘raid0硬盘安装方案1：相同硬件服务器，旁路挂载硬盘C。本......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99