Ubuntu上用caffe的SSD方法训练Pascal VOC数据集

实验目的

继caffe和ssd搭建完成,demo也演示完毕,了解一些基本知识后,现在开始训练自己的数据集,在给自己的训练集处理之前,先跟着官方的示例将Pascal VOC数据集训练走一遍,把可能会踩坑的地方先踩过去,积累点经验。

实验环境

训练平台:NVIDIA K80

预测平台:NVIDIA TX1

语言        :C++,Python

框架        :caffe

方法        :SSD

实验准备

首先是数据集,上一篇博客上有数据集在百度云上的的下载路径:

链接:http://pan.baidu.com/s/1c1AwrRy 密码:ly70

将路径放在自己的硬盘里面,建议不要放在Linux的系统盘内,可以放在自己的机械硬盘或者移动硬盘中,挂载到Linux系统路径下就好;

实验步骤

从几个重要的文件开始说起。在caffe的目录下,有一个data,在里面找到VOC0712文件夹,重点注意其中几个文件:

1.create_list.sh

这是将数据集做成方便之后生成lmdb的路径信息文件,注意将其中的root_dir和第二个for循环中的变量改为自己的路径就好,如下图红框所示:

执行完脚本之后生成三个txt文件,如下:

1)test_name_size.txt每一行分为两个部分,第一部分是test图片的名字,第二部分是图像的size方便之后caffe训练的时候用作test;

2)test.txt每一行分为两个部分,第一部分是用作test的图片的路径信息和文件名,第二部分是用作test的图片的label信息文件(xml);

3)trainval.txt每一行分为两个部分,第一部分是用作trainval的图片的路径信息和文件名,第二部分是用作trainval的图片的label信息文件(xml);

2.create_data.sh

该文件负责读取上一个脚本生成的几个文件,然后根据路径和label信息分别生成trainval和test的lmdb文件,主要注意下面红框部分换成自己的路径即可:

3.labelmap_voc.prototxt

该文件主要记录需要训练识别的n种对象的信息,第一类是background,是不变的,对于Pascal VOC数据集来说,需要识别20种对象,所以后面还有20个label。与传统的机器学习不太一样的是,以前需要输入正负样本,在caffe种,不管是faster rcnn还是ssd,都是只用对训练图像将识别对象的坐标信息标注即可,除了标注信息以外的部分都会当做background去处理。

以上三个文件完成之后,只算作是给训练提供了正确可读的数据集,即lmdb文件。切换到caffe路径下的examples/ssd/中,注意一个文件即可。

4.ssd_pascal.py

这个文件是用来训练数据集的,值得注意的是,该文件是一个一次性的脚本,执行完之后会在规定路径下生成一个jobs文件夹,里面有用作训练,测试,部署的prototxt文件,还有最终执行训练的脚本。

需要修改几个地方:

①84,86行改为自己的lmdb文件的路径:

②242行到265行将生成的prototxt文件和jobs文件夹的路径改为自己规定的路径,并在正确的地方读取前几个脚本生成的文件:

③268行改变训练对象的数量,为对象数+1(background),334行选择使用哪一款GPU,361行改变为用作test的图像总数,560行建议把caffe的bin文件改成绝对路径:

完了之后执行脚本即可,之后会在相应的路径下生成jobs文件夹,其中包含了这一次训练的脚本文件,并且会记录caffe执行只一次训练的日志信息,如下所示:

VGG_VOC0712_SSD_300x300.sh文件即为调用build中的caffe程序,读取相应的文件进行训练:

执行完Python脚本之后,在caffe路径下的models路径中会有本次训练用到的prototxt文件,同时生成的caffemodel文件也将存储在这个路径下面:

写这一篇博客的时候数据集还在训练中,caffemodel的快照及最终的文件还未存储下来。

实验总结

了解了Pascal VOC数据集的训练步骤之后,就可以开始去动手制作我们自己的数据集了,下一步我将会把使用ssd对umdfaces数据集的训练步骤和问题给记录下来,关于umdfaces数据集的信息和将其制作为Pascal VOC格式,可以参考我的另一篇博文:

使用faster rcnn训练umdfaces数据集 

关于文中用到的VGGNet的预训练模型文件,云盘地址如下:

链接:http://pan.baidu.com/s/1c1JQaCK 密码:4crz

本文链接:https://my.lmcjl.com/post/16589.html

展开阅读全文

4 评论

留下您的评论.