分类: 深度学习

深度学习小分类,深度学习入门吧,实验要用到机器学习,所以收集的资料在这里汇总一下

  • 推荐使用Google Cloud TPU来训练机器学习模型

    早先在做实验时,一直使用的是Google Cloud Platform中的K80 GPU来训练条件生成对抗网络,费用有些高,由于参数需要频繁的修改,几个实验下来Google赠送的300美元基本上就花的差不多了。Google Cloud TPU的出现则可以大大加速训练过程,不过花费同样不秀气。

    详细的使用文档可以直接到这里查阅:

    https://cloud.google.com/tpu/docs/?hl=zh-Cn

    由于花费比较昂贵,建议先用CPU或是GPU做一次实验之后,确保代码可以正常运行之后,再通过TPU来进行训练,以免浪费不多的Google赠送配额。

    目前美国的TPU资源价格是6.5美元每小时,欧洲为7.15美元,亚太地区则更高,选择美国的最为划算。好在是以秒为增量单位来计价的,详细费用清单请参考:https://cloud.google.com/tpu/docs/pricing?hl=zh-Cn

     

  • 基于阿里云PAI平台Tensorflow实现cifar10图像分类

    Tensorflow是我接触阿里云PAI平台使用的第一个框架,不过在实现的时候,走了一些弯路,在这里分享出来,希望能有参考价值.

     

    问题主要出在,demo中给的文件,要严格按照路径和文件名来存储,否则怎么都无法成功。

    需要check_point cifar-10-batches-py predict_code train_code 四个文件夹,分别用来存训练结果、cifar数据、预测代码、训练代码。

    具体内容可以参考我的github

    https://github.com/hutcs/pai_tensorflow_cifar/

    除了cifar数据太大以外,其他的都上传到了github中。

    第一个Tensorflow-1是用来训练数据

    其详细参数如下:

    Python代码文件

    选择train_code目录下的cifar_pai.py 文件

    Python主文件

    留空即可

    数据源目录

    选择cifar-10-batches-py文件夹

    配置文件超参及用户自定义参数

    留空

    输出目录

    选择check_point文件夹

    执行调优

    根据自己需要,这个demo选择1即可,不需要太多的GPU资源来处理。

    第二个Tensorflow-2是用来预测

    Python代码文件

    predict_code目录下的 cifar_predict_pai.py文件

    Python主文件

    留空即可

    数据源目录

    选择cifar-10-batches-py文件夹

    配置文件超参及用户自定义参数

    留空

    输出目录

    选择check_point文件夹

    实验结果

    在logview中可以查看预测结果

    另外,由于这个demo只是测试,所以预测的准确率比较低。

    阿里云项目地址如下:

    https://yq.aliyun.com/articles/72841?spm=5176.100239.0.0.bdr9iz

  • 基于阿里云PAI平台caffe框架实现cifar图像分类

    阿里云Pai平台深度学习框架支持caffe mxnet tensorflow三种,caffe和tensorflow阿里云官方都给出了demo,我在复现实验时,遇到了一些小问题,特别是caffe实现ciffar图像分类时,所以在这里将自己遇到的一些问题与大家分享出来.

    我把所有的数据都在github上备份了一份,地址:

    https://github.com/hutcs/Pai_Caffe_cifar10

    caffe图像分类前,要先转换图像类型,如下图

    先转换训练数据集

    图片列表文件OSS路径

    oss://dl-images.oss-cn-shanghai-internal.aliyuncs.com/cifar10/caffe/images/cifar10_train_image_list.txt

    文件前缀

    train

    resize_height

    32

    resize_width

    32

    编码类型

    jpg

    输出oss目录

    oss://hutcs.oss-cn-shanghai-internal.aliyuncs.com/cifar/train/

    shuffle 勾选

    image mean 勾选

    文件前缀和输出目录的具体位置,请根据自己的位置更改

    训练测试数据

    图片列表文件OSS路径

    oss://dl-images.oss-cn-shanghai-internal.aliyuncs.com/cifar10/caffe/images/cifar10_test_image_list.txt

    文件前缀

    test

    resize_height

    32

    resize_width

    32

    编码类型

    jpg

    输出oss目录

    oss://hutcs.oss-cn-shanghai-internal.aliyuncs.com/cifar/test/

    shuffle 勾选

    image mean 勾选

    文件前缀和输出目录的具体位置,请根据自己的位置更改

    我的bucket名字为hutcs   

    这个实验我存储在了cifar文件夹下,训练数据生成之后,存在了train目录下,测试数据转换之后存放在了test文件夹下。

    格式转换之后,在train目录下生成train_file_list.txt train_mean.binaryproto 两个文件

    在test目录下生成test_file_list.txt test_mean.binaryproto 两个文件

    caffe下的net.prototxt文件和solver.prototxt 可以直接到刚才我提到的github项目里下载

    举个粒子 hutcs/cifar/train/train_mean.binaryproto

    这一处,hutcs是bucket的名字,在net.prototxt和solver.prototxt文件中,不用加那一串oss:// 的具体地址。

     

     

     

  • Ubuntu 16.04 安装 Matlab 2016b 直接finished错误解决

    下午要用Matlab做图像处理,下载了Matlab 2016b的安装包之后,开始安装,“sudo ./install” 无论如何都失败,找了一些文章,方法都有问题。

    运行install之后,Terminal中闪过以下几个代码之后:

    Preparing installation files …
    Installing …
    Finished

    直接就Finished了,显然安装失败。

    我尝试了kesudo ,失败。最后,在blogspot中找到了解决方法。

    其实还是权限的问题导致。

    可能会改好install,install_unix的权限到x,但是还有一处也要改。

    sys/java/jre/glnxa64/jre/bin 目录下的java也要改权限。

    找到sys/java/jre/glnxa64/jre/bin目录下的java后

    sudo chmod +x java

    再回到install目录下,sudo ./install 即可顺利安装。

    方法出处如下:

    http://thenameoffreedom.blogspot.com/2014/09/how-to-install-matlab-2012-on-ubuntu.html