机器学习笔记

分类： 计算机应用技术

计算机图像处理.计算机视觉,OPENCV的内容分享

  • 推荐使用Google Cloud TPU来训练机器学习模型

    早先在做实验时，一直使用的是Google Cloud Platform中的K80 GPU来训练条件生成对抗网络，费用有些高，由于参数需要频繁的修改，几个实验下来Google赠送的300美元基本上就花的差不多了。Google Cloud TPU的出现则可以大大加速训练过程，不过花费同样不秀气。

    详细的使用文档可以直接到这里查阅：

    https://cloud.google.com/tpu/docs/?hl=zh-Cn

    由于花费比较昂贵，建议先用CPU或是GPU做一次实验之后，确保代码可以正常运行之后，再通过TPU来进行训练，以免浪费不多的Google赠送配额。

    目前美国的TPU资源价格是6.5美元每小时，欧洲为7.15美元，亚太地区则更高，选择美国的最为划算。好在是以秒为增量单位来计价的，详细费用清单请参考：https://cloud.google.com/tpu/docs/pricing?hl=zh-Cn

     

  • 使用深度学习进行图像去雾所用的带雾图像数据集分享

    最近半年来一直研究使用深度学习对带雾图像进行去雾处理，搜集了一些带雾图像的数据集，都存在了Google Drive中。所用的图片主要是在Cosmin Ancuti等人D-HAZY数据集基础上改进而来。

    原数据集下载地址：

    http://ancuti.meo.etc.upt.ro/D_Hazzy_ICIP2016/D-HAZY_DATASET.zip

    我在使用条件生成对抗网络进行去雾处理时，对图片进行了预处理，做了新的数据集，测试样本去雾效果还行。如果你也研究带雾图像的去雾，可以试试这个数据集。训练的话，推荐使用Google Cloud Platform，可以申请K80 GPU资源，事半功倍。

    条件生成对抗网络可以用来进行许多高级的计算机视觉应用，有许多改进的空间，如果你想发SCI论文的话，建议好好研究一下。

    2018年12月20日Update:

    我看到有同学通过搜索图像去雾数据集，找到了这里，在这里再给大家补充几个去雾数据集。:

    https://sites.google.com/view/reside-dehaze-datasets

    这里面有广汽研究院提供真实雾霾测试数据

    https://pan.baidu.com/s/1nuJOdjr 密码: n3v8

  • 阿里云安装letsencrypt免费证书

    换到阿里云之后，等备案的间隙，想着干脆把ssl证书也一并添加了吧，折腾了几次，终于搞定了。

    在阿里云安装的操作系统是Ubuntu 14.04 32bit 版本，搭建的环境是LNMP，按着这篇文章操作之后，

    免费SSL安全证书Let’s Encrypt安装使用教程(附Nginx/Apache配置)

    https://www.cloudxns.net/Support/detail/id/906.html

    怎么都失败，换了几次操作系统都不行，最后才弄清楚原因，阿里云的dns有问题，无法完成letsencrypt的认证。

     

    解决办法，换dns，我是换成了cloudxns，dnspod也可以的。

    推荐使用api直接安装letsencrypt的证书

    附：安装方法

    脚本基于 letsencrypt.sh，通过调用 cloudxns API 更新 TXT 记录用于认证，实现快速获取 lets-encrypt 证书。无需 root 权限，无需指定网站目录及 DNS 解析

    下载

    wget https://github.com/xdtianyu/scripts/raw/master/le-dns/le-cloudxns.sh
    wget https://github.com/xdtianyu/scripts/raw/master/le-dns/cloudxns.conf
    chmod +x le-cloudxns.sh
    配置

    cloudxns.conf 文件内容

    API_KEY=”YOUR_API_KEY”
    SECRET_KEY=”YOUR_SECRET_KEY”
    DOMAIN=”example.com”
    CERT_DOMAINS=”example.com www.example.com im.example.com”
    修改其中的 API_KEY 及 SECRET_KEY 为您的 cloudxns api key ，修改 DOMAIN 为你的根域名，

    修改 CERT_DOMAINS 为您要签的域名列表

    运行

    ./le-cloudxns.sh cloudxns.conf
    最后生成的文件在当前目录的 certs 目录下

    cron 定时任务

    每两个月自动更新一次证书，可以在 le-cloudxns.sh 脚本最后加入 service nginx reload 等重新加载服务。

    0 0 0 1 */2 * /root/le-cloudxns.sh /root/le-cloudxns.conf >> /var/log/le-cloudxns.log 2>&1

    以上内容摘自 https://www.cloudxns.net/Support/detail/id/1331.html