在深度学习网络中,随着网络深度的加深,梯度消失问题会愈加明显,目前很多论文都针对这个问题提出了解决方案,比如ResNet,Highway Networks,Stochastic depth,FractalNets等,尽管这些算法的网络结构有差别,但是核心都在于使用shotcut将浅层和深层链接起来。那么DenseNet是怎么做呢?延续这个思路,那就是在保证网络中层与层之间最大程度的信息传输的前提下,直接将所有层连接起来!整体架构如下图:
参数结构如下表:
DenseNet的优点:
DenseNet有个缺点,就是特别的消耗显存,不过在后期的模型中修改了,但是这种连接方式和ResNet相比,显存的占用还是很明显。近几年,显卡的技术飞速发展,显存提升很大,所以这个缺点可以忽略!
作为CVPR2017年的Best Paper,DenseNet值得我们深入研究研究!
我们以第一个De
下一篇:计算机操作系统之信号量与死锁