本文提出了深度网络的新维度,除了深度、宽度(Channel数)外,作者将在某一层并行transform的路径数提取为第三维度,称为”cardinality”。跟Inception单元不同的是,这些并行路径均共享同一拓扑结构,而非精心设计的卷积核并联。除了并行相同的路径外,也添加了层与层间的shortcut connection。但由于其多路径的设计特征,我将其归为Inception系网络。
MobileNets系列可以看做是继Xception之后对Depthwise Separable Convolution的又一推动。利用深度可分离的特征,MobileNets系列引入两个模型精度和大小的超参,在保持相当精度的同时享有非常小的计算消耗,适用于移动端情形,因而被命名为”MobileNets”。
本篇是keras库作者的文章,对Inception结构进行了改进:用Depth-wise seperable convolution替换了Inception单元中的1×1卷积和3×3卷积。
文章对Inception结构的评论非常有见地。
在15年,ResNet成为那年最耀眼的卷积网络结构,skip-connection的结构也成为避不开的考虑选项。Inception系列也参考ResNet更新了自己的结构。同时推出了第四代和跟ResNet的结合版:Inception-v4和Inception-ResNet。
这篇文章偏综述和实验报告的性质,前几个部分对检测模型有不错的概括,重头在实验结果部分,实验细节也描述的比较清楚,可以用来参考。
文章指出两阶段检测器通常在生成Proposal后进行分类的“头”(head)部分进行密集的计算,如ResNet为基础网络的Faster-RCNN将整个stage5(或两个FC)放在RCNN部分, RFCN要生成一个具有随类别数线性增长的channel数的Score map,这些密集计算正是两阶段方法在精度上领先而在推断速度上难以满足实时要求的原因。
YOLO是单阶段方法的开山之作。它将检测任务表述成一个统一的、端到端的回归问题,并且以只处理一次图片同时得到位置和分类而得名。
本文是作者推进inception结构的第2.5步。在更早的文章里,同一作者提出Batch Normalization并且用来改进了Inception结构,称为Inception-BN。而在这篇文章里,作者提出了Inception-v2和Inception-v3,两者共享同一网络结构,v3版本相比v2版本加入了RMSProp,Label Smoothing等技巧。
文章指出了检测任务之前的框架存在不自然的设计,即全卷积的特征提取部分+全连接的分类器,而表现最好的图像分类器都是全卷积的结构(ResNet等),这一点是由分类任务的平移不变性和检测任务的平移敏感性之间的矛盾导致的。换句话说,检测模型采用了分类模型的特征提取器,丢失了位置信息。这篇文章提出采用“位置敏感分数图”的方法解决这一问题。
本作是Inception系列网络的第一篇,提出了Inception单元结构,基于这一结构的GoogLeNet拿下了ILSVRC14分类任务的头名。文章也探讨了网络在不断加深的情况下如何更好地利用计算资源,这一理念也是Inception系列网络的核心。
本篇论文介绍了旷视取得2017 MS COCO Detection chanllenge第一名的模型。提出大批量训练检测网络,并用多卡BN保证网络的收敛性。
Faster R-CNN是2-stage方法的主流方法,提出的RPN网络取代Selective Search算法使得检测任务可以由神经网络端到端地完成。粗略的讲,Faster R-CNN = RPN + Fast R-CNN,跟RCNN共享卷积计算的特性使得RPN引入的计算量很小,使得Faster R-CNN可以在单个GPU上以5fps的速度运行,而在精度方面达到SOTA。
R-CNN系列的开山之作,2-stage的想法至今仍是精确度优先方法的主流。而且,本文中的众多做法也成为检测任务pipeline的标准配置。
本文探索了参数标准化(Weight Normalization)这一技术在GAN中的应用。BN在mini-batch的层级上计算均值和方差,容易引入噪声,并不适用于GAN这种生成模型,而WN对参数进行重写,引入噪声更少。
网络在堆叠到越来越深之后,由于BP算法所依赖的链式法则的连乘形式,会出现梯度消失和梯度下降的问题。初始标准化和中间标准化参数在一定程度上缓解了这一问题,但仍然存在更深的网络比浅层网络具有更大的训练误差的问题。
Update your browser to view this website correctly. Update my browser now
GeneratorGenerator能保存自己的状态,进入一种“Paused”状态,再次调用时会继续执行。 Generator的好处之一是节省了存储空间开销,带一些”流处理”的思想。 其实,我们也可以对Generator进行传入数据的操作: def coro(): hello = yield &qu
呃,我在2016版的个人主页里曾表达自己特别想拥有一台Chromebook,可终于还是屈服在了网络环境面前。 离了我的路由器,我的Chromebook几乎就是个废物了。 不过,FlintOS的出现让我重拾了这个想法,我可能还是需要一台轻便的上网本。 FlintOS是Chromium OS的中文本地化
Dropout技术是Srivastava等人在2012年提出的技术,现在已然成为各种深度模型的标配。其中心思想是随机地冻结一部分模型参数,用于提高模型的泛化性能。 Dropout的洞察关于Dropout,一个流行的解释是,通过随机行为训练网络,并平均多个随机决定的结果,实现了参数共享的Bagging
按:此文为个人公众号的欢迎文章,烦请想象自己是在微信里读到这些文字。 由是则生,而有不用也;由是则可以避患,而有不为也。——孟子 你好,欢迎你关注求导Derivative。 一个比喻假如你是奥特曼,前面有个路口怪兽正在那里吃人,可你注意到还有一个人往那个方向走,你该怎么办?A. 大声呼喊,“疯了吧你
了解Jekyll与GitHub Pages的工作原理Jeklly是基于Ruby的静态网页生成器,可以用于从Markdown文件和Template生成静态网页。 GitHub Pages是GitHub对Repo的附加功能,可以渲染Markdown源文件和伺服生成的静态网页文件,用于部署和更新博客。 建
呦呦鹿鸣,食野之苹。我有嘉宾,鼓瑟吹笙。 我鼓励信息的流动、交换与分享,我期待思想的交流、碰撞与融合。 我倡导多样的视角、自洽的理由和真诚的态度,我推崇健壮、自信地生活。 我相信人人有自主的品味、有独立的判断,在沟通、讨论和筛选中,理解会建立,如果足够幸运,共识会达成。 关于博客博客叫萧爽楼,取自《
呦呦鹿鸣,食野之苹。我有嘉宾,鼓瑟吹笙。 每个人都有隐藏的一隅。 一个人,安静下来,想一些没那么重要又如此重要的一些人,做一些喜欢又没那么喜欢的事儿,在烦恼与忙碌终于远去的时光的罅隙里。 有人说,照片是凝固了的时光。所以很多人着迷于摄影,用镜头记录想要回味和分享的瞬间。 有人说,凝固了的时光不好,流
最近在读 最近想看 我读过的 我看过的 欢迎访问我的豆瓣主页
考拉的网络日志-坚信技术/数据能够产生价值 Makito’s Notebook-Makito的生活觀察筆記 WWY’S BLOG !-这里是千千,曾喜欢VOCALOID CHINA,曾玩 PenBeat,现在在学习编程 梦魇小栈-心,若没有栖息的地方,到哪里都是流浪…… Project Aurora