<?xml version="1.0" encoding="UTF-8"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom">
  <channel>
    <title>Liu Shouda</title>
    <description>关注计算机视觉，自然语言处理，语音识别。
</description>
    <link>/</link>
    <atom:link href="/feed.xml" rel="self" type="application/rss+xml"/>
    <pubDate>Fri, 11 Dec 2020 03:04:43 +0000</pubDate>
    <lastBuildDate>Fri, 11 Dec 2020 03:04:43 +0000</lastBuildDate>
    <generator>Jekyll v3.9.0</generator>
    
      <item>
        <title>ssd</title>
        <description>&lt;ul id=&quot;markdown-toc&quot;&gt;
  &lt;li&gt;&lt;a href=&quot;#multiscale-feature-map&quot; id=&quot;markdown-toc-multiscale-feature-map&quot;&gt;multiscale feature map&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#anchor-boxes&quot; id=&quot;markdown-toc-anchor-boxes&quot;&gt;anchor boxes&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#multibox&quot; id=&quot;markdown-toc-multibox&quot;&gt;multibox&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#总结&quot; id=&quot;markdown-toc-总结&quot;&gt;总结&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#参考文献&quot; id=&quot;markdown-toc-参考文献&quot;&gt;参考文献&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;本文介绍ssd&lt;sup id=&quot;fnref:ssd&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:ssd&quot; class=&quot;footnote&quot;&gt;1&lt;/a&gt;&lt;/sup&gt;。ssd在2015年12月第一次提交到arxiv，到今天还是非常活跃。也出现了不少论文对ssd进行修改，不过基本上都是换汤不换药。&lt;/p&gt;

&lt;p&gt;ssd的主要贡献如下：&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;多层feature map预测&lt;/li&gt;
  &lt;li&gt;沿用faster rcnn[^faster rcnn]的anchor box，不过使用多尺度，多长宽比的anchor box&lt;/li&gt;
  &lt;li&gt;使用卷积层来做位置、类别预测&lt;/li&gt;
  &lt;li&gt;使用改进的multibox的box匹配策略。&lt;/li&gt;
  &lt;li&gt;复杂有效的数据扩充&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;接下来我们对以上各个特性逐个讲解。最后我们用一张图作为总结。&lt;/p&gt;

&lt;h2 id=&quot;multiscale-feature-map&quot;&gt;multiscale feature map&lt;/h2&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/ssd/ssd_symbol.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;上图是ssd和yolo的对比图。这里给出的是yolo1的图，map显得低很多。实际上yolo2并不比ssd差。后面我们说到yolo默认指的是yolo2。yolo基本上属于长条形，虽然中间会有一些跳跃层，但通过reorg层，并route(concat),变成正常hwc结构，最后通过全连接层输出结果。比如coco 80类，416x416的输入，最后层的输出是13x13x425.&lt;/p&gt;

&lt;p&gt;13x13是anchors box。对于每个anchors box位置输出425维度的信息。而这425维的信息是5x(80 + 1 + 4). 5是anchor boxes尺度数目。80是类别，1是objectness score， 4是坐标。也就是yolo2是类别和坐标统一预测的。&lt;/p&gt;

&lt;p&gt;而ssd是在网络结构上与yolo明显不同。首先声明ssd的基础网络结构是可以变的。原论文用vgg16作为基础网络。上图红线左边的部分是vgg网络，从图中可以看出，ssd取conv4_3和conv7的输出，加上卷积层用于位置预测。同时对conv7的输出进一步卷积，通过继续卷积下采样，获得其他尺度的特征图，由这些图来进行位置预测。从而拥有多尺度的能力。&lt;/p&gt;

&lt;h2 id=&quot;anchor-boxes&quot;&gt;anchor boxes&lt;/h2&gt;

&lt;p&gt;ssd anchor boxes的设置与faster rcnn不大一样。这里考虑不同的长宽比和尺度。对于每个feature map的参数也有不一样。&lt;/p&gt;

&lt;p&gt;上图用红线部分画出来的数目表明每个尺度是不一样的。图中有个8732是怎么来的呢？这与具体训练参数相关，通过查看作者源码，我们可以知道: &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;38*38*4+19*19*6+10*10*6+5*5*6+3*3*4+1*1*4=8732&lt;/code&gt;. 上面的38，19，10这些是每层feature map的大小。&lt;/p&gt;

&lt;p&gt;与faster rcnn一样，位置相对于default box的编码如下:&lt;/p&gt;

\[t_x=(x-x_a)/w_a, t_y=(y-t_a)/h_a\]

\[t_w=log(w/w_a), t_h=log(h/h_a)\]

\[t_x^*=(x^*-x_a)/w_a, t_y^*=(y^*-t_a)/h_a\]

\[t_w^*=log(w^*/w_a), t_h^*=log(h^*/h_a)\]

&lt;p&gt;其中$x$, $x_a$, $x^*$分别代表预测box，anchor box， ground-true box。&lt;/p&gt;

&lt;h2 id=&quot;multibox&quot;&gt;multibox&lt;/h2&gt;

&lt;p&gt;现在我们知道了有很多这些anchor box。在训练的时候，每个anchor box都能预测出一个位置。训练的时候应该优化哪些框呢？&lt;/p&gt;

&lt;p&gt;ssd采用与multibox类似的方法。第一次用overlap最大的进行优化，后面使用overlap大于0.5的来优化。&lt;/p&gt;

&lt;h2 id=&quot;总结&quot;&gt;总结&lt;/h2&gt;

&lt;p&gt;现在让我们通过下面这张图把上面讲解的东西串起来。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/ssd/ssd.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;上图左边有一只猫和一只狗。假设我们使用两个scale的feature map进行预测。这两个scale的feature map分别是8x8和4x4。我们先看中间的那张图，在猫狗附近的位置重叠度最高的anchor box的位置已经画出来了。有了这些位置之后再去计算与真实框的重叠度。如果重叠度低于一定的阈值，则忽略。否则进行优化。中间图狗的位置的那几个框虽然跟狗的重叠度最高，但没有达到一定阈值，所以不做考虑。最后结果是，在8x8的feature map上有两个蓝框对毛的位置进行训练。在4x4feature map上红框部位对狗的位置进行训练。&lt;/p&gt;

&lt;h2 id=&quot;参考文献&quot;&gt;参考文献&lt;/h2&gt;

&lt;div class=&quot;footnotes&quot; role=&quot;doc-endnotes&quot;&gt;
  &lt;ol&gt;
    &lt;li id=&quot;fn:ssd&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;Liu, Wei, et al. “Ssd: Single shot multibox detector.” &lt;em&gt;European conference on computer vision&lt;/em&gt;. Springer, Cham, 2016. &lt;a href=&quot;#fnref:ssd&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
  &lt;/ol&gt;
&lt;/div&gt;
</description>
        <pubDate>Mon, 28 May 2018 00:00:00 +0000</pubDate>
        <link>/2018/05/28/ssd/</link>
        <guid isPermaLink="true">/2018/05/28/ssd/</guid>
        
        <category>deep</category>
        
        <category>object</category>
        
        
        <category>cv</category>
        
      </item>
    
      <item>
        <title>fsmn</title>
        <description>&lt;ul id=&quot;markdown-toc&quot;&gt;
  &lt;li&gt;&lt;a href=&quot;#fsmn&quot; id=&quot;markdown-toc-fsmn&quot;&gt;fsmn&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#cfsmn&quot; id=&quot;markdown-toc-cfsmn&quot;&gt;cfsmn&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#dfsmn&quot; id=&quot;markdown-toc-dfsmn&quot;&gt;dfsmn&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#参考文献&quot; id=&quot;markdown-toc-参考文献&quot;&gt;参考文献&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;今天无意中看到阿里tts团队即将发在ICASSP 2018的论文dfsmn&lt;sup id=&quot;fnref:dfsmn&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:dfsmn&quot; class=&quot;footnote&quot;&gt;1&lt;/a&gt;&lt;/sup&gt;。基本上就是用一种新的fsmn结构来替代lstm，在不损失效果的前提下，达到减小模型大小，加快训练预测速度的目的。要读懂这篇论文，需要先对fsmn&lt;sup id=&quot;fnref:fsmn&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:fsmn&quot; class=&quot;footnote&quot;&gt;2&lt;/a&gt;&lt;/sup&gt;，cfsmn&lt;sup id=&quot;fnref:cfsmn&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:cfsmn&quot; class=&quot;footnote&quot;&gt;3&lt;/a&gt;&lt;/sup&gt;有所了解。本文介绍这三篇论文。&lt;/p&gt;

&lt;h2 id=&quot;fsmn&quot;&gt;fsmn&lt;/h2&gt;
&lt;p&gt;Shiliang Zhang等人2015提出fsmn(feedforward sequential memory networks) ，讯飞当时的最佳结果似乎是基于这个结构，具体参考这篇&lt;a href=&quot;http://blog.sciencenet.cn/blog-1225851-947297.html&quot;&gt;pr&lt;/a&gt;。&lt;/p&gt;

&lt;p&gt;我们先来看一下这个网络张什么样子的。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/fsmn/fsmn.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;从上图可以看到，对于每个输入$X_t$, 经过多层网络之后获得$Y_t$. 如果没有虚线框部分，那么就跟普通的dnn没有区别了。重点还是在虚线框部分，这被称为memory block。&lt;/p&gt;

&lt;p&gt;memory block来保存历史信息。用blstm和bfsmn来比较，我们可以更好的知道两者的区别（以语音识别为例）：&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;blstm由于rnn结构的特性，需要得到整个完整语音输入，再进行双向lstm计算。&lt;/li&gt;
  &lt;li&gt;bfsmn在后向的时候，不需要或者完整输入，只要或者之后的部分信息就够了。比如说，语音识别延时个0.2秒，这部分信心足够后向fsmn使用了。&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;接下来我们具体列一下fsmn的计算公式, t时刻 $l$ 层的输出表示为$\mathbf h_t^l$：&lt;/p&gt;

\[\tilde{\mathbf h}_t^l=\sum_{i=0}^{N}a_i^l\cdot \mathbf h_{t-i}^l\]

&lt;p&gt;其中$a_i^l$是与时间无关的系数。当然也可以是向量。如果是向量, 则换成对位相乘&lt;/p&gt;

\[\tilde{\mathbf h}_t^l=\sum_{i=0}^{N}\mathbf a_i^l\odot \mathbf h_{t-i}^l\]

&lt;p&gt;上式只是单向形式，对应双向表示为：&lt;/p&gt;

\[\tilde{\mathbf h}_t^l=\sum_{i=0}^{N_1}a_i^l\cdot \mathbf h_{t-i}^l+\sum_{j=1}^{N_2}c_j^l \cdot \mathbf h_{t+j}^l\]

\[\tilde{\mathbf h}_t^l=\sum_{i=0}^{N_1}\mathbf a_i^l\odot \mathbf h_{t-i}^l+\sum_{j=1}^{N_2}\mathbf c_j^l \odot \mathbf h_{t+j}^l\]

&lt;p&gt;通过当前层block memory的计算，下一层的$为:&lt;/p&gt;

\[\mathbf h_t^{l+1}=f(\mathbf W^l\mathbf h_t^l+\tilde{\mathbf w}^l\tilde{\mathbf h}_t^l+\mathbf b^l)\]

&lt;h2 id=&quot;cfsmn&quot;&gt;cfsmn&lt;/h2&gt;

&lt;p&gt;Shiliang Zhang等人对fsmn进一步改进，提出cfsmn（compact feedforward sequential memory networks）。将模型缩小到原来的60%，速度提高7倍。同时保证效果比blstm更好。&lt;/p&gt;

&lt;p&gt;cfsmn结构如下图所示。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/fsmn/cfsmn.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;从上图可以看出，基本思路就是将$\mathbf h$通过$\mathbf V^l$映射到低维空间，再在低维空间上做memory block的事情，最后对再映射回$\mathbf h$空间。&lt;/p&gt;

\[\mathbf p_t^l=\mathbf V^l\mathbf h_t^l+\mathbf b^l\]

\[\mathbf{\tilde{p}}_t^l=\mathbf p_t^l + \sum_{i=0}^N\mathbf a_i^l \odot \mathbf p_{t-i}^l\]

&lt;p&gt;双向形式为：&lt;/p&gt;

\[\mathbf{\tilde{p}}_t^l=\mathbf p_t^l + \sum_{i=0}^{N_1}\mathbf a_i^l \odot \mathbf p_{t-i}^l+\sum_{j=0}^{N_2}\mathbf c_j^l \odot \mathbf p_{t+j}^l\]

&lt;p&gt;映射回原空间:&lt;/p&gt;

\[\mathbf h_t^{l+1}=f(\mathbf U^l\mathbf{\tilde{p}}_t^l+\mathbf b^{l+1})\]

&lt;h2 id=&quot;dfsmn&quot;&gt;dfsmn&lt;/h2&gt;

&lt;ul&gt;
  &lt;li&gt;skip connections&lt;/li&gt;
  &lt;li&gt;order， stride&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/fsmn/dfsmn.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;h2 id=&quot;参考文献&quot;&gt;参考文献&lt;/h2&gt;

&lt;div class=&quot;footnotes&quot; role=&quot;doc-endnotes&quot;&gt;
  &lt;ol&gt;
    &lt;li id=&quot;fn:dfsmn&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;Mengxiao Bi, Heng Lu, Shiliang Zhang, Ming Lei, Zhijie Yan, Deep Feed-forward Sequential Memory Networks for Speech Synthesis,  ICASSP 2018 &lt;a href=&quot;#fnref:dfsmn&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
    &lt;li id=&quot;fn:fsmn&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;Shiliang Zhang, Cong Liu, Hui Jiang, Si Wei, Lirong Dai, and Yu Hu, “Feedforward sequential memory networks: A new structure to learn long-term dependency,” arXiv preprint arXiv:1512.08301, 2015. &lt;a href=&quot;#fnref:fsmn&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
    &lt;li id=&quot;fn:cfsmn&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;Shiliang Zhang, Hui Jiang, Shifu Xiong, Si Wei, and Li-Rong Dai, “Compact feedforward sequential memory networks for large vocabulary continuous speech recognition.,” in INTER- SPEECH, 2016, pp. 3389–3393. &lt;a href=&quot;#fnref:cfsmn&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
  &lt;/ol&gt;
&lt;/div&gt;
</description>
        <pubDate>Mon, 12 Mar 2018 00:00:00 +0000</pubDate>
        <link>/2018/03/12/fsmn/</link>
        <guid isPermaLink="true">/2018/03/12/fsmn/</guid>
        
        <category>speech</category>
        
        
        <category>deep</category>
        
      </item>
    
      <item>
        <title>voice clone</title>
        <description>&lt;ul id=&quot;markdown-toc&quot;&gt;
  &lt;li&gt;&lt;a href=&quot;#背景&quot; id=&quot;markdown-toc-背景&quot;&gt;背景&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#voice-clone&quot; id=&quot;markdown-toc-voice-clone&quot;&gt;voice clone&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#结果&quot; id=&quot;markdown-toc-结果&quot;&gt;结果&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#参考文献&quot; id=&quot;markdown-toc-参考文献&quot;&gt;参考文献&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;插播今天看到的一篇论文&lt;sup id=&quot;fnref:voice_clone&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:voice_clone&quot; class=&quot;footnote&quot;&gt;1&lt;/a&gt;&lt;/sup&gt;。这篇论文正好做的事情跟我去年做的实验差不多。所以特意关注了。&lt;/p&gt;

&lt;p&gt;文章写的效果很厉害，还提供了&lt;a href=&quot;https://audiodemos.github.io/&quot;&gt;网页试听&lt;/a&gt;，当时我就信了。等我看完文章再去试听，效果实在不敢恭维，orz。不过也算提供了新思路。&lt;/p&gt;

&lt;h2 id=&quot;背景&quot;&gt;背景&lt;/h2&gt;

&lt;p&gt;tts研究有个重要的方向是adapt。就是希望用户提供少量的句子，就能训练处效果。传统的方式一般是通过微调一个已经训练好的大网络来进行的。本文所说的&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;voice clone&lt;/code&gt;意思就是只要用户少量的句子(甚至一句), 就可以合成语音来。voice clone包含我们通常用到的adapt和本文新提出的speaker encoding。&lt;/p&gt;

&lt;p&gt;在训练tts的时候，我们总可以对输入增加某些特征来标识这是属于哪个角色，当然也可以用ivector特征来表达。从deep voice2把speaker embedding引入来训练多角色tts。所谓speaker embedding就是一个可学习的低维向量。与通常碰到的word embedding差不多一个意思。&lt;/p&gt;

&lt;p&gt;在实际的应用中，有一种需求：&lt;strong&gt;说话方式和说话音色的分离，然后任意组合&lt;/strong&gt;。比如说，我有蜡笔小新的录音，有普通用户A的录音，现在想用A的音色用蜡笔小新的说话方式发音。之前我用gan做过实验，效果不好。本文居然号称能搞定！我们稍后看看怎么做的。&lt;/p&gt;

&lt;h2 id=&quot;voice-clone&quot;&gt;voice clone&lt;/h2&gt;

&lt;p&gt;所谓voice clone就是，在拿到一个新的没见过speaker的语音之后，需要做点什么来让后面的生成步骤可以生成这个speaker的语音。最最传统的方式，就是把这些数据加进去微调得到新模型，这也就是&lt;strong&gt;clone&lt;/strong&gt;了。&lt;/p&gt;

&lt;p&gt;本文对voice clone 提出了两个模型:&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;adapt。跟通常所用的adapt不同的是，本文是通过添加speaker embedding层来训练多speaker网络。然后在clone的时候将新speaker的声音，输入网络中，提取speaker embedding，同时微调整个网络(也可以不微调)。最后用这个clone过的模型来生成语音&lt;/li&gt;
  &lt;li&gt;encoding。增加一个独立的speaker encoding模型。为了减少训练难度，在训练阶段先训练一个正常的多speaker模型。然后用这个模型获得speaker embedding来训练一个新的speaker encoding模型。最后联合训练进一步微调。在clone阶段，只需要简单的请音频输入speaker encoding网络就直接可以输出speaker embedding了。最后用这个speaker embedding来生成语音。&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;框架图如下。中文标注是我添加的。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/voice_clone/framework.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;文章公式写的很复杂，实际都很简单。网络结构也是现在tts常用的: residual + gated linear unit。这些就不做具体介绍了。&lt;/p&gt;

&lt;h2 id=&quot;结果&quot;&gt;结果&lt;/h2&gt;

&lt;p&gt;本文号称speaker encoding效果很好，adapt效果很好。先姑且相信。&lt;/p&gt;

&lt;p&gt;最令人吃惊的是:&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;BritishMale − AveragedMale + AveragedFemale =  British female speaker&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;上面这些都是对应角色的speaker embedding。我们来解释一下哈： 男布什的speaker embedding - 平均男性的embedding + 平均女性的embedding获得的embedding输入网络中，可以获得女布什的声音。&lt;/p&gt;

&lt;p&gt;这不就是传说的词向量吗？如果真的能这么做到的话，那么前面说的普通用户版的蜡笔小新就能实现了。&lt;/p&gt;

&lt;p&gt;抱着将信将疑的态度打开了试听网页，大部分音色不对，音质不好(与我用ivector作为特征的结果类似)。至于女布什的声音一样挺烂的，没听出来明显的角色感。&lt;/p&gt;

&lt;p&gt;也有可能我的打开方式不对？？&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;todo&lt;/strong&gt;： 回头添加ivector训练结果&lt;/p&gt;

&lt;h2 id=&quot;参考文献&quot;&gt;参考文献&lt;/h2&gt;

&lt;div class=&quot;footnotes&quot; role=&quot;doc-endnotes&quot;&gt;
  &lt;ol&gt;
    &lt;li id=&quot;fn:voice_clone&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;Sercan O. Arik, Jitong Chen, Kainan Peng, Wei Ping, Yanqi Zhou，Neural Voice Cloning with a Few Samples. arXiv:1802.06006 &lt;a href=&quot;#fnref:voice_clone&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
  &lt;/ol&gt;
&lt;/div&gt;
</description>
        <pubDate>Tue, 06 Mar 2018 00:00:00 +0000</pubDate>
        <link>/2018/03/06/voice-clone/</link>
        <guid isPermaLink="true">/2018/03/06/voice-clone/</guid>
        
        <category>tts</category>
        
        
        <category>speech</category>
        
      </item>
    
      <item>
        <title>end2end tts前置知识</title>
        <description>&lt;ul id=&quot;markdown-toc&quot;&gt;
  &lt;li&gt;&lt;a href=&quot;#seq2seq&quot; id=&quot;markdown-toc-seq2seq&quot;&gt;seq2seq&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#attention&quot; id=&quot;markdown-toc-attention&quot;&gt;attention&lt;/a&gt;    &lt;ul&gt;
      &lt;li&gt;&lt;a href=&quot;#动机&quot; id=&quot;markdown-toc-动机&quot;&gt;动机&lt;/a&gt;&lt;/li&gt;
      &lt;li&gt;&lt;a href=&quot;#细节&quot; id=&quot;markdown-toc-细节&quot;&gt;细节&lt;/a&gt;&lt;/li&gt;
      &lt;li&gt;&lt;a href=&quot;#alignment&quot; id=&quot;markdown-toc-alignment&quot;&gt;alignment&lt;/a&gt;&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#monotonic-attention&quot; id=&quot;markdown-toc-monotonic-attention&quot;&gt;monotonic attention&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#gated-linear-unit&quot; id=&quot;markdown-toc-gated-linear-unit&quot;&gt;gated linear unit&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#conv-seq2seq&quot; id=&quot;markdown-toc-conv-seq2seq&quot;&gt;conv seq2seq&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#highway-network&quot; id=&quot;markdown-toc-highway-network&quot;&gt;highway network&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#causal&quot; id=&quot;markdown-toc-causal&quot;&gt;causal&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#softsign&quot; id=&quot;markdown-toc-softsign&quot;&gt;softsign&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#参考文献&quot; id=&quot;markdown-toc-参考文献&quot;&gt;参考文献&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;最近打算用mxnet复现tacotron&lt;sup id=&quot;fnref:tacotron&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:tacotron&quot; class=&quot;footnote&quot;&gt;1&lt;/a&gt;&lt;/sup&gt;，deepvoice3&lt;sup id=&quot;fnref:deepvoice3&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:deepvoice3&quot; class=&quot;footnote&quot;&gt;2&lt;/a&gt;&lt;/sup&gt;，wavenet&lt;sup id=&quot;fnref:wavenet&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:wavenet&quot; class=&quot;footnote&quot;&gt;3&lt;/a&gt;&lt;/sup&gt;等论文。后面会写一系列文章记录相关论文细节，以及复现过程中遇到的问题。本文先介绍所需要的预备知识，扫清大家阅读后面文章可能碰到的障碍。&lt;/p&gt;

&lt;p&gt;​	
关键知识主要包含:&lt;/p&gt;
&lt;ul&gt;
  &lt;li&gt;seq2seq， encoder，decoder &lt;sup id=&quot;fnref:seq2seq&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:seq2seq&quot; class=&quot;footnote&quot;&gt;4&lt;/a&gt;&lt;/sup&gt;&lt;/li&gt;
  &lt;li&gt;attention&lt;sup id=&quot;fnref:attention&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:attention&quot; class=&quot;footnote&quot;&gt;5&lt;/a&gt;&lt;/sup&gt;&lt;/li&gt;
  &lt;li&gt;monotonic attention&lt;sup id=&quot;fnref:monotonic&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:monotonic&quot; class=&quot;footnote&quot;&gt;6&lt;/a&gt;&lt;/sup&gt;&lt;/li&gt;
  &lt;li&gt;gated linear unit &lt;sup id=&quot;fnref:gated_linear&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:gated_linear&quot; class=&quot;footnote&quot;&gt;7&lt;/a&gt;&lt;/sup&gt;&lt;/li&gt;
  &lt;li&gt;conv seq2seq &lt;sup id=&quot;fnref:convs2s&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:convs2s&quot; class=&quot;footnote&quot;&gt;8&lt;/a&gt;&lt;/sup&gt;&lt;/li&gt;
  &lt;li&gt;highway network &lt;sup id=&quot;fnref:highway&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:highway&quot; class=&quot;footnote&quot;&gt;9&lt;/a&gt;&lt;/sup&gt;&lt;/li&gt;
  &lt;li&gt;causal&lt;/li&gt;
  &lt;li&gt;softsign&lt;/li&gt;
&lt;/ul&gt;

&lt;h2 id=&quot;seq2seq&quot;&gt;seq2seq&lt;/h2&gt;

&lt;p&gt;seq2seq论文&lt;sup id=&quot;fnref:seq2seq:1&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:seq2seq&quot; class=&quot;footnote&quot;&gt;4&lt;/a&gt;&lt;/sup&gt;发表于2014年，目前已经有3000多引用。&lt;/p&gt;

&lt;p&gt;seq2seq用来做序列学习非常有效。比如聊天系统，语音识别，ocr，机器翻译。这些应用最显著的特点就是: 输入输出不一样长，没有一一对应关系。现在我们来举个例子:&lt;/p&gt;

&lt;p&gt;假设现在有一个翻译任务是想从一个序列(good, morning) 学习到(早, 上, 好)。传统的dnn没办法直接操作。而seq2seq可以。下面开始介绍seq2seq具体细节。同时，我们把输入抽象为: (A, B, C), 输出抽象成(X, Y, Z).&lt;/p&gt;

&lt;p&gt;看一下下面这张图就知道seq2seq是怎么工作的了。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/tts2_knowledge/seq2seq.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;seq2seq分别encoder和decoder。上图中，左边是encoder，右边是decoder。左边是一个RNN，将输入(A,B,C)输入到网络中，获取固定长度的隐藏向量W。也就是整个(A,B,C)序列被编码成固定长度的向量W。右边是decoder，也是RNN。由W出发，获取输出X，再把X作为输入，获得Y…一直持续下去，直到碰到结束符为止。最后，decoder输出的(X,Y,Z)就是序列预测的结果。&lt;/p&gt;

&lt;p&gt;现在我们来思考一个问题。decoder输出的到底是什么？凭什么能对应到任务所需要的所要映射的序列呢？又是怎么知道是否应该结束呢。&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;翻译任务: 输出是具体的词。有个词表，其中包含了结束符。decoder对每个输出做softmax，即可知道到底是哪个词了。但实际解码没有这么简单。考虑到softmax可能有几个词概率差不多的。那么是否应该用这几个词作为输入，继续解码，看看谁的后续概率更高就选谁的。答案是: YES。用这种方式的解码就是我们常说的束搜索。也就是beam search。&lt;/li&gt;
  &lt;li&gt;语音合成任务: 输入是文本，输出是频谱特征。输入的处理方式与其他任务没有区别。输出的频谱特征是一堆连续值，不是分类任务，怎么知道是否结束呢？答案是:
    &lt;ul&gt;
      &lt;li&gt;设置一个最大解码次数，达到了自然停止。最后对合成语音进行端点检测，去掉尾部多余的空音。&lt;/li&gt;
      &lt;li&gt;设置一个阈值，例如0.2. 如果输出的所有值都这个数字, 就结束。&lt;del&gt;todo：待确定。碰到句子中间的空音怎么办？&lt;/del&gt;空音的频谱不是0？&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
&lt;/ul&gt;

&lt;h2 id=&quot;attention&quot;&gt;attention&lt;/h2&gt;

&lt;p&gt;deepvoice系列，tacotron这些end2end语音合成论文充斥着大量的attention字眼，如果不懂这个，看起来可能会哭。&lt;/p&gt;

&lt;p&gt;attention&lt;sup id=&quot;fnref:attention:1&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:attention&quot; class=&quot;footnote&quot;&gt;5&lt;/a&gt;&lt;/sup&gt; 这篇论文提出于2015，目前引用已经将近3000了。相当厉害。attention有很多变种，可以用于seq2seq，也可以不用。最初的论文是用于提升seq2seq的效果，我们就以这个为例。后面的一些扩展大家自己看。&lt;/p&gt;

&lt;h3 id=&quot;动机&quot;&gt;动机&lt;/h3&gt;

&lt;p&gt;seq2seq是将输入通过encoder映射到一个固定向量，然后从这固定向量出发获得解码输出。但这实际上有点违反人类的认知的。比如上面的例子： (good, morning) 翻译到(早，上，好)。“早上“与”morning“有关系，与”good“几乎没有关系。”好“与”good“有关系，与”moring“几乎没有关系。&lt;/p&gt;

&lt;p&gt;attention论文认为，简单的将整个输入映射到一个固定向量是不合理的。应该在解码的时候，寻找与其有关系的输入。然后有这些输入一起决定应该输出什么。这就是&lt;strong&gt;attention&lt;/strong&gt;&lt;/p&gt;

&lt;h3 id=&quot;细节&quot;&gt;细节&lt;/h3&gt;

&lt;p&gt;要加一些公式了，莫慌，都很简单。&lt;/p&gt;

&lt;p&gt;输入: $\mathbf x=(x_1,…,x_{T_x})$&lt;/p&gt;

&lt;p&gt;输出: $\mathbf{y}=(y_1,…,y_{T_y})$&lt;/p&gt;

&lt;p&gt;seq2seq的encoder一般是RNN。在每个时刻, rnn隐藏层输出$h_t$ 表示为（$f,q$表示某些非线性表达式）:&lt;/p&gt;

\[h_t=f(x_t,h_{t-1})\]

&lt;p&gt;最终，用隐藏层输出将输入编码成固定长度的向量$c$&lt;/p&gt;

\[c=q({h_1,…,h_{T_x}})\]

&lt;p&gt;在seq2seq中，一般只取最后一个隐藏层的输出作为编码向量$q({h_1,…,h_{T_x}})=h_{T_x}$&lt;/p&gt;

&lt;p&gt;在&lt;strong&gt;attention&lt;/strong&gt;中，${h_1,…,h_{T_x}}$都会派上用场，而不是只用最后一个。简单来说，attention就是在预测某个decoder输出的时候，不再是固定的$h_{T_x}$， 而是$h_1,…,h_{T_x}$ 的加权和。那么，应该权重应该是多少呢？我们一步步来讲。&lt;/p&gt;

&lt;p&gt;在$i$时刻预测$y$输出:&lt;/p&gt;

\[p(y_i \mid y_1,…y_{i-1}, \mathbf x)=g(y_{i-1}, s_i, c_i)\]

&lt;p&gt;其中，$s_i$ 是上一时刻rnn隐含层的输出。$g$是decoder rnn。关键就是$c_i$怎么来的。&lt;/p&gt;

\[c_i=\sum_{j=1}^{T_x}\alpha_{ij}h_j\]

&lt;p&gt;也就是加权组合。那么权重 $\alpha$ 怎么来的：&lt;/p&gt;

\[\alpha_{ij}=\frac{exp(e_{ij})}{\sum_{k=1}^{T_x}exp(e_{ik})}\]

&lt;p&gt;注意上式的形式，其实这就是&lt;strong&gt;softmax attention&lt;/strong&gt;。其中，$e_{ij}=a(s_{i-1}, h_j)$&lt;/p&gt;

&lt;p&gt;$a$是对齐模型。表示输入$j$ 与输出$i$的匹配程度。通常也是由神经网络来学习。&lt;/p&gt;

&lt;p&gt;直观来说，$\alpha_{ij}$或者$e_{ij}$表示上一时刻隐含层输出$s_{i-1}$与$h_j$对于这时刻隐含层输出$s_i$ 和解码输出$y_i$的重要程度。&lt;/p&gt;

&lt;p&gt;在实际的网络图中，一般用query表示$s_{i-1}$, key表示下$h_1,…,h_{T_x}$. value表示通过key或者key通过另外一些网络层的隐藏层输出。下面这张图可以形象的表示attention的过程.&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/tts2_knowledge/key_value.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;中间部分是encoder。输入4个时刻的隐藏层$(h_1,h_2,h_3,h_4)$分别表示为(key1,key2,key3,key4), 分别对应的value是(value1, value2, value3, value4). query是$s_{i-1}$. 通过query和key计算相似度，这些归一化的相似度对value进行加权求和，最后获得attention value&lt;/p&gt;

&lt;p&gt;attention的形式有很多种。可以是encoder和decoder之间算相似度。也可以分别在encoder和decoder内部计算相似度（self attention）。谷歌的attention is all you need就是堆叠了大量的self attention。&lt;/p&gt;

&lt;h3 id=&quot;alignment&quot;&gt;alignment&lt;/h3&gt;

&lt;p&gt;怎么知道训练是否有效，一般会将学习到的对齐用图像画出来。比如:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/tts2_knowledge/alignment.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;怎么理解呢? 对于翻译任务，输入和输出一般都是呈线性关系的。正常来说，输入序列先出现的词，在输出中，其对应的词也会先出现。上面这张图表示输入输出的响应强度。因为时序性与局部性，一般来说，对齐图上，对角线会比较亮，一般来说，这表明学习基本没有问题。反之，如果这张图很混乱，那么就表明学习是无效的。&lt;/p&gt;

&lt;p&gt;ps: 张俊林发表在程序员上的一篇&lt;a href=&quot;http://blog.csdn.net/qq_40027052/article/details/78421155&quot;&gt;文章&lt;/a&gt;讲解很通俗易懂。上面内容如果看不懂，建议花点时间看看这篇文章。&lt;/p&gt;

&lt;h2 id=&quot;monotonic-attention&quot;&gt;monotonic attention&lt;/h2&gt;

&lt;p&gt;一般的attention需要对每个query计算跟整个key的相似度。复杂度是二次的。而且无法应用于实时语音识别这种online应用。monotonic attention&lt;sup id=&quot;fnref:monotonic:1&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:monotonic&quot; class=&quot;footnote&quot;&gt;6&lt;/a&gt;&lt;/sup&gt;这篇论文提出了单调性，也就是在上面在alignment中，我们提到了时序性和局部性。也就是，不再对整个输入序列的计算softmax，而是对上一次最后一个attention位置外后几个timestep的窗口范围内计算softmax。通过实验表明，monotonic attention比softmax attention只有很微小的性能损失。这篇论文进行了大量的理论分析，有兴趣的可以看一下。&lt;/p&gt;

&lt;h2 id=&quot;gated-linear-unit&quot;&gt;gated linear unit&lt;/h2&gt;

&lt;p&gt;之前的基于神经网络的语言模型一般是用rnn。rnn可以获得长时依赖，所以效果会比较好。但是rnn存在效率问题，而cnn 可以并行。Language Modeling with Gated Convolutional Networks&lt;sup id=&quot;fnref:gated_linear:1&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:gated_linear&quot; class=&quot;footnote&quot;&gt;7&lt;/a&gt;&lt;/sup&gt;这篇文章通过堆叠多层cnn来获取比较的感受野, 同时作者通过gated linear unit来提高性能，最后效果能与rnn相匹敌。&lt;/p&gt;

&lt;p&gt;直接看一张图：&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/tts2_knowledge/gated.png&quot; style=&quot;width:300px&quot; /&gt;&lt;/p&gt;

&lt;p&gt;上图中，输入经过embeding（获得词向量），然后分别分别输入两个卷积层A，B，对卷积B的结果取sigmoid($\sigma$)，再与A对位相乘($\otimes$)，获得H。&lt;/p&gt;

&lt;p&gt;其中：$H=A \otimes \sigma(B) $，门$\sigma (B)$控制附近的哪些A是有效的（相关的）。&lt;/p&gt;

&lt;h2 id=&quot;conv-seq2seq&quot;&gt;conv seq2seq&lt;/h2&gt;

&lt;p&gt;deepvoice3第一句就是:&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;We present Deep Voice 3, a fully-convolutional attention-based neural text- to-speech (TTS) system.&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;但是明明有全连接层啊。怎么还说自己全卷积。怎么回事？&lt;/p&gt;

&lt;p&gt;其实这里的fully-convolutional描述的是seq2seq的方式。&lt;/p&gt;

&lt;p&gt;我们正常听到seq2seq，立马就想到用rnn。facebook的这篇论文[^conv_s2s]用&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;fully-convolution&lt;/code&gt;实现了seq2seq。效果不比rnn的差。优势是大大提升了训练速度。&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;谷歌对标conv seq2seq，推出了Attention is all you need&lt;sup id=&quot;fnref:attention_need&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:attention_need&quot; class=&quot;footnote&quot;&gt;10&lt;/a&gt;&lt;/sup&gt;这篇论文，不用rnn，cnn。堆积大量的self attention，用来计算上一层到下一层的映射。这是后话了。&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;我们先看一下conv seq2seq的整体结构。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/tts2_knowledge/conv_s2s.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;上图中，encoder通过cnn和gated linear units对输入进行编码。变成key，value。decoder使用同样的方式，将输出变成query。通过attention机制获得attention value。再加上原始的query，一起预测输出。&lt;/p&gt;

&lt;p&gt;在训练阶段，由于输出的所有词都是知道的，而且cnn没有状态，所以decoder整个都是可以并行的，不需要先一个个一次进行decode。这也就conv seq2seq比rnn训练速度快的奥秘。而在预测阶段就无法并行了，所以速度不会明显的提升。&lt;/p&gt;

&lt;p&gt;好了，整体结构就是这样。可能我们心中会有疑问：&lt;strong&gt;cnn没有历史状态，凭什么跟rnn比&lt;/strong&gt;？&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;position embeddings&lt;/strong&gt;。这是这篇论文首创。后面很多用cnn做conv seq2seq的文章都会用到这个。只是具体的方式不大一样。本文通过引入position embeddings对文本位置进行编码。简单的说，就是&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;在每个词的向量加上该词在句中的绝对位置作为后续输入&lt;/code&gt;。&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;卷积block&lt;/strong&gt;。堆积多层cnn,这样可以获得更大的感知野。并使用gated linear units&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;多步 attention&lt;/strong&gt;。下一层的attention是上一层attention value的加权平均。&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;归一化策略&lt;/strong&gt;。为了训练的稳定性，对网络的某些部分进行缩放。&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;对residual block的输出和attention进行缩放。&lt;/li&gt;
  &lt;li&gt;对input与residual block的输出之和乘上$\sqrt 5$。&lt;/li&gt;
  &lt;li&gt;对condition input $c_i$乘上$m\sqrt {\frac{1}{m}}$&lt;/li&gt;
  &lt;li&gt;对encoder层的梯度除以attention数目&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;&lt;strong&gt;网络初始化&lt;/strong&gt;。这篇论文还提出了新的权重初始化。&lt;strong&gt;todo:待完善&lt;/strong&gt;.&lt;/p&gt;

&lt;h2 id=&quot;highway-network&quot;&gt;highway network&lt;/h2&gt;
&lt;p&gt;大量的研究表明，增加网络层数可以提升效果。但是深度增大也意味着训练难度的增加。highway network&lt;sup id=&quot;fnref:highway:1&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:highway&quot; class=&quot;footnote&quot;&gt;9&lt;/a&gt;&lt;/sup&gt;这篇论文提出一直方式来降低训练难度。这种方式可以使得信息直接穿越几层传导到后面的网络层，所以称为&lt;strong&gt;highway network&lt;/strong&gt;。&lt;/p&gt;

&lt;p&gt;假设我们正常的网络层:&lt;/p&gt;

\[y=H(x,W_H)\]

&lt;p&gt;highway network增加了两个门。&lt;/p&gt;

\[y=H(x,W_h)\cdot T(x, W_T)+x \cdot C(x,W_C)\]

&lt;p&gt;$T(x, W_T)$, $C(x,W_C)$分别被称为transform门和carry门。分别表示对原始信息信息转换的程度和保留程度。在实际中，一般取$C=1-T$。&lt;/p&gt;

&lt;p&gt;所以上式变成:&lt;/p&gt;

\[y=H(x,W_h)\cdot T(x, W_T)+x \cdot (1-T(x, W_T))\]

&lt;p&gt;pytorch源码如下：&lt;/p&gt;
&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;k&quot;&gt;class&lt;/span&gt; &lt;span class=&quot;nc&quot;&gt;Highway&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;nn&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Module&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;__init__&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;in_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;out_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;nb&quot;&gt;super&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Highway&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;).&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;__init__&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;H&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;nn&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Linear&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;in_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;out_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;H&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;bias&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;zero_&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;T&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;nn&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Linear&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;in_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;out_size&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;bias&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;fill_&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;-&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;relu&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;nn&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ReLU&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
        &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;sigmoid&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;nn&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Sigmoid&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;

    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;forward&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;inputs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;H&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;relu&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;H&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;inputs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;T&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;sigmoid&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;self&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;inputs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;H&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;T&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;inputs&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mf&quot;&gt;1.0&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;T&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h2 id=&quot;causal&quot;&gt;causal&lt;/h2&gt;

&lt;p&gt;causal convolution的意思就是，卷积的输出不依赖于未来的输入。这在自回归(autoregressive)模型是必要的。因为只能根据前面的结果预测当前的值。&lt;/p&gt;

&lt;p&gt;non-causal convolution就是普通的卷积。&lt;/p&gt;

&lt;h2 id=&quot;softsign&quot;&gt;softsign&lt;/h2&gt;

&lt;p&gt;deepvoice3这篇论文用到了softsign。&lt;/p&gt;

&lt;p&gt;softsign其实就是与tanh类似的一种激活函数。表达式是:&lt;/p&gt;

\[f(x)=\frac{x}{\lvert x\rvert +1}\]

&lt;p&gt;激活图如下:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/tts2_knowledge/softsign.png&quot; style=&quot;width:300px&quot; /&gt;&lt;/p&gt;

&lt;h2 id=&quot;参考文献&quot;&gt;参考文献&lt;/h2&gt;

&lt;div class=&quot;footnotes&quot; role=&quot;doc-endnotes&quot;&gt;
  &lt;ol&gt;
    &lt;li id=&quot;fn:tacotron&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;Y. Wang, R. Skerry-Ryan, D. Stanton, Y. Wu, R. J. Weiss,N. Jaitly, Z. Yang, Y. Xiao, Z. Chen, S. Bengio, Q. Le,Y. Agiomyrgiannakis, R. Clark, and R. A. Saurous, “Tacotron:Towards end-to-end speech synthesis,” in Proceedings of Inter-speech, Aug. 2017. &lt;a href=&quot;#fnref:tacotron&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
    &lt;li id=&quot;fn:deepvoice3&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;W.Ping,K.Peng,A.Gibiansky,S.O ̈.Arik,A.Kannan, S. Narang, J. Raiman, and J. Miller, “Deep voice 3: 2000- speaker neural text-to-speech,” CoRR, vol. abs/1710.07654, 2017. &lt;a href=&quot;#fnref:deepvoice3&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
    &lt;li id=&quot;fn:wavenet&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;Aaron van den Oord, Sander Dieleman, Heiga Zen, Karen Simonyan, Oriol Vinyals, Alex Graves, Nal Kalchbrenner, Andrew Senior, and Koray Kavukcuoglu. WaveNet: A generative model for raw audio. arXiv:1609.03499, 2016 &lt;a href=&quot;#fnref:wavenet&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
    &lt;li id=&quot;fn:seq2seq&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;Ilya Sutskever, Oriol Vinyals, and Quoc V Le. Sequence to sequence learning with neural networks. In Advances in neural information processing systems, pp. 3104–3112, 2014. &lt;a href=&quot;#fnref:seq2seq&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt; &lt;a href=&quot;#fnref:seq2seq:1&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;sup&gt;2&lt;/sup&gt;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
    &lt;li id=&quot;fn:attention&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. In ICLR, 2015 &lt;a href=&quot;#fnref:attention&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt; &lt;a href=&quot;#fnref:attention:1&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;sup&gt;2&lt;/sup&gt;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
    &lt;li id=&quot;fn:monotonic&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;Colin Raffel, Thang Luong, Peter J Liu, Ron J Weiss, and Douglas Eck. Online and linear-time attention by enforcing monotonic alignments. In ICML, 2017. &lt;a href=&quot;#fnref:monotonic&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt; &lt;a href=&quot;#fnref:monotonic:1&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;sup&gt;2&lt;/sup&gt;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
    &lt;li id=&quot;fn:gated_linear&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;Yann Dauphin, Angela Fan, Michael Auli, and David Grangier. Language modeling with gated convolutional networks. In ICML, 2017. &lt;a href=&quot;#fnref:gated_linear&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt; &lt;a href=&quot;#fnref:gated_linear:1&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;sup&gt;2&lt;/sup&gt;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
    &lt;li id=&quot;fn:convs2s&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;Jonas Gehring, Michael Auli, David Grangier, Denis Yarats, and Yann Dauphin. Convolutional sequence to sequence learning. In ICML, 2017. &lt;a href=&quot;#fnref:convs2s&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
    &lt;li id=&quot;fn:highway&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;RupeshKumarSrivastava,KlausGreff,andJu ̈rgenSchmidhuber.Highwaynetworks.arXivpreprint arXiv:1505.00387, 2015. &lt;a href=&quot;#fnref:highway&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt; &lt;a href=&quot;#fnref:highway:1&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;sup&gt;2&lt;/sup&gt;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
    &lt;li id=&quot;fn:attention_need&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. arXiv:1706.03762, 2017. &lt;a href=&quot;#fnref:attention_need&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
  &lt;/ol&gt;
&lt;/div&gt;
</description>
        <pubDate>Fri, 02 Mar 2018 00:00:00 +0000</pubDate>
        <link>/2018/03/02/tts2-knowledge/</link>
        <guid isPermaLink="true">/2018/03/02/tts2-knowledge/</guid>
        
        <category>tts</category>
        
        
        <category>speech</category>
        
      </item>
    
      <item>
        <title>faster rcnn系列</title>
        <description>&lt;ul id=&quot;markdown-toc&quot;&gt;
  &lt;li&gt;&lt;a href=&quot;#发展过程&quot; id=&quot;markdown-toc-发展过程&quot;&gt;发展过程&lt;/a&gt;    &lt;ul&gt;
      &lt;li&gt;&lt;a href=&quot;#rcnn&quot; id=&quot;markdown-toc-rcnn&quot;&gt;rcnn&lt;/a&gt;        &lt;ul&gt;
          &lt;li&gt;&lt;a href=&quot;#bbox-regression&quot; id=&quot;markdown-toc-bbox-regression&quot;&gt;bbox regression&lt;/a&gt;&lt;/li&gt;
        &lt;/ul&gt;
      &lt;/li&gt;
      &lt;li&gt;&lt;a href=&quot;#sppnetfast-rcnn&quot; id=&quot;markdown-toc-sppnetfast-rcnn&quot;&gt;sppnet，fast rcnn&lt;/a&gt;        &lt;ul&gt;
          &lt;li&gt;&lt;a href=&quot;#sppnet&quot; id=&quot;markdown-toc-sppnet&quot;&gt;sppnet&lt;/a&gt;&lt;/li&gt;
          &lt;li&gt;&lt;a href=&quot;#fast-rcnn&quot; id=&quot;markdown-toc-fast-rcnn&quot;&gt;fast rcnn&lt;/a&gt;&lt;/li&gt;
        &lt;/ul&gt;
      &lt;/li&gt;
      &lt;li&gt;&lt;a href=&quot;#faster-rcnn&quot; id=&quot;markdown-toc-faster-rcnn&quot;&gt;faster rcnn&lt;/a&gt;        &lt;ul&gt;
          &lt;li&gt;&lt;a href=&quot;#rpn&quot; id=&quot;markdown-toc-rpn&quot;&gt;rpn&lt;/a&gt;&lt;/li&gt;
        &lt;/ul&gt;
      &lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#细节-in-progress&quot; id=&quot;markdown-toc-细节-in-progress&quot;&gt;细节 in progress&lt;/a&gt;    &lt;ul&gt;
      &lt;li&gt;&lt;a href=&quot;#inference细节&quot; id=&quot;markdown-toc-inference细节&quot;&gt;inference细节&lt;/a&gt;        &lt;ul&gt;
          &lt;li&gt;&lt;a href=&quot;#整体网络结构&quot; id=&quot;markdown-toc-整体网络结构&quot;&gt;整体网络结构&lt;/a&gt;&lt;/li&gt;
          &lt;li&gt;&lt;a href=&quot;#anchors设置&quot; id=&quot;markdown-toc-anchors设置&quot;&gt;anchors设置&lt;/a&gt;&lt;/li&gt;
          &lt;li&gt;&lt;a href=&quot;#bbox-delta&quot; id=&quot;markdown-toc-bbox-delta&quot;&gt;bbox delta&lt;/a&gt;&lt;/li&gt;
          &lt;li&gt;&lt;a href=&quot;#roipooling&quot; id=&quot;markdown-toc-roipooling&quot;&gt;RoiPooling&lt;/a&gt;&lt;/li&gt;
        &lt;/ul&gt;
      &lt;/li&gt;
      &lt;li&gt;&lt;a href=&quot;#训练细节in-progress&quot; id=&quot;markdown-toc-训练细节in-progress&quot;&gt;训练细节(in progress)&lt;/a&gt;&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#原理-todo&quot; id=&quot;markdown-toc-原理-todo&quot;&gt;原理 (todo)&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#附录-待整理&quot; id=&quot;markdown-toc-附录-待整理&quot;&gt;附录 (待整理)&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#参考文献&quot; id=&quot;markdown-toc-参考文献&quot;&gt;参考文献&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;本文介绍faster rcnn&lt;sup id=&quot;fnref:rcnn&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:rcnn&quot; class=&quot;footnote&quot;&gt;1&lt;/a&gt;&lt;/sup&gt;&lt;sup id=&quot;fnref:sppnet&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:sppnet&quot; class=&quot;footnote&quot;&gt;2&lt;/a&gt;&lt;/sup&gt;&lt;sup id=&quot;fnref:fast_rcnn&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:fast_rcnn&quot; class=&quot;footnote&quot;&gt;3&lt;/a&gt;&lt;/sup&gt;&lt;sup id=&quot;fnref:faster_rcnn&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:faster_rcnn&quot; class=&quot;footnote&quot;&gt;4&lt;/a&gt;&lt;/sup&gt;系列。很久以前看别人博客，整个看下来就是罗列一些已知结论，看完之后还是云里雾里。本文尽量避免这种情况。先介绍大体发展流程。再根据mxnet rcnn源码分析具体细节。看完会有不小收获。&lt;/p&gt;

&lt;p&gt;ps: 还欠两篇ssd，yolo :(&lt;/p&gt;

&lt;p&gt;先简略看一下整个发展流程。第一遍看不清楚没关系，后面可以回来再看。&lt;/p&gt;

&lt;h2 id=&quot;发展过程&quot;&gt;发展过程&lt;/h2&gt;

&lt;h3 id=&quot;rcnn&quot;&gt;rcnn&lt;/h3&gt;

&lt;p&gt;rcnn&lt;sup id=&quot;fnref:rcnn:1&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:rcnn&quot; class=&quot;footnote&quot;&gt;1&lt;/a&gt;&lt;/sup&gt;是这个系列的开端。rcnn是regions with cnn features的缩写。基本思路如下图所示。用select search等算法对每张图片提取2000个候选区域。然后将这些候选区域扔到cnn网络去，提取特征，使用svm进行分类。记得当时训练的时候，需要100多g硬盘来保存特征。现在看来是多么不可思议。但当时这个网络比传统的算法在voc2012上，将map提高了30%，达到了53.3%.（当然，用现在的眼光来看是很低的)&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/faster_rcnn/rcnn.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;训练流程:&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;在imagenet训练cnn。再裁剪物体roi使用softmax分类训练。&lt;/li&gt;
  &lt;li&gt;训练svm。裁剪proposals位置的图片，resize到固定大小，再输入cnn获取特征，然后拿这个特征来训练svm。之所以用svm而不是直接用softmax，是因为作者实验发现svm效果更好&lt;/li&gt;
  &lt;li&gt;训练bbox regression error。对框的位置进行微调&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;下面对bbox regression进行详细说明。&lt;/p&gt;

&lt;h4 id=&quot;bbox-regression&quot;&gt;bbox regression&lt;/h4&gt;

&lt;p&gt;对于proposal P，找到一个最近的标注物体ground-true G。如果两者的IoU大于一个阈值(0.6), 则进行训练。否则，抛弃这个proposal，因为训练即使拿来训练也没有什么意义。&lt;/p&gt;

&lt;p&gt;bbox regression的目标就是将弥补proposal和ground-true的偏移。&lt;/p&gt;

&lt;p&gt;微调目标:&lt;/p&gt;

\[t_x=(G_x-P_x)/P_w\]

\[t_y=(G_y-p_y)/P_h\]

\[t_w=log(G_w/P_w)\]

\[t_y=log(G_h/P_h)\]

&lt;h3 id=&quot;sppnetfast-rcnn&quot;&gt;sppnet，fast rcnn&lt;/h3&gt;

&lt;p&gt;rcnn计算非常慢。主要是因为对每个proposal都重新计算卷积特征。如下图左图所示。那么一个很自然的想法就是，是否可以重复利用这些特征呢？答案是可以。如下图右图所示。sppnet&lt;sup id=&quot;fnref:sppnet:1&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:sppnet&quot; class=&quot;footnote&quot;&gt;2&lt;/a&gt;&lt;/sup&gt;，fast rcnn&lt;sup id=&quot;fnref:fast_rcnn:1&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:fast_rcnn&quot; class=&quot;footnote&quot;&gt;3&lt;/a&gt;&lt;/sup&gt;先统一计算feature map。然后将proposal映射到feature map上。然后拿这些roi位置的feature map来进行后续计算。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/faster_rcnn/fast.png&quot; style=&quot;width:500px&quot; /&gt;&lt;/p&gt;

&lt;p&gt;下面我们分别看一下sppnet，fast rcnn的区别。&lt;/p&gt;

&lt;h4 id=&quot;sppnet&quot;&gt;sppnet&lt;/h4&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/faster_rcnn/spp.png&quot; style=&quot;width:500px&quot; /&gt;&lt;/p&gt;

&lt;p&gt;上图表明了sppnet的基本思路。对于一个物体的roi位置的特征图。进行几个尺度的pooling。然后拼接成固定的长度。再通过前连接层获取特征。结构如下:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/faster_rcnn/spp_framework.png&quot; style=&quot;width:500px&quot; /&gt;&lt;/p&gt;

&lt;p&gt;sppnet的将任意的roi feature map划分到固定网格，再进行pooling的操作被称为: &lt;strong&gt;RoiPooling&lt;/strong&gt;.&lt;/p&gt;

&lt;p&gt;sppnet的相对于rcnn有个缺点，RoiPooling后面的网络层无法被微调，因为只有检测任务有这些层，分类任务没有（分类并没有roi这种东西）。&lt;/p&gt;

&lt;h4 id=&quot;fast-rcnn&quot;&gt;fast rcnn&lt;/h4&gt;

&lt;ul&gt;
  &lt;li&gt;更高的mAP&lt;/li&gt;
  &lt;li&gt;sppnet和rcnn使用一样的多阶段训练。fast rcnn将svm改成softmax，并使用multitask loss同时进行分类和bbox regrresion。所以只需要一阶段训练就可以了，&lt;/li&gt;
  &lt;li&gt;不需要额外的硬盘存储空间。&lt;/li&gt;
  &lt;li&gt;可以更新所有层 （上面有提到sppnet为什么不能更新所有层）&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;fast rcnn还采用smooth L1损失函数。相对于L2更加鲁棒。无须精细的调节学习率以避免梯度爆炸。&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;smooth l1损失&lt;/strong&gt;:&lt;/p&gt;

\[smooth_{L1}(x) =
\begin{cases}
0.5x^2  &amp;amp; \text{if $\lvert x\rvert &amp;lt; 1 $ } \\
\lvert x\rvert - 0.5 &amp;amp; \text{otherwise.}
\end{cases}\]

&lt;h3 id=&quot;faster-rcnn&quot;&gt;faster rcnn&lt;/h3&gt;

&lt;p&gt;我们先总结一下fast rcnn还有什么问题。fast rcnn用select search等算法来先获得候选框，再拿这些候选框来分类以及回归出偏移。在实用中，select search一般是cpu代码，限制了整体的效率。也限制了性能的提升。&lt;/p&gt;

&lt;p&gt;faster rcnn&lt;sup id=&quot;fnref:faster_rcnn:1&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:faster_rcnn&quot; class=&quot;footnote&quot;&gt;4&lt;/a&gt;&lt;/sup&gt;提出rpn网络来进行候选框提取。rpn也是神经网络。与fast rcnn网络共享底层，减少大量计算。使得最终达到5fps左右。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/faster_rcnn/rpn_share.png&quot; style=&quot;width:500px&quot; /&gt;&lt;/p&gt;

&lt;p&gt;从上图我们可以看出，图片经过一系列的卷积层之后，获得feature maps。一方面，拿这些feature map扔到rpn网络中，预测出可能的候选区域proposals。再将这些候选区域的feature maps roi扔到fast rcnn中进一步分类和偏移回归。&lt;/p&gt;

&lt;p&gt;接下来我们看一下rpn的具体构造.&lt;/p&gt;

&lt;h4 id=&quot;rpn&quot;&gt;rpn&lt;/h4&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/faster_rcnn/anchors.png&quot; style=&quot;width:500px&quot; /&gt;&lt;/p&gt;

&lt;p&gt;上图是rpn的基本结构。&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;对feature map进行sliding window操作。等价于直接用3x3的卷积核&lt;/li&gt;
  &lt;li&gt;anchors。使用anchors来对位置进行编码。从而在一个滑动窗口内部可以获得多个尺度的候选框。rpn学习的相对于anchors box的delta。&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;刚看的时候有点误会。以为是anchor是在fast rcnn里面。很矛盾。后面发现anchors是在rpn里。然后看起来就没有疑问了。&lt;/p&gt;

&lt;h2 id=&quot;细节-in-progress&quot;&gt;细节 in progress&lt;/h2&gt;

&lt;p&gt;好了上面介绍了整个发展过程。接下来，让我们抛开这些条条框框。让我们直接看rcnn的集大成者faster rcnn里面到底蕴含着哪些细节。首先我们先定义一下faster rcnn是什么？&lt;/p&gt;

&lt;p&gt;faster rcnn由rpn+fast rcnn构成。rpn和fast rcnn共享基础网络，可以大大提升检测效率。rpn预测出候选框位置，再截取候选框位置的feature map放入fast rcnn进行分类和偏移计算。训练的时候可以采取两者轮流计算的方式，也可以采用（近似）联合训练。&lt;/p&gt;

&lt;p&gt;我们先看一下预测的时候有哪些细节。再来看训练细节。&lt;/p&gt;

&lt;h3 id=&quot;inference细节&quot;&gt;inference细节&lt;/h3&gt;

&lt;p&gt;下文以mxnet rcnn的&lt;a href=&quot;https://github.com/apache/incubator-mxnet/tree/master/example/rcnn&quot;&gt;源码&lt;/a&gt;进行讲解。运行一下demo, 获得如下结果:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/faster_rcnn/dog_result.jpg&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;这张经典图片是600x800。后文均以&lt;strong&gt;600x800&lt;/strong&gt;的测试图片为例。600x800的输入经过base卷积层之后，16x下采样，获得37x50的feature map。从这里可以看出faster rcnn在预测时，并没有进行resize。下一节我们再说明为什么可以用不固定大小的输入。&lt;/p&gt;

&lt;h4 id=&quot;整体网络结构&quot;&gt;整体网络结构&lt;/h4&gt;

&lt;p&gt;接下来先看一下网络结构。(这部分对不熟悉mxnet的同学可能不够友好。待优化)&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;get_vgg_test&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;num_classes&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;21&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;num_anchors&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;9&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;s&quot;&gt;&quot;&quot;&quot;
    Faster R-CNN test with VGG 16 conv layers
    :param num_classes: used to determine output size
    :param num_anchors: used to determine output size
    :return: Symbol
    &quot;&quot;&quot;&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;data&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mx&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;symbol&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Variable&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;name&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;data&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;im_info&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mx&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;symbol&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Variable&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;name&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;im_info&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

    &lt;span class=&quot;c1&quot;&gt;# shared convolutional layers
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;relu5_3&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;get_vgg_conv&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

    &lt;span class=&quot;c1&quot;&gt;# RPN
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;rpn_conv&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mx&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;symbol&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Convolution&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;relu5_3&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;kernel&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;3&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;3&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;pad&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;num_filter&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;512&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;name&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;rpn_conv_3x3&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;rpn_relu&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mx&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;symbol&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Activation&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;rpn_conv&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;act_type&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;relu&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;name&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;rpn_relu&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;rpn_cls_score&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mx&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;symbol&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Convolution&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;rpn_relu&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;kernel&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;pad&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;num_filter&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;2&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;num_anchors&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;name&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;rpn_cls_score&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;rpn_bbox_pred&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mx&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;symbol&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Convolution&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;rpn_relu&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;kernel&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;pad&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;num_filter&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;4&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;num_anchors&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;name&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;rpn_bbox_pred&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

    &lt;span class=&quot;n&quot;&gt;input_data_shape&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;3&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;600&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;800&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;_&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;out_shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;_&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;rpn_conv&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;infer_shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;input_data_shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;print&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;'rpn_conv shape: '&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;out_shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;c1&quot;&gt;# 1x512x37x50
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;_&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;out_shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;_&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;rpn_cls_score&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;infer_shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;input_data_shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;print&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;'rpn_cls_score shape: '&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;out_shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 1x18x37x50
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;_&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;out_shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;_&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;rpn_bbox_pred&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;infer_shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;input_data_shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;print&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;'rpn_bbox_pred shape: '&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;out_shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 1x36x37x50
&lt;/span&gt;
    &lt;span class=&quot;c1&quot;&gt;# ROI Proposal
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;rpn_cls_score_reshape&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mx&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;symbol&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Reshape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;rpn_cls_score&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;shape&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;name&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;rpn_cls_score_reshape&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;rpn_cls_prob&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mx&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;symbol&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;SoftmaxActivation&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;rpn_cls_score_reshape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mode&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;channel&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;name&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;rpn_cls_prob&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;rpn_cls_prob_reshape&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mx&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;symbol&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Reshape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;rpn_cls_prob&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;shape&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;2&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;num_anchors&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;name&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;'rpn_cls_prob_reshape'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    
    &lt;span class=&quot;n&quot;&gt;rois&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mx&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;symbol&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Custom&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;cls_prob&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;rpn_cls_prob_reshape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;bbox_pred&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;rpn_bbox_pred&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;im_info&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;im_info&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;name&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;'rois'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;op_type&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;'proposal'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;feat_stride&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;16&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;scales&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;tuple&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;config&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ANCHOR_SCALES&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ratios&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;tuple&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;config&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ANCHOR_RATIOS&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;rpn_pre_nms_top_n&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;6000&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;rpn_post_nms_top_n&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;300&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;threshold&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mf&quot;&gt;0.7&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;rpn_min_size&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;16&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

    &lt;span class=&quot;n&quot;&gt;_&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;out_shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;_&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;rois&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;infer_shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;input_data_shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;print&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;'rois shape: '&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;out_shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 300x5
&lt;/span&gt;    &lt;span class=&quot;c1&quot;&gt;# Fast R-CNN
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;pool5&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mx&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;symbol&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ROIPooling&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;name&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;'roi_pool5'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;relu5_3&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;rois&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;rois&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;pooled_size&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;7&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;7&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;spatial_scale&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mf&quot;&gt;1.0&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;/&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;16&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;_&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;out_shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;_&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;pool5&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;infer_shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;input_data_shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;print&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;'pool5 shape: '&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;out_shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;  &lt;span class=&quot;c1&quot;&gt;# 300x512x7x7
&lt;/span&gt;    &lt;span class=&quot;c1&quot;&gt;# group 6
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;flatten&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mx&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;symbol&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Flatten&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;pool5&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;name&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;flatten&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;fc6&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mx&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;symbol&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;FullyConnected&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;flatten&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;num_hidden&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;4096&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;name&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;fc6&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;relu6&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mx&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;symbol&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Activation&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;fc6&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;act_type&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;relu&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;name&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;relu6&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;drop6&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mx&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;symbol&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Dropout&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;relu6&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;p&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mf&quot;&gt;0.5&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;name&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;drop6&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;c1&quot;&gt;# group 7
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;fc7&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mx&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;symbol&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;FullyConnected&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;drop6&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;num_hidden&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;4096&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;name&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;fc7&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;relu7&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mx&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;symbol&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Activation&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;fc7&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;act_type&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;relu&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;name&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;relu7&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;drop7&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mx&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;symbol&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Dropout&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;relu7&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;p&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mf&quot;&gt;0.5&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;name&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;drop7&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;c1&quot;&gt;# classification
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;cls_score&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mx&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;symbol&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;FullyConnected&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;name&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;'cls_score'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;drop7&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;num_hidden&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;num_classes&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;cls_prob&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mx&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;symbol&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;softmax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;name&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;'cls_prob'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;cls_score&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;c1&quot;&gt;# bounding box regression
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;bbox_pred&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mx&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;symbol&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;FullyConnected&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;name&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;'bbox_pred'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;drop7&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;num_hidden&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;num_classes&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;4&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

    &lt;span class=&quot;c1&quot;&gt;# reshape output
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;cls_prob&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mx&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;symbol&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Reshape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;cls_prob&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;shape&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;config&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;TEST&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;BATCH_IMAGES&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;num_classes&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;name&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;'cls_prob_reshape'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;bbox_pred&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mx&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;symbol&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Reshape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;bbox_pred&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;shape&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;config&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;TEST&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;BATCH_IMAGES&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;4&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;num_classes&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;name&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;'bbox_pred_reshape'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

    &lt;span class=&quot;c1&quot;&gt;# group output
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;group&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mx&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;symbol&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Group&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;([&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;rois&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;cls_prob&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;bbox_pred&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;])&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;group&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;已经在上面的源码加上每层的输出大小。应该一目了然了吧。需要注意的是，因为是静态图，所以proposal层必须保证输出固定数量的roi。&lt;/p&gt;

&lt;p&gt;从上面网络结构可以看出，fast rcnn网络就剩下几个全连接层了，都是&lt;strong&gt;常规操作&lt;/strong&gt;。&lt;/p&gt;

&lt;p&gt;现在放上这张图，就很清晰了吧。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/faster_rcnn/fast_rcnn.png&quot; style=&quot;width:500px&quot; /&gt;&lt;/p&gt;

&lt;p&gt;现在我们可以知道为什么输入图像不需要resize。因为rpn都是卷积层，不需要固定维度的输入。而fast rcnn网络有roipooling可以变成固定大小。&lt;/p&gt;

&lt;p&gt;现在剩下的所有细节都在&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;proposal&lt;/code&gt;层了。怎么对rpn的输出进行处理，然后拿回来roi来到fast rcnn网络里面进行等后续操作呢？具体来说就是:&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;anchors怎么设置的&lt;/li&gt;
  &lt;li&gt;bbox delta是怎么算的呢？&lt;/li&gt;
  &lt;li&gt;坐标在feature map大小还是原图大小还是0-1归一化范围呢？&lt;/li&gt;
&lt;/ul&gt;

&lt;h4 id=&quot;anchors设置&quot;&gt;anchors设置&lt;/h4&gt;

&lt;p&gt;anchors数目是: 37 x 50 x 9 = 16650&lt;/p&gt;

&lt;p&gt;先列一下后面会用到的bbox util函数:&lt;/p&gt;
&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;c1&quot;&gt;# xyxy to whxy
&lt;/span&gt;&lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;_whctrs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;anchor&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;s&quot;&gt;&quot;&quot;&quot;
    Return width, height, x center, and y center for an anchor (window).
    &quot;&quot;&quot;&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;w&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;anchor&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;anchor&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;h&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;anchor&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;3&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;anchor&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;x_ctr&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;anchor&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;0.5&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;w&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;y_ctr&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;anchor&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;0.5&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;h&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;w&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;h&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;x_ctr&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;y_ctr&lt;/span&gt;

&lt;span class=&quot;c1&quot;&gt;# whxy to xyxy
&lt;/span&gt;&lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;_mkanchors&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ws&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;hs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;x_ctr&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;y_ctr&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;s&quot;&gt;&quot;&quot;&quot;
    Given a vector of widths (ws) and heights (hs) around a center
    (x_ctr, y_ctr), output a set of anchors (windows).
    &quot;&quot;&quot;&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;ws&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ws&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[:,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;newaxis&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;hs&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;hs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[:,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;newaxis&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;anchors&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;hstack&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;((&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;x_ctr&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;0.5&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ws&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;
                         &lt;span class=&quot;n&quot;&gt;y_ctr&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;0.5&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;hs&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;
                         &lt;span class=&quot;n&quot;&gt;x_ctr&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;0.5&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ws&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;
                         &lt;span class=&quot;n&quot;&gt;y_ctr&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;0.5&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;hs&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)))&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;anchors&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;现在开始看anchors box是怎么设置的。入口函数是:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/faster_rcnn/generate_anchors.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;_ratio_enum运行情况如下:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/faster_rcnn/ratio_enum.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;ratio_anchors 结果:&lt;/p&gt;

&lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;array([ -3.5,   2. ,  18.5,  13. ]),
array([  0.,   0.,  15.,  15.]), 
array([  2.5,  -3. ,  12.5,  18. ])
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;再通过scale_enum:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/faster_rcnn/scale_enum.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/faster_rcnn/orig_anchors.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;以上anchors，加上每个网格的偏移:&lt;/p&gt;

&lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;0 0 0 0
16 0 16 0
32 0 32 0
...
768 576 768 576
784 576 784 576
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;获得最终anchors:&lt;/p&gt;

&lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;-84 -40 99 55
-68 -40 115 55
-52 -40 131 55
...
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;anchors大小变成1850x9x4。&lt;/p&gt;

&lt;p&gt;一句话总结:  &lt;strong&gt;anchors box就是定义在feature map网格上的原图坐标的一些预定义框。&lt;/strong&gt;&lt;/p&gt;

&lt;h4 id=&quot;bbox-delta&quot;&gt;bbox delta&lt;/h4&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;nonlinear_pred&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;boxes&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;box_deltas&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;s&quot;&gt;&quot;&quot;&quot;
    Transform the set of class-agnostic boxes into class-specific boxes #rpn这里并没有分不同类别
    by applying the predicted offsets (box_deltas)
    :param boxes: !important [N 4]
    :param box_deltas: [N, 4 * num_classes]
    :return: [N 4 * num_classes]
    &quot;&quot;&quot;&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;if&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;boxes&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;==&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;zeros&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;((&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;box_deltas&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]))&lt;/span&gt;

    &lt;span class=&quot;n&quot;&gt;boxes&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;boxes&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;astype&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;float&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;copy&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;False&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;widths&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;boxes&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[:,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;boxes&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[:,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;1.0&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;heights&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;boxes&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[:,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;3&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;boxes&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[:,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;1.0&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;ctr_x&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;boxes&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[:,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;0.5&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;widths&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;1.0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;ctr_y&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;boxes&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[:,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;0.5&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;heights&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;1.0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;dx&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;box_deltas&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[:,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;::&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;4&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;dy&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;box_deltas&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[:,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;::&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;4&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;dw&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;box_deltas&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[:,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;::&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;4&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;dh&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;box_deltas&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[:,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;3&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;::&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;4&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;pred_ctr_x&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;dx&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;widths&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[:,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;newaxis&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ctr_x&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[:,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;newaxis&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;pred_ctr_y&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;dy&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;heights&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[:,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;newaxis&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ctr_y&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[:,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;newaxis&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;pred_w&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;exp&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;dw&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;widths&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[:,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;newaxis&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;pred_h&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;exp&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;dh&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;heights&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[:,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;newaxis&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;

    &lt;span class=&quot;n&quot;&gt;pred_boxes&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;zeros&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;box_deltas&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;shape&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;c1&quot;&gt;# x1
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;pred_boxes&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[:,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;::&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;4&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;pred_ctr_x&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;0.5&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;pred_w&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;1.0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;c1&quot;&gt;# y1
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;pred_boxes&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[:,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;::&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;4&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;pred_ctr_y&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;0.5&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;pred_h&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;1.0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;c1&quot;&gt;# x2
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;pred_boxes&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[:,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;::&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;4&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;pred_ctr_x&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;0.5&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;pred_w&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;1.0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;c1&quot;&gt;# y2
&lt;/span&gt;    &lt;span class=&quot;n&quot;&gt;pred_boxes&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[:,&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;3&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;::&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;4&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;pred_ctr_y&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;0.5&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;*&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;pred_h&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;1.0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;pred_boxes&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;将以上源码对应到公式:&lt;/p&gt;

\[t_x=(x-x_a)/w_a, t_y=(y-t_a)/h_a\]

\[t_w=log(w/w_a), t_h=log(h/h_a)\]

\[t_x^*=(x^*-x_a)/w_a, t_y^*=(y^*-t_a)/h_a\]

\[t_w^*=log(w^*/w_a), t_h^*=log(h^*/h_a)\]

&lt;p&gt;其中$x$, $x_a$, $x^*$分别代表预测box，anchor box， ground-true box。&lt;/p&gt;

&lt;p&gt;通过以上函数处理anchors box和delta。获得的proposals坐标依旧是600x800范围。然后进行clip，并且对score进行过滤，nms，取top等。如前文所说，需要保证输出proposal数目是固定的。如果剩余数目大于topN，那么就取score最大的topN个。如果最终剩下的不足topN，则进行随机重复。这部分逻辑在proposal层里面处理。&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt; &lt;span class=&quot;k&quot;&gt;if&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;len&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;keep&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;&amp;lt;&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;post_nms_topN&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;pad&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;npr&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;choice&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;keep&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;size&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;post_nms_topN&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;-&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;len&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;keep&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;keep&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;hstack&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;((&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;keep&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;pad&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;一句话总结：&lt;strong&gt;计算proposal，就是对应网格的anchor box加上对应网格预测值（bbox delta）上&lt;/strong&gt;。&lt;/p&gt;

&lt;p&gt;对于不同分辨率的图片来说，anchors box的具体值是会变的。但生成bbox delta的权重是对应到网格上的，这些值不随分辨率而改变。&lt;strong&gt;实际上，这些权重在feature map上的滑动窗口间是共享的&lt;/strong&gt;. 也就是: &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;平移不变性&lt;/code&gt;&lt;/p&gt;

&lt;p&gt;好了，那么现在我们知道rpn出来的数据是原始图像的位置，怎么映射到feature map呢？从上述网络结构可知，答案在&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;RoiPooling&lt;/code&gt;中。&lt;/p&gt;

&lt;h4 id=&quot;roipooling&quot;&gt;RoiPooling&lt;/h4&gt;

&lt;p&gt;fast rcnn的映射沿用sppnet的计算方式。但sppnet也没有很详细的描述这个问题。这篇&lt;a href=&quot;https://zhuanlan.zhihu.com/p/24780433&quot;&gt;博客&lt;/a&gt;, 对其进行较详细的解析。但…&lt;/p&gt;

&lt;p&gt;来看一下RoiPooling的参数说明:&lt;/p&gt;

&lt;blockquote&gt;
  &lt;ul&gt;
    &lt;li&gt;&lt;strong&gt;spatial_scale&lt;/strong&gt; (&lt;em&gt;float, required&lt;/em&gt;) – Ratio of input feature map height (or w) to raw image height (or w). Equals the reciprocal of total stride in convolutional layer&lt;/li&gt;
  &lt;/ul&gt;
&lt;/blockquote&gt;

&lt;p&gt;也就是roi映射直接除以stride的乘积（16）。并没有那么多事。&lt;/p&gt;

&lt;h3 id=&quot;训练细节in-progress&quot;&gt;训练细节(in progress)&lt;/h3&gt;

&lt;p&gt;roi pooling里，一个激活值可能对多个pooling结果有影响。在反向传播的时候需要对多个累加多个反向梯度。&lt;/p&gt;

&lt;h2 id=&quot;原理-todo&quot;&gt;原理 (todo)&lt;/h2&gt;

&lt;p&gt;anchors what and why？&lt;/p&gt;

&lt;h2 id=&quot;附录-待整理&quot;&gt;附录 (待整理)&lt;/h2&gt;

&lt;ul&gt;
  &lt;li&gt;anchors assign问题。坐标空间是什么。&lt;/li&gt;
  &lt;li&gt;anchor box的作用是什么&lt;/li&gt;
  &lt;li&gt;损失函数？&lt;/li&gt;
  &lt;li&gt;faster rcnn训练需要resize吗？&lt;/li&gt;
  &lt;li&gt;对于无理取闹的proposal需要训练吗？直接丢弃？: rcnn append c描述这个问题。&lt;/li&gt;
  &lt;li&gt;roi如何映射？&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;todo:&lt;/strong&gt; rpn，anchors，fast rcnn的坐标空间分别是什么？0-1？什么时候需要进行映射？在计算proposal的时候映射到整数空间？fast rcnn的偏移也是整数?（当然，不一定需要整数，知道原图的大小，proposal大小也就可以用小数？）？&lt;/li&gt;
&lt;/ul&gt;

&lt;h2 id=&quot;参考文献&quot;&gt;参考文献&lt;/h2&gt;

&lt;div class=&quot;footnotes&quot; role=&quot;doc-endnotes&quot;&gt;
  &lt;ol&gt;
    &lt;li id=&quot;fn:rcnn&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;R. Girshick, J. Donahue, T. Darrell, and J. Malik, “Rich feature hierarchies for accurate object detection and semantic seg- mentation,” in IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2014s &lt;a href=&quot;#fnref:rcnn&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt; &lt;a href=&quot;#fnref:rcnn:1&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;sup&gt;2&lt;/sup&gt;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
    &lt;li id=&quot;fn:sppnet&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;Kaiming He, Xiangyu Zhang, Shaoqing Ren, &amp;amp; Jian Sun. “Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition”. ECCV 2014. &lt;a href=&quot;#fnref:sppnet&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt; &lt;a href=&quot;#fnref:sppnet:1&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;sup&gt;2&lt;/sup&gt;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
    &lt;li id=&quot;fn:fast_rcnn&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;R. Girshick, “Fast R-CNN,” in IEEE International Conference on Computer Vision (ICCV), 2015. &lt;a href=&quot;#fnref:fast_rcnn&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt; &lt;a href=&quot;#fnref:fast_rcnn:1&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;sup&gt;2&lt;/sup&gt;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
    &lt;li id=&quot;fn:faster_rcnn&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;S.Ren,K.He,R.Girshick,and J.Sun,“FasterR-CNN:Towards real-time object detection with region proposal networks,” in Neural Information Processing Systems (NIPS), 2015. &lt;a href=&quot;#fnref:faster_rcnn&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt; &lt;a href=&quot;#fnref:faster_rcnn:1&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;sup&gt;2&lt;/sup&gt;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
  &lt;/ol&gt;
&lt;/div&gt;
</description>
        <pubDate>Thu, 22 Feb 2018 00:00:00 +0000</pubDate>
        <link>/2018/02/22/faster-rcnn/</link>
        <guid isPermaLink="true">/2018/02/22/faster-rcnn/</guid>
        
        <category>object</category>
        
        
        <category>deep</category>
        
        <category>cv</category>
        
      </item>
    
      <item>
        <title>focal loss</title>
        <description>&lt;ul id=&quot;markdown-toc&quot;&gt;
  &lt;li&gt;&lt;a href=&quot;#背景&quot; id=&quot;markdown-toc-背景&quot;&gt;背景&lt;/a&gt;    &lt;ul&gt;
      &lt;li&gt;&lt;a href=&quot;#one-stage和two-stage的区别&quot; id=&quot;markdown-toc-one-stage和two-stage的区别&quot;&gt;one stage和two stage的区别&lt;/a&gt;&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#focal-loss&quot; id=&quot;markdown-toc-focal-loss&quot;&gt;focal loss&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#retina-net&quot; id=&quot;markdown-toc-retina-net&quot;&gt;retina net&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#结果&quot; id=&quot;markdown-toc-结果&quot;&gt;结果&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#参考文献&quot; id=&quot;markdown-toc-参考文献&quot;&gt;参考文献&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;本介绍iccv17最佳学生论文focal loss&lt;sup id=&quot;fnref:focal_loss&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:focal_loss&quot; class=&quot;footnote&quot;&gt;1&lt;/a&gt;&lt;/sup&gt;。一般来说，在物体检测中，one stage速度比较快，但准确度比较低。本文提出导致这个问题的原因是：前景背景样本极度不均衡（准确来说，应该是存在大量easy负样本）。focal loss介绍一种新的损失函数来降低已经被正确分类样本的权重。本文提出一个one stage网络retinanet, 使用focal loss进行训练，使得最终效果与one stage一致，同时效果超过two stage。&lt;/p&gt;

&lt;p&gt;本文对原理讲解很好，模型初始化技术也值得学习。&lt;/p&gt;

&lt;h2 id=&quot;背景&quot;&gt;背景&lt;/h2&gt;

&lt;p&gt;我们知道传统的物体检测一般使用滑动窗口+hog特征+svm分类的方式来进行。最好的物体检测一般是基于dpm的变种。而将深度学习引入到物体检测后，取得很好的效果。一般分为两种类别。&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;two stage: 用rpn先预测候选位置，再对候选位置进行分类已经预测偏移。以faster rcnn为代表。&lt;/li&gt;
  &lt;li&gt;one stage: 使用一个网络直接预测物体的位置和类别。以ssd，yolo为代表。&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;一般来说，one stage速度快但准确度较低。本文提出，导致这个问题的原因是: 正负样本的极度不均匀导致的。那么让我们思考一下，为啥two stage没有这个问题呢？&lt;/p&gt;

&lt;h3 id=&quot;one-stage和two-stage的区别&quot;&gt;one stage和two stage的区别&lt;/h3&gt;

&lt;p&gt;先让我们回忆一下，two stage是怎么做的:&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;使用rpn筛选2k个候选区域。这些候选区域一般都非常像前景。&lt;/li&gt;
  &lt;li&gt;采样策略。在第二阶段训练的时候，会控制正负样本比例是1:3或者OHEM（online hard example mining)&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;通过以上策略，two stage可以比较好的控制正负样本不均衡。&lt;/p&gt;

&lt;p&gt;而one stage呢？one stage是直接给出坐标以及分类概率。相当于说，对每个坐标都进行分类。而这些坐标是连续的，存在无数的框…（也就是&lt;strong&gt;dense&lt;/strong&gt;）。存在大量的背景。用这种样本训练，会使得hard example被淹没。最后学习到一个退化的模型。&lt;/p&gt;

&lt;p&gt;针对这个问题，本文提出focal loss来解决。&lt;/p&gt;

&lt;h2 id=&quot;focal-loss&quot;&gt;focal loss&lt;/h2&gt;

&lt;p&gt;我们先回顾一下交叉熵的损失函数是什么样子的。（对交叉熵推导不熟悉的，参考这篇&lt;a href=&quot;http://vsooda.github.io/2017/03/14/softmax-logistic/&quot;&gt;博客&lt;/a&gt;)
\(CE(p, y) =
\begin{cases}
-log(p)  &amp;amp; \text{if $y=1$ } \\
-log(1-p) &amp;amp; \text{otherwise.}
\end{cases}\)&lt;/p&gt;

&lt;p&gt;其中 $y \in {\pm 1}$. 分别是正负样本的标签。$p\in [0, 1]$表示模型对正样本$y=1$的预测概率。为了方便，后面用$p_t$表示。定义如下:
\(p_t =
\begin{cases}
p  &amp;amp; \text{if $y=1$ } \\
1-p &amp;amp; \text{otherwise.}
\end{cases}\)&lt;/p&gt;

&lt;p&gt;现在想让我们思考一个问题，&lt;strong&gt;这个$p_t$有什么数值特性?&lt;/strong&gt;&lt;/p&gt;

&lt;p&gt;我们这样考虑。&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;如果现在正样本，$p$越大，表示预测越准。在数值上的表现为$p_t$越大。&lt;/li&gt;
  &lt;li&gt;如果是负样本, $p$越小，表明预测越准。在数值上同样表现为$p_t$越大。&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;所以&lt;strong&gt;$p_t$可以表明一个预测的准确程度&lt;/strong&gt;。也就是分类的难易程度。这个值越大，说明分类对了概率高，也就是分类难度低。&lt;/p&gt;

&lt;p&gt;这样交叉熵就可以重写成: $CE(p,y)=CE(p_t)=-log(p_t)$&lt;/p&gt;

&lt;p&gt;为了解决类标签问题，在交叉熵损失函数里一般还会加上$\alpha$来作为平衡因子。$CE(p_t)=-\alpha log(p_t)$。这个$\alpha$的取值一般是通过正负样本比例或者交叉验证得到的。&lt;/p&gt;

&lt;p&gt;这里对交叉熵增加$\alpha$只能控制正负样本的比例。不能解决大量简单负样本的问题。focal loss想要对简单样本进行降权，具体形式如下:&lt;/p&gt;

\[FL(p_t)=-(1-p_t)^\gamma log(p_t)\]

&lt;p&gt;通过增加$(1-p_t)^\gamma$来控制权重。对于容易分类的样本，$p_t$接近1， $1-p_t$接近0，这样权重比较低。对于不容易分类的样本，降权不多。&lt;/p&gt;

&lt;p&gt;实验中发现，一般采用$\gamma=2$效果比较好。对于$p_t=0.9$的样本，$(1-p_t)^2=0.01$,也就是降权100倍。而对于大部分比较难的样本来说，$p_t$值是0.5左右。也就是降权4倍左右。通过这种方式，可以大大提高hard example的作用。&lt;/p&gt;

&lt;p&gt;下图是不同$\gamma$取值的影响。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/focal_loss/focal.png&quot; style=&quot;width:500px&quot; /&gt;&lt;/p&gt;

&lt;h2 id=&quot;retina-net&quot;&gt;retina net&lt;/h2&gt;

&lt;p&gt;本文基于resnet+fpn提出新的one stage模型。模型不是重点，重点是通过实验来验证focal loss的作用。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/focal_loss/retina.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;论文提到一个技巧。刚开始训练会发散。作者用到一些&lt;strong&gt;模型初始化技巧&lt;/strong&gt;. 具体来说就是:&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;resnet部分采用resnet50在imagenet上的预训练结果。&lt;/li&gt;
  &lt;li&gt;除了最后一层之外的新层都是按高斯分布$\sigma=0.01$来初始化权重，bias初始化为0.&lt;/li&gt;
  &lt;li&gt;最后一层，将b初始化为$b=-log((1-\pi)/\pi)$。这样等于给出一个先验，在开始训练的时候，任何一个anchor被认为是物体的概率约等于$\pi$&lt;/li&gt;
&lt;/ul&gt;

&lt;h2 id=&quot;结果&quot;&gt;结果&lt;/h2&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/focal_loss/ce_focal.png&quot; style=&quot;width:500px&quot; /&gt;&lt;/p&gt;

&lt;p&gt;从图中可以看出，加了focal loss的网咯比交叉熵+OHEM准确率高很多。表明了focal loss的有效性。&lt;/p&gt;

&lt;p&gt;同时，我自己在yolo上尝试focal loss，也有提高。&lt;/p&gt;

&lt;h2 id=&quot;参考文献&quot;&gt;参考文献&lt;/h2&gt;

&lt;div class=&quot;footnotes&quot; role=&quot;doc-endnotes&quot;&gt;
  &lt;ol&gt;
    &lt;li id=&quot;fn:focal_loss&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;Lin, Tsung-Yi, et al. “Focal loss for dense object detection.” &lt;em&gt;arXiv preprint arXiv:1708.02002&lt;/em&gt; (2017). &lt;a href=&quot;#fnref:focal_loss&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
  &lt;/ol&gt;
&lt;/div&gt;
</description>
        <pubDate>Tue, 20 Feb 2018 00:00:00 +0000</pubDate>
        <link>/2018/02/20/focal-loss/</link>
        <guid isPermaLink="true">/2018/02/20/focal-loss/</guid>
        
        <category>object</category>
        
        
        <category>deep</category>
        
        <category>cv</category>
        
      </item>
    
      <item>
        <title>mask rcnn</title>
        <description>&lt;ul id=&quot;markdown-toc&quot;&gt;
  &lt;li&gt;&lt;a href=&quot;#背景&quot; id=&quot;markdown-toc-背景&quot;&gt;背景&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#mask-rcnn&quot; id=&quot;markdown-toc-mask-rcnn&quot;&gt;mask rcnn&lt;/a&gt;    &lt;ul&gt;
      &lt;li&gt;&lt;a href=&quot;#网络整体结构&quot; id=&quot;markdown-toc-网络整体结构&quot;&gt;网络整体结构&lt;/a&gt;&lt;/li&gt;
      &lt;li&gt;&lt;a href=&quot;#head&quot; id=&quot;markdown-toc-head&quot;&gt;head&lt;/a&gt;&lt;/li&gt;
      &lt;li&gt;&lt;a href=&quot;#roialign&quot; id=&quot;markdown-toc-roialign&quot;&gt;RoiAlign&lt;/a&gt;&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#结果&quot; id=&quot;markdown-toc-结果&quot;&gt;结果&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;本文介绍iccv2017 最佳论文: mask rcnn&lt;sup id=&quot;fnref:mask_rcnn&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:mask_rcnn&quot; class=&quot;footnote&quot;&gt;1&lt;/a&gt;&lt;/sup&gt;。来自kaiming。另一篇最佳学生论文focal loss&lt;sup id=&quot;fnref:focal_loss&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:focal_loss&quot; class=&quot;footnote&quot;&gt;2&lt;/a&gt;&lt;/sup&gt;也有kaiming冠名，后面也会进行介绍。&lt;/p&gt;

&lt;p&gt;mask rcnn是在faster rcnn的基础上，新增一个分支来预测mask。实现了同时检测和分割，速度仅仅比faster rcnn慢一点点。mask rcnn也能用在人体关键点检测上。mask rcnn在物体分割，物体检测，人体关键点检测上均击败了其他所有算法，包括COCO2016的冠军。下面让我们看一下mask rcnn做了哪些工作。&lt;/p&gt;

&lt;h3 id=&quot;背景&quot;&gt;背景&lt;/h3&gt;

&lt;p&gt;物体检测我们就不说，大家都比较熟悉。比较常用的算法有faster rcnn，fpn等。本文就是想在做检测的时候同时进行分割。那么分割有什么特殊的吗？一般有哪些算法呢。&lt;/p&gt;

&lt;p&gt;这里讲的分割一般说的是语义分割(&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;semantic segmantation&lt;/code&gt;). 目标就是把每个像素归类到具体的类别，而不去区分属于哪个物体。现在一把都是用fcn来做分割，之前的分割效果最好的FCIS&lt;sup id=&quot;fnref:fcis&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:fcis&quot; class=&quot;footnote&quot;&gt;3&lt;/a&gt;&lt;/sup&gt;同样是基于fcn。本文增加的mask分支同样是基于fcn。&lt;/p&gt;

&lt;p&gt;作者发现，将mask和类别预测解耦能大大提高准确度(&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;应该不是这篇文章提出的。Fully convolutional networks for semantic segmentation 就这么做了。voc20类就预测21张图。&lt;/code&gt;)。同时，作者发现使用RoiPooling，由于量化的关系，会导致没misalignmenet. 所以提出了RoiAlign来解决这个问题。后面详细介绍。&lt;/p&gt;

&lt;h3 id=&quot;mask-rcnn&quot;&gt;mask rcnn&lt;/h3&gt;

&lt;p&gt;我们先看一下mask rcnn的结构图。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/mask_rcnn/mask_rcnn.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;很简单的一个分支对不对？凭什么能做的比别人好？诶，那个&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;RoiAlign&lt;/code&gt;是什么？&lt;/p&gt;

&lt;p&gt;下面我们来一一解答：&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;网络整体结构有什么不同&lt;/li&gt;
  &lt;li&gt;RoiAlign&lt;/li&gt;
&lt;/ul&gt;

&lt;h4 id=&quot;网络整体结构&quot;&gt;网络整体结构&lt;/h4&gt;

&lt;p&gt;在mask分支上，假设共有$k$类。mask rcnn每个roi会得到$k&lt;em&gt;m&lt;/em&gt;m$维输出。对每个类别预测一个$m*m$的binary mask图。mask rcnn使用sigmoid激活函数，并用二值交叉熵损失函数。而FCIS是对每个像素用softmax预测到每个类别，并用交叉熵损失函数进行训练。&lt;/p&gt;

&lt;p&gt;mask rcnn将类别和mask解耦。避免类间的竞争，可以大大提高准确度。知乎这个&lt;a href=&quot;https://www.zhihu.com/question/57403701&quot;&gt;cfzd回答&lt;/a&gt;上@Oh233(似乎是FCIS的作者）说，FCIS说的是roi inside map和roi outside map的竞争。&lt;strong&gt;todo&lt;/strong&gt;:待确定。&lt;/p&gt;

&lt;h4 id=&quot;head&quot;&gt;head&lt;/h4&gt;

&lt;p&gt;mask分支上的fcn网络如下。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/mask_rcnn/head.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;h4 id=&quot;roialign&quot;&gt;RoiAlign&lt;/h4&gt;

&lt;p&gt;前面我们有提到，RoiAlign是用来解决RoiPooling不对齐问题的。那么RoiPooling的不对齐的是怎么造成的呢？&lt;/p&gt;

&lt;p&gt;我们知道RPN预测出来的roi左边是连续值。并不会直接对应到某个坐标。之前的做法一般是四舍五入（量化）映射到坐标点上。然后对这roi区域进行分割在bin。由于长宽并不定会被bin size整除，这里又要进行一次量化。经过这两次量化，RoiPooling的值与原图的对应关系已经变了。以前一般是使用RoiPooling来做分类，所以一点点的不对齐影响不大。但是对于分割来说，这也会导致不好的结果（不过，light head rcnn证明, 将RoiPooling改成RoiAlign还是有提高的）。&lt;/p&gt;

&lt;p&gt;RoiAlign就是用来解决这种不对齐问题的。如下图所示。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/mask_rcnn/roi_align.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;黑色的框表示在feature map上的roi。这个roi不是整数值。先不管，直接对齐划分成各个bin。每个bin里面的某个位置上的数值，采用双线性插值来获取。比如左上角那个&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;黑色&lt;/code&gt;像素值是由临近点插值来的。&lt;/p&gt;

&lt;p&gt;怎么说呢, 很简单对吧。为啥没人做过这个工作…&lt;/p&gt;

&lt;h3 id=&quot;结果&quot;&gt;结果&lt;/h3&gt;

&lt;p&gt;在bounding-box预测上, mask rcnn比当时最佳网络(faster rcnn + resnet101 + fpn)的AP高3.6个点。其中1.1来自RoiAlign，0.9来自多任务训练。1.6来自更好的基础网络resnext101.&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/mask_rcnn/bbox_result.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;在分割上的性能，可以看出比FCIS好很多。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/mask_rcnn/mask_result.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;div class=&quot;footnotes&quot; role=&quot;doc-endnotes&quot;&gt;
  &lt;ol&gt;
    &lt;li id=&quot;fn:mask_rcnn&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;He, Kaiming, et al. “Mask r-cnn.” &lt;em&gt;Computer Vision (ICCV), 2017 IEEE International Conference on&lt;/em&gt;. IEEE, 2017. &lt;a href=&quot;#fnref:mask_rcnn&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
    &lt;li id=&quot;fn:focal_loss&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;Lin, Tsung-Yi, et al. “Focal loss for dense object detection.” &lt;em&gt;arXiv preprint arXiv:1708.02002&lt;/em&gt; (2017). &lt;a href=&quot;#fnref:focal_loss&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
    &lt;li id=&quot;fn:fcis&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;Y. Li, H. Qi, J. Dai, X. Ji, and Y. Wei. Fully convolutional instance-aware semantic segmentation.In CVPR, 2017. &lt;a href=&quot;#fnref:fcis&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
  &lt;/ol&gt;
&lt;/div&gt;
</description>
        <pubDate>Tue, 13 Feb 2018 00:00:00 +0000</pubDate>
        <link>/2018/02/13/mask-rcnn/</link>
        <guid isPermaLink="true">/2018/02/13/mask-rcnn/</guid>
        
        <category>object</category>
        
        
        <category>deep</category>
        
        <category>cv</category>
        
      </item>
    
      <item>
        <title>light head rcnn</title>
        <description>&lt;ul id=&quot;markdown-toc&quot;&gt;
  &lt;li&gt;&lt;a href=&quot;#背景&quot; id=&quot;markdown-toc-背景&quot;&gt;背景&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#light-head-rcnn&quot; id=&quot;markdown-toc-light-head-rcnn&quot;&gt;light head rcnn&lt;/a&gt;    &lt;ul&gt;
      &lt;li&gt;&lt;a href=&quot;#thin-feature-map&quot; id=&quot;markdown-toc-thin-feature-map&quot;&gt;thin feature map&lt;/a&gt;&lt;/li&gt;
      &lt;li&gt;&lt;a href=&quot;#rcnn-subnet&quot; id=&quot;markdown-toc-rcnn-subnet&quot;&gt;rcnn subnet&lt;/a&gt;&lt;/li&gt;
      &lt;li&gt;&lt;a href=&quot;#rpn&quot; id=&quot;markdown-toc-rpn&quot;&gt;rpn&lt;/a&gt;&lt;/li&gt;
      &lt;li&gt;&lt;a href=&quot;#其他细节&quot; id=&quot;markdown-toc-其他细节&quot;&gt;其他细节&lt;/a&gt;&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#结果&quot; id=&quot;markdown-toc-结果&quot;&gt;结果&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#源码&quot; id=&quot;markdown-toc-源码&quot;&gt;源码&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#参考文献&quot; id=&quot;markdown-toc-参考文献&quot;&gt;参考文献&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;本文介绍light head rcnn&lt;sup id=&quot;fnref:light_head&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:light_head&quot; class=&quot;footnote&quot;&gt;1&lt;/a&gt;&lt;/sup&gt;。face++出品。小网络在coco取得30.7mAP，102 fps。速度和准确性都超过了ssd，yolo v2。论文网络基于rfcn，&lt;del&gt;实验详实, 每一步都列出了所做的改变对结果的效果&lt;/del&gt;(&lt;strong&gt;update&lt;/strong&gt;:更像是试出一个不错的网络结构，然后做补充实验）。本文之所以快，是因为&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;light head&lt;/code&gt;，具体来说，就是使用一个channel数目比较小(thin)的feature map, 并且使用只有pooling层和单层全连接层的rcnn子网络。那么怎么能做到又快又小？&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;首先&lt;/strong&gt;：论文说的head，指的是网络的高层。而不是基础网络。&lt;/p&gt;

&lt;h2 id=&quot;背景&quot;&gt;背景&lt;/h2&gt;

&lt;p&gt;我们先来看一下本文网络结构和faster rcnn，rfcn的对比。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/light_head_rcnn/compare.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;faster rcnn之所以慢是因为对于每个roi之后的计算比较复杂，而roi数目又比较多。rfcn虽然在对roi的计算几乎是cost free的（只要一个vote操作），但是需要计算一个很大的score map $k\times k\times (C+1)$。计算这个score map使得rfcn速度并不理想。light head rcnn这篇文章计算一个小的feature map，大小通常是 $k\times k\times 10$，大大的提高了效率。&lt;/p&gt;

&lt;p&gt;从准确的角度来看，&lt;del&gt;faster rcnn在第一个池化层之前采用全局均值池化来减少计算量。这其实会对定位有不利影响&lt;/del&gt;(此话怎讲，faster rcnn并无全局均值池化？难道是实际应用中经常会这么做？)。而rfcn在计算score map之后只是做一个池化操作，准确度一般来说比不上那些有对具体roi进行计算的网络。针对以上缺点，本文设计的网络只采用单层全连接作为rcnn subnet。同时，使用thin feature map来提高计算效率。&lt;/p&gt;

&lt;h2 id=&quot;light-head-rcnn&quot;&gt;light head rcnn&lt;/h2&gt;

&lt;p&gt;一句话: &lt;strong&gt;light head rcnn就是讲rfcn的pspooling层之前的channel数减少，然后发现无法映射到对应类别，于是再加上一个全连接层&lt;/strong&gt;&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/light_head_rcnn/thin_feature_map.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;上图是在rfcn上修改成light head rcnn。&lt;/p&gt;

&lt;h3 id=&quot;thin-feature-map&quot;&gt;thin feature map&lt;/h3&gt;

&lt;p&gt;如第一张图所示，在coco上训练，如果k取值为7，那么feature map大小是490. 远远小于rfcn的7x7x81。由于通道数目小，也就避免了有害的全局均值池化。关键是，采用thin feature map会不会使结果变差呢？&lt;/p&gt;

&lt;p&gt;我们先来考虑一下，现在神经网络中为什么最常用的是3x3卷积核。因为在kernel很多的情况下可以节省计算量。而现在既然通道数很小，那么采用更大的卷积核也就没有什么问题了。&lt;/p&gt;

&lt;p&gt;基于以上事实，论文采取如下结构的large separable convolution：&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/light_head_rcnn/large_separable_convolution.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;论文并没有进行对比试验来表明，在修改后的结构中，采用这个large separable convolution是否有提高。这也是为啥我觉得实验不充分的地方。&lt;/p&gt;

&lt;h3 id=&quot;rcnn-subnet&quot;&gt;rcnn subnet&lt;/h3&gt;

&lt;p&gt;由于通道数少，后面增加全连接层也就没啥压力了。有了全连接层，结果相对于rfcn会有一些优势。&lt;/p&gt;

&lt;h3 id=&quot;rpn&quot;&gt;rpn&lt;/h3&gt;

&lt;p&gt;当然，作为检测器，还需要rpn。文章用到的rpn与faster rcnn的不同之处在于: faster rcnn的anchors采用scales: $128^2, 256^2, 512^2$, 而本文采用的是: $32^2, 64^2, 128^2, 256^2, 512^2$&lt;/p&gt;

&lt;h3 id=&quot;其他细节&quot;&gt;其他细节&lt;/h3&gt;

&lt;ul&gt;
  &lt;li&gt;用mask rcnn的RoiAlign可以提高mAP&lt;/li&gt;
  &lt;li&gt;大网络用resnet101可以在coco上超过其他所有two stage的网络。小网络用xception并把其中bottleneck结构的卷积层替换成channel wise卷积，在保证足够精度的情况下，速度远超ssd，yolo。&lt;/li&gt;
  &lt;li&gt;大小网络上的k取值，$C_{mid}$, $C_{out}$取值不一样&lt;/li&gt;
&lt;/ul&gt;

&lt;h2 id=&quot;结果&quot;&gt;结果&lt;/h2&gt;

&lt;p&gt;大模型在准确度上碾压对手：&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/light_head_rcnn/accurcy.png&quot; style=&quot;width:500px&quot; /&gt;&lt;/p&gt;

&lt;p&gt;小模型在速度上碾压对手：&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/light_head_rcnn/speed.png&quot; style=&quot;width:500px&quot; /&gt;&lt;/p&gt;

&lt;h2 id=&quot;源码&quot;&gt;源码&lt;/h2&gt;

&lt;p&gt;&lt;a href=&quot;https://github.com/terrychenism/Deformable-ConvNets/blob/master/rfcn/symbols/resnet_v1_101_rfcn_light.py&quot;&gt;这里&lt;/a&gt;有个mxnet实现。看了一下应该理解无误。&lt;strong&gt;todo：修改一下这个网络使用不同的backbone network。测试在xception上是否真的有这么高的速度和准确性&lt;/strong&gt;。&lt;/p&gt;

&lt;h2 id=&quot;参考文献&quot;&gt;参考文献&lt;/h2&gt;

&lt;div class=&quot;footnotes&quot; role=&quot;doc-endnotes&quot;&gt;
  &lt;ol&gt;
    &lt;li id=&quot;fn:light_head&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;Light-Head R-CNN: In Defense of Two-Stage Object Detector &lt;a href=&quot;#fnref:light_head&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
  &lt;/ol&gt;
&lt;/div&gt;
</description>
        <pubDate>Mon, 12 Feb 2018 00:00:00 +0000</pubDate>
        <link>/2018/02/12/light-head-rcnn/</link>
        <guid isPermaLink="true">/2018/02/12/light-head-rcnn/</guid>
        
        <category>object</category>
        
        
        <category>deep</category>
        
        <category>cv</category>
        
      </item>
    
      <item>
        <title>fpn</title>
        <description>&lt;ul id=&quot;markdown-toc&quot;&gt;
  &lt;li&gt;&lt;a href=&quot;#背景&quot; id=&quot;markdown-toc-背景&quot;&gt;背景&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#fpn&quot; id=&quot;markdown-toc-fpn&quot;&gt;fpn&lt;/a&gt;    &lt;ul&gt;
      &lt;li&gt;&lt;a href=&quot;#bottom-up&quot; id=&quot;markdown-toc-bottom-up&quot;&gt;bottom up&lt;/a&gt;&lt;/li&gt;
      &lt;li&gt;&lt;a href=&quot;#top-down和横向连接&quot; id=&quot;markdown-toc-top-down和横向连接&quot;&gt;top-down和横向连接&lt;/a&gt;&lt;/li&gt;
      &lt;li&gt;&lt;a href=&quot;#block&quot; id=&quot;markdown-toc-block&quot;&gt;block&lt;/a&gt;&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#结果&quot; id=&quot;markdown-toc-结果&quot;&gt;结果&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;本文介绍fpn&lt;sup id=&quot;fnref:fpn&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:fpn&quot; class=&quot;footnote&quot;&gt;1&lt;/a&gt;&lt;/sup&gt;. fpn是巧妙解决深度学习利用难以利用金字塔特征的问题。将高层语义特征传到低层。直接在faster rcnn上使用fpn，在coco数据集上，单模型效果超过所有同期论文，也超过COCO 2016 challenge的冠军。&lt;/p&gt;

&lt;h3 id=&quot;背景&quot;&gt;背景&lt;/h3&gt;

&lt;p&gt;我们知道传统的物体检测通常都是经过在金字塔上用滑动窗口的方式，提取窗口内特征，对是否是某物体进行分类(svm等)。这样才能检测大小不一各个尺度的物体。但这实际上也是传统算法速度很难提高的原因。如下图a所示。&lt;/p&gt;

&lt;p&gt;对于，深度学习，一般使用的是图b的结构。输入图片通过一层层网络层，提取特征。然后在高层特征上进行预测位置，分类。这种结构的缺点就是对于小物体，很难获得精确的定位。而如果在每一层特征（金字塔）每层进行预测，会导致训练变慢而且也会导致训练时候内存暴涨，基本上是不可行的。&lt;/p&gt;

&lt;p&gt;当然，在特征金字塔不是唯一的方式。也可以选取某些层进行输出。如图c所示。只选择某些层次进行处理。ssd就是用这种方式。使用这种方式一般没有办法选取太低层的特征，因为这些特征语义信息不强，无法有效分类（ssd最低层选用的conv4_3)。高层信息存在无法检测小物体并精确定位的问题。一般对选取的几层添加额外几层来预测所需要的分类、定位信息。这也浪费了高层特征。需要有一种方式可以重用高层特征。&lt;/p&gt;

&lt;p&gt;这就是fpn做的事情。它把高层特征重新带回到低层。然后用底层特征进行精确检测。如图d所示。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/assets/fpn/pyramid.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;h3 id=&quot;fpn&quot;&gt;fpn&lt;/h3&gt;

&lt;p&gt;具体的，fpn是通过：横向连接，top-down， bottom-up的方式进行的。以下介绍详细细节。&lt;/p&gt;

&lt;h4 id=&quot;bottom-up&quot;&gt;bottom up&lt;/h4&gt;

&lt;p&gt;就是正常的前向操作。从底层到高层。&lt;/p&gt;

&lt;h4 id=&quot;top-down和横向连接&quot;&gt;top-down和横向连接&lt;/h4&gt;

&lt;p&gt;正常的top-down如下图所示。一般在物体分割使用到这种方式。将高层特征传回低层，用低层特征进行精确分割。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/assets/fpn/top_down_classical.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;而fcn的top-down略有不同。这里加入了横向连接。如下图所示。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/assets/fpn/top_down_lateral.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;在上图中每个选中的层都会进行预测。高层特征通过以下方式待会到底层。&lt;/p&gt;

&lt;h4 id=&quot;block&quot;&gt;block&lt;/h4&gt;

&lt;p&gt;&lt;img src=&quot;/assets/fpn/block.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;横向连接体现为一个1x1的卷积层，上面一层通过2倍上采样，然后对位直接相加获得当前层的特征。&lt;/p&gt;

&lt;p&gt;这里思考两个问题：&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;横向连接为啥要用1x1的卷积层？&lt;/li&gt;
  &lt;li&gt;为啥是2倍上采样？&lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;对于第一个问题，这是因为上下两层的通道数是不一样的。需要通过1x1统一到相同的通道数目。&lt;/p&gt;

&lt;p&gt;对于第二个问题，这是跟选取那些层进行预测的的策略有关了。这得从cnn的发展历史说起。&lt;/p&gt;

&lt;p&gt;现在大部分结构，从输入图到预测前的特征图，一般是经过32x的下采样。一般由5个stride为2的层将整个网络结构分为不同的stage。在不同的stage内可以有多个网络层。但这内部的网络层的特征图尺寸一般是不变的。&lt;/p&gt;

&lt;p&gt;在fpn网络中，选取预测层都是选中每个stage的最后一层。所以一定是2倍的关系。第二个问题解决。&lt;/p&gt;

&lt;h3 id=&quot;结果&quot;&gt;结果&lt;/h3&gt;

&lt;p&gt;这是fpn在coco上检测结构。论文也对分割做了一部分工作，暂不考虑。&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;/assets/fpn/result.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;参考文献:&lt;/p&gt;

&lt;div class=&quot;footnotes&quot; role=&quot;doc-endnotes&quot;&gt;
  &lt;ol&gt;
    &lt;li id=&quot;fn:fpn&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;Lin, Tsung-Yi, et al. “Feature pyramid networks for object detection.” &lt;em&gt;CVPR&lt;/em&gt;. Vol. 1. No. 2. 2017. &lt;a href=&quot;#fnref:fpn&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
  &lt;/ol&gt;
&lt;/div&gt;
</description>
        <pubDate>Mon, 12 Feb 2018 00:00:00 +0000</pubDate>
        <link>/2018/02/12/fpn/</link>
        <guid isPermaLink="true">/2018/02/12/fpn/</guid>
        
        <category>object</category>
        
        
        <category>deep</category>
        
        <category>cv</category>
        
      </item>
    
      <item>
        <title>xception</title>
        <description>&lt;ul id=&quot;markdown-toc&quot;&gt;
  &lt;li&gt;&lt;a href=&quot;#结构演变&quot; id=&quot;markdown-toc-结构演变&quot;&gt;结构演变&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#xception与inception差异&quot; id=&quot;markdown-toc-xception与inception差异&quot;&gt;xception与inception差异&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#整体结构&quot; id=&quot;markdown-toc-整体结构&quot;&gt;整体结构&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;#inception-v3结构&quot; id=&quot;markdown-toc-inception-v3结构&quot;&gt;inception v3结构&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;本文介绍&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;depthwise separable convolution&lt;/code&gt;。我们知道在进行卷积操作的时候，卷积核的维度是: (kernel_size, kernel_size, input_channel, output_channel)，也就是说同时进行通道间和空间(通道内)的计算。实验证明，这两部分是可以分开的，可以分解成独立的两个部分: 通道间计算，空间计算。文章探索的网络结构是在inception v3上进行的，在参数数量不变的情况下，在imagenet等多个大数据集上超过inception v3&lt;sup id=&quot;fnref:inception_v3&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:inception_v3&quot; class=&quot;footnote&quot;&gt;1&lt;/a&gt;&lt;/sup&gt;。&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;separable convolution&lt;/strong&gt;将正常卷积分解。在tensorflow，keras等框架中，将分解后的操作称为:&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;depthwise convolution。在单个通道内的卷积操作。卷积核大小一般是3x3&lt;/li&gt;
  &lt;li&gt;pointwise convolution。通道间的操作。卷积核大小是1x1&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;本文对inception v3的修改主要是对其中的&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Inception modules&lt;/code&gt;替换成&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;depthwise separable convolution&lt;/code&gt;。修改后的模型称为xception&lt;sup id=&quot;fnref:xception&quot; role=&quot;doc-noteref&quot;&gt;&lt;a href=&quot;#fn:xception&quot; class=&quot;footnote&quot;&gt;2&lt;/a&gt;&lt;/sup&gt;.&lt;/p&gt;

&lt;p&gt;接下来我们先来看一下是怎么做的修改。&lt;/p&gt;

&lt;h3 id=&quot;结构演变&quot;&gt;结构演变&lt;/h3&gt;

&lt;p&gt;&lt;strong&gt;inception module原始结构&lt;/strong&gt;&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/xception/inception_orig.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;将各种分支简化成相同的模式:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/xception/inception_simple.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;1x1卷积实际上可以进行合并操作, 只要分group即可:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/xception/inception_concat.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;在极端(extreme)情况下，每个group只有一个通道:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/xception/inception_extreme.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;3x3的卷积核一般称为&lt;/p&gt;

&lt;h3 id=&quot;xception与inception差异&quot;&gt;xception与inception差异&lt;/h3&gt;

&lt;p&gt;在实际使用中，xception和inception module有以下不同之处:&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;顺序不一样。inception先1x1再3x3。xception采用的depthwise separable convolution是先3x3再1x1&lt;/li&gt;
  &lt;li&gt;激活方式不一样。inception一般使用在每个卷积操作后加入relu。xception则不加。&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;对于第一个不同，一般认为这是不重要。主要是因为这些网络结构都会堆叠很多层，所以顺序不同并不会有什么影响。对于第二个不同，对结果是有影响的。作者通过实验表明，没有用激活函数，效果更好。&lt;/p&gt;

&lt;h3 id=&quot;整体结构&quot;&gt;整体结构&lt;/h3&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/xception/framework.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;下面附上inception v3结构作为对比。&lt;/p&gt;

&lt;h3 id=&quot;inception-v3结构&quot;&gt;inception v3结构&lt;/h3&gt;

&lt;p&gt;&lt;strong&gt;整体结构&lt;/strong&gt;:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/xception/inception_v3.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;figure5&lt;/strong&gt;:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/xception/inception_figure5.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;figure6&lt;/strong&gt;:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/xception/inception_figure6.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;figure7&lt;/strong&gt;:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://vsooda.github.io/assets/xception/inception_figure7.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;参考文献:&lt;/p&gt;

&lt;div class=&quot;footnotes&quot; role=&quot;doc-endnotes&quot;&gt;
  &lt;ol&gt;
    &lt;li id=&quot;fn:inception_v3&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;Rethinking the Inception Architecture for Computer Vision &lt;a href=&quot;#fnref:inception_v3&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
    &lt;li id=&quot;fn:xception&quot; role=&quot;doc-endnote&quot;&gt;
      &lt;p&gt;xception Xception: Deep Learning with Depthwise Separable Convolutions &lt;a href=&quot;#fnref:xception&quot; class=&quot;reversefootnote&quot; role=&quot;doc-backlink&quot;&gt;&amp;#8617;&lt;/a&gt;&lt;/p&gt;
    &lt;/li&gt;
  &lt;/ol&gt;
&lt;/div&gt;
</description>
        <pubDate>Sun, 11 Feb 2018 00:00:00 +0000</pubDate>
        <link>/2018/02/11/xception/</link>
        <guid isPermaLink="true">/2018/02/11/xception/</guid>
        
        <category>cv</category>
        
        
        <category>deep</category>
        
        <category>cv</category>
        
      </item>
    
  </channel>
</rss>
