学习基于事件的运动去模糊

会议：CVPR 2020

地址：https://arxiv.org/abs/2004.05794

摘要

由于模糊过程中丢失了大量的运动信息，从运动模糊图像中恢复清晰的视频序列是一个高度不适定问题。然而，对于基于事件的相机，快速运动可以在高时间率上作为事件被捕捉，从而提出了探索有效解决方案的新机遇。在本文中，我们从基于事件的运动去模糊的序列表述开始，然后说明如何使用新颖的端到端深度架构来实现其优化。所提出的架构是一个卷积循环神经网络，有原则的整合了全局和局部尺度的视觉和时间知识。为了进一步改进(图像的)重建，我们提出了一种可微的定向事件过滤模块，可以有效地从事件流中提取丰富的先验边界。我们在合成的GoPro数据集和新引入的使用DAVIS240C相机捕获的大型数据集上进行了大量的实验。我们提出的方法达到了最先进的重建质量，并更好地处理现实世界的运动模糊。

网络设计空间的设计

摘要

本文提出了一种新的网络设计范式。我们的目标是帮助提高对网络设计的理解，并发现在不同环境下普遍适用的设计原则。我们不再专注于设计单个的网络实例，而是设计了参数化网络总体的网络设计空间。整个过程类似于经典的人工网络设计，但提升到了设计空间层面。使用我们的方法，我们探索网络设计的结构方面，并得出一个低维的设计空间，由简单的，规则的网络组成，我们称之为RegNet。RegNet参数化的核心观点非常简单：良好网络的宽度和深度可以用量化的线性函数来解释。我们分析了RegNet的设计空间，得出了与当前网络设计实践不符的有趣发现。RegNet的设计空间提供了简单而快速的网络，可以很好地在各种不同的FLOP状态下工作。在类似的训练环境和FLOPs下，RegNet模型的性能优于流行的efficientnet模型，而在gpu上的速度高达5倍。

注意力深层局部特征的大规模图像检索

摘要

提出了一种适合于大规模图像检索的局部特征描述器，称为Deep-local-feature。新的特征是基于卷积神经网络，它只在地标图像数据集上使用图像级注释进行训练。为了识别在语义上有用的图像检索局部特征，我们还提出了一种用于关键点选择的注意机制，该机制与描述符共享大部分网络层。该框架可用于图像检索，作为其他关键点检测器和描述符的替代品，实现更精确的特征匹配和几何匹配验证。我们的系统产生可信的分数拒绝误报(FP)，尤其是它的健壮性针对数据库中没有正确匹配的查询。为了评估所提出的描述符，我们引入了一个新的大规模数据集，被称为谷歌地标(GLD)数据集，包括数据库和 查询搜索作为背景杂波，部分遮挡，多个地标、可变尺度的物体等DELF的成绩超过了全球和当地最先进的水平(SOTA)在大范围数据集中的描述符。可在以下网页找到项目代码：https://github.com/tensorflow/models/tree/master/research/delf。

统一局部和全局特征进行图像搜索的深层(网络)

​ 本文使用机翻，稍加润色，主要用于个人理解，不恰当之处请看客见谅。

摘要

图像检索是在图像数据库中搜索与查询图像相似的项的问题。为了解决这一问题，研究了两种主要的图像表示方法：全局图像特征和局部图像特征。在这项工作中，我们的主要贡献是将全局和局部特征统一到一个单一的深度模型中，从而实现精确的检索和高效的特征提取。我们将新模型称为DELG，代表了深层网络的本地和全局特性。我们利用最近特征学习工作的经验教训，提出了一个将全局特征的广义均值池和局部特征的注意选择相结合的模型。通过仔细平衡两部分之间的梯度流，整个网络可以端到端地学习——只需要图像级别的标签。我们还引入了一种基于自动编码器的局部特征降维技术，并将其集成到模型中，提高了训练效率和匹配性能。在重新修改的牛津和巴黎数据集上的实验表明，我们共同学习的基于ResNet-50的特征优于使用深层全局特征（大多数具有更重量级的主干）和那些进一步使用局部特征重新排序的结果。代码和模型将被发布。

关键词：deep features，image retrieval，unified model，深度特征，图像检索，统一模型

1. http协议请求头

1
2
3
4
5

[method] [uri] [version]\r\n
Host: www.example.com\r\n
Connection: keep-alive\r\n
...
\r\n

1.1 第一行的字段为请求的：方法，资源地址，协议版本

http协议常用的请求方法[method]为

• GET：用于向服务器请求数据；
• POST: 用于向服务器提交数据；
• CONNECT: 用于隧道代理;
• HEAD: 用于向服务器请求报头;

资源地址[uri]：一般为URL中去掉域名后剩下的那部分，即浏览器地址栏网址中域名之后的内容。 http协议版本[version]: 目前主流版本有HTTP/1.0和HTTP/1.1。 http请求头中的的换行用的是\r\n, 而非Linux中的换行符\n。以下为一个真实请求头的示例

GET /index.html HTTP/1.1

Host: www.example.com

Connection: keep-alive

图像插入设置

• 主要涉及Typora的两个参数设置
  • 图片根目录设置
    • 既告诉Typora哪个文件夹作为网站的根目录
  • 图片复制路径
    • 既图片插入时，自动复制图片到指定路径，如此上传至空间，才能生成正确的url

• 设置图像根目录

  • 以hexo根目录下的source文件夹为例

  • 该文件夹中的内容会上传至web根目录，因此此文件相当于网站的根目录

  • 而文章所在目录为source文件夹下的_post文件夹, 根目录在文章的上级目录

  • 因此设置图片根目录为..

  • 既在标题栏添加此内容：typora-root-url: ..

  • 

  • 设置图片目录

    • 设置source文件夹下的img文件夹，为图片所在文件夹
    • 因为img在source文件夹下，既在文章的上级目录下的img文件夹下
    • 因此设置图片目录为..\img
    • 既在标题连添加此内容：typora-copy-images-to: ..\img

• 注意事项：以上设置只能采用相对路径

对操作系统、计算机组成原理入门具有一定指导意义，对计算机考研知识理解具有一定辅助作用，对工作中的实际应用可能基本没用。

• 特权指令

○ 从指令系统（指令集）角度定义，在指令系统中拥有用于管理硬件和整个系统安全的指令，让程序随意使用具有极高危险性。不得在用户态（目态）执行，只能在核心态（管态）执行，用户态程序如果运行特权指令将发生异常，并切换到管态由操作系统接管cpu。所以用户程序不得使用特权指令，需要执行特权指令需要使用防管指令，进入核心态。

• 访管指令

○ 同样从指令集的角度定义，或者说从硬件角度（cpu状态）。防管指令，是用户程序自愿进管的指令（进管同时也意味着程序放弃cpu的控制权），该指令本身属于非特权指令，可在用户态执行，执行后进入核心态。核心态是通过cpu置相应标志表明当前处于核心态。cpu进入核心态后可以执行指令集中的所有指令（包括特权指令和非特权指令，但不执行访管指令）。

• 陷入指令

○ 原则上可看作访管指令，但是从操作系统的角度定义的。访管强调的是cpu从用户态切换到了核心态，可以执行指令集中的所有指令。而陷入（自陷、陷阱）指令强调程序从用户程序从用户台切换到内核态(以下简称切换到操作系统)，陷入指令即汇编中的中断指令。执行陷入指令程序会中断，跳转到中断服务程序（操作系统的代码）。所以访管强调的是可以执行特权指令，陷入强调的是进程放弃cpu，交还给操作系统。其实核心态和操作系统是不可分割的：道理很显然，进入核心态（管态），必然需要“跳转”到操作系统，不然区分用户态和核心态就没有了意义，如果程序执行完访管指令后，只是进入了管态，之后仍然执行自身的代码，那用户程序将可以为所欲为，显然不能允许。另一方面，如果cpu跳转到了操作系统，没有进入管态，那操作系统也无法执行特权指令，不能管理整个机器，显然也不行（当然也存在操作系统一部分运行在用户态，一部分（即内核）运行在管态，此时操作系统获取cpu控制权后不一定是处于核心态）。所以管态就是运行操作系统(内核代码)，访管指令本质上就是一条陷入（中断）指令。

首先声明本人非计算机专业，也不玩数码硬件，可以说我下面的内容既不偏向理论也不偏向实际应用。单纯是个外行人对计算机的初步印象，只做个人笔记，当然写在公开领域，自然避免不了外人看到，所以事先声明，以免误导各位。

1）硬件

提到计算机硬件，首先应该说一说开关。可以说简单的分析，计算机内部就是由一个个的开关组成。或者说就是由开关演化而来的。乍一听，可能很难接受，这种简单东西的组合是怎么认识代码，是怎么运行软件的。

我只能说你这种想法是把人的观点强加给计算机而已，它不过是一堆没有感情的芯片电路，就一铁疙瘩，懂什么代码。它不过是按既定的物理规律运行而已。

甚至从我的角度来看即便是为计算机量身定做二进制也是计算机看不懂的东西，计算机所理解的这一切都是人强加给它的。

这就相当于按下开关，通上电灯它亮了，而你把他看作是灯知道了你按下了开关，然后亮了，而且你还在这好奇，这灯它到底是咋知道我按下了开关的？灯知道个什么玩意，其实这不过是看待问题的角度本身强加给了它意义，计算机和灯本质上也并无差别。抛开人强加给它的意义，会更容易来理解计算机。

下面来简析一下计算机的基本结构，此处的计算机不以任何现实机器为依据，单纯是对各种计算机抽象出来的一种通用机器模型。

该机器应由 (1)cpu (2)内存 和 (3)外设 构成，更细致的分：cpu由(1)控制器和**(2)运算器构成，内存既(3)存储器、主存**，外设既**(4)输入设备和(5)输出设备**。

1. 概述：

早期网络分配是只能以网段为单位进行(可能是出于路由简单的目的，网段类似电话号区号)。类比到电话4位区号，7位座机号，共11位。当电话呼叫时，线路进行转接的时候只需看区号就可以直接把电话接到某个地区，地区再看座机号接到具体某一户。这样一来转接过程各自分工让电话接通变得更加简单。网络通信也是类似，ip地址总共32位（二进制），但是网络号（区号）和主机号（座机号）不像11位电话那样始终固定为4位7位。

ip的划分稍微复杂一点，其划分原则为：ip地址中若第一位为0，则网络号8位，主机号24位，被称为A类地址。若第一位为1第二位为0，则网络号16位，主机号16位，被称为B类地址。若第一二位为1第三位为0，则网络号24位，主机号8位，被称为C类地址。早期网络并非个人使用，而是科研机构军工学校企业等使用，故ip的分配也是以网络号为单位，而不是以单个ip为单位来售卖。类比到电话就是，直接区号分配给你，而不是分配手机号。机构的用户多就购买一个A类网段，约可以连16M(2^{24，主机号24位)台电脑，人少就购买B类网段，约可以连64k(2}16)台电脑，更少则购买C类网段，约可以连256(2^8)台电脑。分配到网段后，该网端的ip供机构自由分配给机构内的电脑，且网络运营商只负责将发往该网段的数据转发给该机构。至于该数据是属于哪台主机，由机构自己负责路由。

2. 网络划分细节：

1. A类地址：

1.0.0.0－126.255.255.255 (00000001 00000000 00000000 00000000 ~ 01111110 11111111 11111111 11111111）

ip地址第一位为0，前8位为网络号，标识网段，后24位为主机号，标识主机。 这里可以看到ip地址第一位为0的网段中，A类地址缺少了两个网段，这两个网段分别是： (1) 0.0.0.0－0.255.255.255，即 (00000000 00000000 00000000 00000000 ~ 00000000 11111111 11111111 11111111) 该网段前八位网络号全0表示本网络。其中后24位主机号全0的ip表示本主机。所以0.0.0.0表示本网络上的本主机，也就是指本机自己，一般用于路由器指定默认路由端口。网络号(前八位)全0的其他地址似乎没有用处，按道理应该指本网络的其他主机，但实测并非如此。

(2) 127.0.0.0－127.255.255.255，即 (01111111 00000000 00000000 00000000 ~ 01111111 11111111 11111111 11111111) 127网络为保留地址，作为环路自检地址，也就是指本机自身，一般用于测试tcp/ip工作栈是否正常。目的地址以127开头的环回地址不会出现在网络上，只能在主机内部，人话也就是只能自己发给自己，用于测试自身软硬件配置是否正常。

另外A类地址中还有一段私有地址和一段保留地址： （1）A类私有地址(同时也是保留地址)： 10.0.0.0－10.255.255.255

（2）A类保留地址： 100.64.0.0－100.127.255.255

关于私有地址和保留地址下面会详细介绍, ABC各类地址都会留一段作为私有地址。

1. 动态链接库简单理解就是在软件装入内存时才进行动态的链接，与程序链接成完整的可执行文件。
   • 简单明了的说明就是，和软件主体组装到一块，动态链接库多是一些模块化可复用的代码，实现了一些频繁使用，或者难以实现的操作，供程序直接调用。减少开发人员的工作量，同时动态库在需要执行时才调入内存，一个库可用供多个进程同时使用，可以降低内存占中。
   • 另一方面，因为操作系统很多底层的系统调用操作或者频繁使用的操作，每个软件都要用，而且这些操作可能还比较危险，直接交给软件实现也存在一些风险。所以系统自带了很多动态链接库文件，编程人员需要使用相关功能，直接调用系统的链接文件即可。

2. 于是就会出现很多软件运行时提示缺少dll文件的情况，因为软件使用的dll文件，系统中并不一定有，或者对应的dll版本不一样。