Rethinking Table Recognitionusing Graph Neural Networks

会议: ICDAR 2019

论文地址：https://arxiv.org/abs/1905.13391

github: https://github.com/shahrukhqasim/TIES-2.0

[TOC]

摘要

文档结构分析，例如区域分割和表格识别，是文档处理中的复杂问题，并且是一个活跃的研究领域。深度学习在解决各种计算机视觉和机器学习问题方面的近期成功尚未反映在文档结构分析中，因为传统的神经网络不适合该问题的输入结构。本文提出了一种基于图网络的架构作为标准神经网络更好的替代方案来识别表格。我们主张图网络对于这些问题是一种更自然的选择，并探索了两种基于梯度的图神经网络。我们的提出的架构结合了卷积神经网络用于视觉特征提取以及图网络用于处理问题结构的好处。我们在实验上证明，与基线相比，我们的方法具有显著的优势。此外，我们还指出大规模数据集缺乏是结构分析领域深度学习研究的主要障碍，并提出了一个针对表格识别的新大规模合成数据集。最后，我们开源了我们的数据生成和图网络训练框架实现，以促进这一方向上的可重复研究。

**关键词：表格识别；结构分析；图神经网络；文档模型；图形模型；数据集 **

图形注意力网络

会议: ICLR 2018

论文地址：https://paperswithcode.com/paper/graph-attention-networks

github: https://github.com/PetarV-/GAT

开源库：PyG

[TOC]

摘要

本文提出一种新的神经网络架构——图注意力网络（GAT），该网络可以处理具有图形结构的数据，并利用掩码自注意层来解决基于图卷积或其近似方法的先前方法的不足之处。通过将节点能够关注邻居特征的层堆叠起来，我们可以隐式地为邻居中的不同节点指定不同的权重，而无需进行任何昂贵的矩阵操作（如求逆）或依赖于事先知道图结构。这样，我们同时解决了谱基图神经网络模型的一些关键挑战，并使我们的模型适用于归纳和推断问题。实验结果表明，在四个已建立的归纳和推断图基准数据集上，GAT模型已经达到了或匹配了最先进的结果：Cora、Citeseer和Pubmed引用网络数据集以及一个蛋白质相互作用数据集（其中测试图在训练期间未被看到）。

基于图卷积网络的半监督分类（GCN）

会议: ICLR 2017

论文地址：https://arxiv.org/abs/1609.02907

github: https://github.com/tkipf/pygcn

[TOC]

摘要

本文提出了一种可扩展的方法来处理图结构数据上的半监督学习，该方法基于一种高效的卷积神经网络变体，它直接在图上操作。本文通过局部一阶近似谱图卷积，优化我们的卷积架构的选择。我们的模型与图中边的数量线性相关，并且可以学习编码了图的局部结构和节点特征的隐藏层表示。我们在引用网络和知识图数据库上的一系列实验中展示了我们的方法相比其他相关方法具有显著优势。

Hierarchical Graph Pooling with Structure Learning

会议: AAAI 2020(疑似撤稿)

论文地址：https://arxiv.org/abs/1911.05954

github: https://github.com/cszhangzhen/HGP-SL

DGL开源库：https://github.com/dmlc/dgl/tree/master/examples/pytorch/hgp_sl

[TOC]

摘要

图神经网络 (GNN) 将深度神经网络扩展到图结构数据，在许多图相关任务中取得了最先进的性能。然而，现有的 GNN 模型主要关注设计图卷积操作。图池化 (或下采样) 操作在分层表示学习中发挥着重要作用，通常被忽视。在这篇论文中，我们提出了一种新的图池化操作符，称为具有结构学习的分层图池化 (HGP-SL)，它可以集成到各种图神经网络架构中。HGP-SL 将图池化和结构学习集成到一个统一的模块中，以生成图的分层表示。具体来说，图池化操作根据我们定义的节点信息分数自适应地选择一组节点来形成一个诱导子图，用于后续层。为了保留图的拓扑信息的完整性，我们进一步引入了一种结构学习机制，以学习每层池化图的精炼图结构。通过将 HGP-SL 操作符与图神经网络相结合，我们进行了图级别表示学习，重点关注图分类任务。在六个广泛使用的基准数据集上的实验结果表明了我们提出的模型的有效性。

用于实例分割的路径聚合网络

会议: CVPR 2018

论文地址：https://arxiv.org/abs/1803.01534

github: https://github.com/ShuLiu1993/PANet

[TOC]

摘要

信息在神经网络中的传播方式至关重要。本文提出了路径聚合网络 (PANet)，旨在提升基于候选框的实例分割框架中的信息流。具体来说，我们通过自底向上的路径增强，将低层中的精确定位信号引入整个特征层次，从而缩短了低层和顶层特征之间的信息路径。我们提出了自适应特征池化，将特征网格和所有特征级别连接起来，使每个特征级别中的有用信息可以直接传播到后续的候选框子网络中。我们创建了一个互补分支，用于捕获每个候选框的不同视角，从而进一步提高掩码预测的精度。这些改进易于实现，且计算开销微小。我们的 PANet 在 COCO 2017 挑战赛的实例分割任务中取得了第一名，并在没有使用大批次训练的情况下，在目标检测任务中取得了第二名。它也是 MVD 和 Cityscapes 上的最先进技术。代码地址: https://github.com/ShuLiu1993/PANet

桩检测算法

总体流程

1. 基于规则的桩检测
   • 采用基于规则的方法检测桩，检测时不区分桩类别。这一步保证绝对的准确率（100%），较高的召回率（>60%）。
2. 生成桩检测数据集
   • 使用规则检测的结果作为标注生成桩检测数据集【pile_v0.1】。
3. 模型训练
   • 使用YOLO算法在桩检测数据集上训练一个初步的桩检测模型【model_v0.1】。
4. 自监督训练
   • 使用训练好的模型对基于规则无法检测的图纸进行检测，将置信度较高的结果加入到训练集继续训练。

YOLOV8代码阅读

python-gRPC实战

前言

RPC：远程过程调用（Remote Procedure Call）的缩写，即在不同设备进行远程方法调用，隐藏了底层网络技术。随着微服务的兴起而兴起。

gRPC：谷歌开源的一套RPC框架，基于http2.0，采用protocol buffer的语法(检查proto)，通过proto语法可以定义好要调用的方法、和参数以及响应格式，可以很方便地完成远程方法调用，而且非常利于扩展和更新参数。

优化器算法

[TOC]

0. 基础

1. 导入

1

import torch.optim as optim

2. 常用的优化器

• SGD/Momentum SGD
• Adam/AdamW
• AdaGrad
• RMS prop

PyTorch 常用的学习率调整策略 [lr_scheduler]

[TOC]

参考地址：https://zhuanlan.zhihu.com/p/538447997

官方文档：https://pytorch.org/docs/stable/optim.html#how-to-adjust-learning-rate

0. 基础

导入

1

from torch.optim import lr_scheduler

常用的学习率策略

• StepLR
• LambdaLR

基础代码

1
2
3
4
5
6
7
8
9
10

import torch
import numpy as np
from torch.optim import SGD
from torch.optim import lr_scheduler
from torch.nn.parameter import Parameter

# 随机创建一组模型参数
model = [Parameter(torch.randn(2, 2, requires_grad=True))]
# 使用SGD优化器，学习率设为0.1
optimizer = SGD(model, lr=0.1)