遗世独立

摘要 图像分割将具有不同语义（如类别或实例成员关系）的像素分组，每种语义选择定义了一项任务。虽然各项任务仅在语义上有所不同，但当前研究主要集中于为每个任务设计专门的架构。我们提出了掩码注意力掩码变换器（Mask2Former），这是一种能够处理任何图像分割任务（全景、实例或语义）的新架构。其关键组件包括掩码注意力，它通过将交叉注意力约束在预测掩码区域内来提取局部特征。除了将研究工作量至少减少三倍外，它在四个流行数据集上显著优于最佳专用架构。最值得注意的是，Mask2Former 在全景分割（COCO 上的 57.8 PQ）、实例分割（COCO 上的 50.1 AP）和语义分割（ADE20K 上的 57.7 mIoU）方面设定了新的最先进水平。 1. 引言 图像分割研究像素分组问题。像素分组的不同语义，例如类别或实例成员关系，导致了不同类型的分割任务，如全景、实例或语义分割。虽然这些任务仅在语义上有所不同，但当前方法为每个任务开发专门的架构。基于全卷积网络（FCN）的逐像素分类架构用于语义分割，而预测一组与单个类别相关联的二进制掩码的掩码分类架构在实例级分割中占主导地位。尽管这些...

Inductive Representation Learning on Large Graphs

Rethinking Table Recognitionusing Graph Neural Networks 会议: ICDAR 2019 论文地址：https://arxiv.org/abs/1905.13391 github: https://github.com/shahrukhqasim/TIES-2.0 [TOC] 摘要 文档结构分析，例如区域分割和表格识别，是文档处理中的复杂问题，并且是一个活跃的研究领域。深度学习在解决各种计算机视觉和机器学习问题方面的近期成功尚未反映在文档结构分析中，因为传统的神经网络不适合该问题的输入结构。本文提出了一种基于图网络的架构作为标准神经网络更好的替代方案来识别表格。我们主张图网络对于这些问题是一种更自然的选择，并探索了两种基于梯度的图神经网络。我们的提出的架构结合了卷积神经网络用于视觉特征提取以及图网络用于处理问题结构的好处。我们在实验上证明，与基线相比，我们的方法具有显著的优势。此外，我们还指出大规模数据集缺乏是结构分析领域深度学习研究的主要障碍，并提出了一个针对表格识别的新大规模合成数据集。最后，我们开源了我们的数据生成和图网络...

图形注意力网络 会议: ICLR 2018 论文地址：https://paperswithcode.com/paper/graph-attention-networks github: https://github.com/PetarV-/GAT 开源库：PyG [TOC] 摘要 本文提出一种新的神经网络架构——图注意力网络（GAT），该网络可以处理具有图形结构的数据，并利用掩码自注意层来解决基于图卷积或其近似方法的先前方法的不足之处。通过将节点能够关注邻居特征的层堆叠起来，我们可以隐式地为邻居中的不同节点指定不同的权重，而无需进行任何昂贵的矩阵操作（如求逆）或依赖于事先知道图结构。这样，我们同时解决了谱基图神经网络模型的一些关键挑战，并使我们的模型适用于归纳和推断问题。实验结果表明，在四个已建立的归纳和推断图基准数据集上，GAT模型已经达到了或匹配了最先进的结果：Cora、Citeseer和Pubmed引用网络数据集以及一个蛋白质相互作用数据集（其中测试图在训练期间未被看到）。 1 简介 卷积神经网络（CNN）已成功应用于诸如图像分类，语义分割或机器翻译等问题，在这些问题中...

基于图卷积网络的半监督分类（GCN） 会议: ICLR 2017 论文地址：https://arxiv.org/abs/1609.02907 github: https://github.com/tkipf/pygcn [TOC] 摘要 本文提出了一种可扩展的方法来处理图结构数据上的半监督学习，该方法基于一种高效的卷积神经网络变体，它直接在图上操作。本文通过局部一阶近似谱图卷积，优化我们的卷积架构的选择。我们的模型与图中边的数量线性相关，并且可以学习编码了图的局部结构和节点特征的隐藏层表示。我们在引用网络和知识图数据库上的一系列实验中展示了我们的方法相比其他相关方法具有显著优势。 1 简介 我们考虑在图（如文献引用网络）中对节点（如文档）进行分类的问题，其中仅有一小部分节点有标签。这个问题可以被看作基于图的半监督学习，通过某种显式的基于图的正则化形式来平滑（迁移）标签信息到图中，例如，在损失函数中使用图拉普拉斯正则化项： 式中，$L_0 $ 表示与图中带标签部分相关的监督损失。f(⋅)f(·)f(⋅)可以是类似于神经网络的可微函数，λλλ 是一个权重因子，XXX 是节点特征...

Hierarchical Graph Pooling with Structure Learning 会议: AAAI 2020(疑似撤稿) 论文地址：https://arxiv.org/abs/1911.05954 github: https://github.com/cszhangzhen/HGP-SL DGL开源库：https://github.com/dmlc/dgl/tree/master/examples/pytorch/hgp_sl [TOC] 摘要 图神经网络 (GNN) 将深度神经网络扩展到图结构数据，在许多图相关任务中取得了最先进的性能。然而，现有的 GNN 模型主要关注设计图卷积操作。图池化 (或下采样) 操作在分层表示学习中发挥着重要作用，通常被忽视。在这篇论文中，我们提出了一种新的图池化操作符，称为具有结构学习的分层图池化 (HGP-SL)，它可以集成到各种图神经网络架构中。HGP-SL 将图池化和结构学习集成到一个统一的模块中，以生成图的分层表示。具体来说，图池化操作根据我们定义的节点信息分数自适应地选择一组节点来形成一个诱导子图，用于后续层。为了保留...

用于实例分割的路径聚合网络 会议: CVPR 2018 论文地址：https://arxiv.org/abs/1803.01534 github: https://github.com/ShuLiu1993/PANet [TOC] 摘要 信息在神经网络中的传播方式至关重要。本文提出了路径聚合网络 (PANet)，旨在提升基于候选框的实例分割框架中的信息流。具体来说，我们通过自底向上的路径增强，将低层中的精确定位信号引入整个特征层次，从而缩短了低层和顶层特征之间的信息路径。我们提出了自适应特征池化，将特征网格和所有特征级别连接起来，使每个特征级别中的有用信息可以直接传播到后续的候选框子网络中。我们创建了一个互补分支，用于捕获每个候选框的不同视角，从而进一步提高掩码预测的精度。这些改进易于实现，且计算开销微小。我们的 PANet 在 COCO 2017 挑战赛的实例分割任务中取得了第一名，并在没有使用大批次训练的情况下，在目标检测任务中取得了第二名。它也是 MVD 和 Cityscapes 上的最先进技术。代码地址: https://github.com/ShuLiu1993/PAN...

桩检测算法 总体流程 基于规则的桩检测 采用基于规则的方法检测桩，检测时不区分桩类别。这一步保证绝对的准确率（100%），较高的召回率（>60%）。 生成桩检测数据集 使用规则检测的结果作为标注生成桩检测数据集【pile_v0.1】。 模型训练 使用YOLO算法在桩检测数据集上训练一个初步的桩检测模型【model_v0.1】。 自监督训练 使用训练好的模型对基于规则无法检测的图纸进行检测，将置信度较高的结果加入到训练集继续训练。 基于规则的桩检测 过滤干扰线 长度 < 1500 直径 < 1500 面积 < 1500×1500 只保留直线，多段线，圆，椭圆，圆弧，实体，填充 桩检测 将去除干扰线后的实体导出图像求连通域 在每个连通域内进行桩检测，提高效率 圆检测：圆实体，多段线实体（只包含曲线，且构成360度），圆弧实体（构成360度），椭圆实体（长轴=短轴） 矩形检测：基于最近邻算法，遍历直线和它最近邻的直线是否组成矩形 交叉线检测：基于扫描线算法检测线是否交叉，判断交点是否在上述圆或矩形中心附近 填充检测：检...

YOLOV8代码阅读 YOLO 训练参数 官网地址：训练参数 Argument Default Description model None Specifies the model file for training. Accepts a path to either a .pt pretrained model or a .yaml configuration file. Essential for defining the model structure or initializing weights. data None Path to the dataset configuration file (e.g., coco8.yaml). This file contains dataset-specific parameters, including paths to training and validation data, class names, and number of classes. epochs 100 Total number of...

python-gRPC实战 前言 RPC：远程过程调用（Remote Procedure Call）的缩写，即在不同设备进行远程方法调用，隐藏了底层网络技术。随着微服务的兴起而兴起。 gRPC：谷歌开源的一套RPC框架，基于http2.0，采用protocol buffer的语法(检查proto)，通过proto语法可以定义好要调用的方法、和参数以及响应格式，可以很方便地完成远程方法调用，而且非常利于扩展和更新参数。 环境配置 1234conda create -n test python=3.8conda activate testpip install grpcio -i https://pypi.tuna.tsinghua.edu.cn/simplepip install grpcio-tools -i https://pypi.tuna.tsinghua.edu.cn/simple 编译配置 1234567# 编译 proto 文件python -m grpc_tools.protoc --python_out=. --grpc_python_out=. -I. ...