Graph Attention Networks
图形注意力网络 会议: ICLR 2018 论文地址:https://paperswithcode.com/paper/graph-attention-networks github: https://github.com/PetarV-/GAT 开源库:PyG [TOC] 摘要 本文提出一种新的神经网络架构——图注意力网络(GAT),该网络可以处理具有图形结构的数据,并利用掩码自注意层来解决基于图卷积或其近似方法的先前方法的不足之处。通过将节点能够关注邻居特征的层堆叠起来,我们可以隐式地为邻居中的不同节点指定不同的权重,而无需进行任何昂贵的矩阵操作(如求逆)或依赖于事先知道图结构。这样,我们同时解决了谱基图神经网络模型的一些关键挑战,并使我们的模型适用于归纳和推断问题。实验结果表明,在四个已建立的归纳和推断图基准数据集上,GAT模型已经达到了或匹配了最先进的结果:Cora、Citeseer和Pubmed引用网络数据集以及一个蛋白质相互作用数据集(其中测试图在训练期间未被看到)。 1 简介 卷积神经网络(CNN)已成功应用于诸如图像分类,语义分割或机器翻译等问题,在这些问题中...
Semi-Supervised Classification with Graph Convolutional Networks
基于图卷积网络的半监督分类(GCN) 会议: ICLR 2017 论文地址:https://arxiv.org/abs/1609.02907 github: https://github.com/tkipf/pygcn [TOC] 摘要 本文提出了一种可扩展的方法来处理图结构数据上的半监督学习,该方法基于一种高效的卷积神经网络变体,它直接在图上操作。本文通过局部一阶近似谱图卷积,优化我们的卷积架构的选择。我们的模型与图中边的数量线性相关,并且可以学习编码了图的局部结构和节点特征的隐藏层表示。我们在引用网络和知识图数据库上的一系列实验中展示了我们的方法相比其他相关方法具有显著优势。 1 简介 我们考虑在图(如文献引用网络)中对节点(如文档)进行分类的问题,其中仅有一小部分节点有标签。这个问题可以被看作基于图的半监督学习,通过某种显式的基于图的正则化形式来平滑(迁移)标签信息到图中,例如,在损失函数中使用图拉普拉斯正则化项: 式中,$L_0 $ 表示与图中带标签部分相关的监督损失。f(⋅)f(·)f(⋅)可以是类似于神经网络的可微函数,λλλ 是一个权重因子,XXX 是节点特征...
Hierarchical Graph Pooling with Structure Learning
Hierarchical Graph Pooling with Structure Learning 会议: AAAI 2020(疑似撤稿) 论文地址:https://arxiv.org/abs/1911.05954 github: https://github.com/cszhangzhen/HGP-SL DGL开源库:https://github.com/dmlc/dgl/tree/master/examples/pytorch/hgp_sl [TOC] 摘要 图神经网络 (GNN) 将深度神经网络扩展到图结构数据,在许多图相关任务中取得了最先进的性能。然而,现有的 GNN 模型主要关注设计图卷积操作。图池化 (或下采样) 操作在分层表示学习中发挥着重要作用,通常被忽视。在这篇论文中,我们提出了一种新的图池化操作符,称为具有结构学习的分层图池化 (HGP-SL),它可以集成到各种图神经网络架构中。HGP-SL 将图池化和结构学习集成到一个统一的模块中,以生成图的分层表示。具体来说,图池化操作根据我们定义的节点信息分数自适应地选择一组节点来形成一个诱导子图,用于后续层。为了保留...
Path Aggregation Network for Instance Segmentation
用于实例分割的路径聚合网络 会议: CVPR 2018 论文地址:https://arxiv.org/abs/1803.01534 github: https://github.com/ShuLiu1993/PANet [TOC] 摘要 信息在神经网络中的传播方式至关重要。本文提出了路径聚合网络 (PANet),旨在提升基于候选框的实例分割框架中的信息流。具体来说,我们通过自底向上的路径增强,将低层中的精确定位信号引入整个特征层次,从而缩短了低层和顶层特征之间的信息路径。我们提出了自适应特征池化,将特征网格和所有特征级别连接起来,使每个特征级别中的有用信息可以直接传播到后续的候选框子网络中。我们创建了一个互补分支,用于捕获每个候选框的不同视角,从而进一步提高掩码预测的精度。这些改进易于实现,且计算开销微小。我们的 PANet 在 COCO 2017 挑战赛的实例分割任务中取得了第一名,并在没有使用大批次训练的情况下,在目标检测任务中取得了第二名。它也是 MVD 和 Cityscapes 上的最先进技术。代码地址: https://github.com/ShuLiu1993/PAN...
桩检测算法-自监督学习
桩检测算法 总体流程 基于规则的桩检测 采用基于规则的方法检测桩,检测时不区分桩类别。这一步保证绝对的准确率(100%),较高的召回率(>60%)。 生成桩检测数据集 使用规则检测的结果作为标注生成桩检测数据集【pile_v0.1】。 模型训练 使用YOLO算法在桩检测数据集上训练一个初步的桩检测模型【model_v0.1】。 自监督训练 使用训练好的模型对基于规则无法检测的图纸进行检测,将置信度较高的结果加入到训练集继续训练。 基于规则的桩检测 过滤干扰线 长度 < 1500 直径 < 1500 面积 < 1500×1500 只保留直线,多段线,圆,椭圆,圆弧,实体,填充 桩检测 将去除干扰线后的实体导出图像求连通域 在每个连通域内进行桩检测,提高效率 圆检测:圆实体,多段线实体(只包含曲线,且构成360度),圆弧实体(构成360度),椭圆实体(长轴=短轴) 矩形检测:基于最近邻算法,遍历直线和它最近邻的直线是否组成矩形 交叉线检测:基于扫描线算法检测线是否交叉,判断交点是否在上述圆或矩形中心附近 填充检测:检...
YOLOV8代码阅读
YOLOV8代码阅读 YOLO 训练参数 官网地址:训练参数 Argument Default Description model None Specifies the model file for training. Accepts a path to either a .pt pretrained model or a .yaml configuration file. Essential for defining the model structure or initializing weights. data None Path to the dataset configuration file (e.g., coco8.yaml). This file contains dataset-specific parameters, including paths to training and validation data, class names, and number of classes. epochs 100 Total number of...
python-gRPC实战
python-gRPC实战 前言 RPC:远程过程调用(Remote Procedure Call)的缩写,即在不同设备进行远程方法调用,隐藏了底层网络技术。随着微服务的兴起而兴起。 gRPC:谷歌开源的一套RPC框架,基于http2.0,采用protocol buffer的语法(检查proto),通过proto语法可以定义好要调用的方法、和参数以及响应格式,可以很方便地完成远程方法调用,而且非常利于扩展和更新参数。 环境配置 1234conda create -n test python=3.8conda activate testpip install grpcio -i https://pypi.tuna.tsinghua.edu.cn/simplepip install grpcio-tools -i https://pypi.tuna.tsinghua.edu.cn/simple 编译配置 1234567# 编译 proto 文件python -m grpc_tools.protoc --python_out=. --grpc_python_out=. -I. ...
pytorch-常用优化器
[TOC] 0. 基础 1. 导入 1import torch.optim as optim 2. 常用的优化器 SGD/Momentum SGD Adam/AdamW AdaGrad RMS prop 3. 使用框架 生成优化器 1234import torch.optim as optimoptimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9)optimizer = optim.Adam([var1, var2], lr=0.0001) 同一个模型定义不同的优化器 1234567891011121314import torchimport torch.optim as optim# params可以用字典传参,给不同的参数赋值不同的学习率optim.SGD([{'params': model.base.parameters(), 'lr': 1e-2}, {'params': mo...
pytorch 常用的学习率调整策略
[TOC] 参考地址:https://zhuanlan.zhihu.com/p/538447997 官方文档:https://pytorch.org/docs/stable/optim.html#how-to-adjust-learning-rate 0. 基础 导入 1from torch.optim import lr_scheduler 常用的学习率策略 StepLR LambdaLR 基础代码 12345678910import torchimport numpy as npfrom torch.optim import SGDfrom torch.optim import lr_schedulerfrom torch.nn.parameter import Parameter# 随机创建一组模型参数model = [Parameter(torch.randn(2, 2, requires_grad=True))]# 使用SGD优化器,学习率设为0.1optimizer = SGD(model, lr=0.1) 1. StepLR 最简单且最常用的学习率调整方法,每...
希腊字母、拉丁字母、Markdown、拼写与读音中英对照表
大写 小写 中文名 英文 英语音标注音 大写Markdown 小写Markdown 意义 A\AlphaA α\alphaα 阿尔法 Alpha /'ælfə/ \Alpha \alpha 角度、系数、角加速度、第一个、电离度、转化率 B\BetaB β\betaβ 贝塔/毕塔 Beta /'bi:tə/ 或 /'beɪtə/ \Beta \beta 磁通系数、角度、系数 Γ\GammaΓ γ\gammaγ 伽玛/甘玛 Gamma /'gæmə/ \Gamma \gamma 电导系数(小写)、角度、比热容比 Δ\DeltaΔ δ\deltaδ 德尔塔/岱欧塔 Delta /'deltə/ \Delta \delta 变化量、焓变、熵变、屈光度、变动、方程判别式(大写)、允许误差(小写,统计学) E\EpsilonE ϵ\epsilonϵ ε\varepsilonε 伊普西隆/埃普斯棱 Epsilon /'epsɪlɒn/ \Epsilon \epsilon \varepsilon 对数之基数、介电常数 Z\ZetaZ ζ\zetaζ 泽塔/Z塔 ...
