type
status
date
slug
summary
tags
category
icon
password
comments
读论文
7.27
ImageNet Classification with Deep Convolutional Neural Networks（AlexNet）
7.29
DeepResidual Learning for Image Recognition(ResNet)
网络不再拟合H(x)，转为拟合残差F（x）【H(x)-x】
1)若H(x)与x距离比较小，残差会比较小,拟合它更方便优化权重
2)避免梯度消失，反向传播中可以通过弯弧的连接（短路连接）直接传递到会更底层的网络
3)提升训练的稳定性，学习比较小的波动，提升优化效率
结构:
1）增加卷积核的数目
2）减少特征图的尺寸
3）全局平均池化
Attention is all you need
参见Transformer论文
A gentle introduction to artificial neural networks
感知机
mlp多层感知机
解决XOR问题
GNN图神经网络
稀疏点很多，所以采用邻接表
实现层内和层间节点间的信息传递：聚合
节点的特征不光看自己，还由其相邻元素的加权求和来决定
发生在层内的聚合叫池化（pooling）
GCN图卷积网络
在层间通过邻域聚合实现卷积特征提取
欢迎您在底部评论区留言，一起交流~
- 作者:于淼
- 链接:https://yumiao1.com/article/23a69159-6c5f-8062-bcf6-f36115610382
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
