热乎的Medical Segmentation 综述

• • 1 文章介绍
  • 2 前言
  • 3 U-Net变型
  • 4 Skip Connection Enhancements
  • • 4.1 Increasing the Number of Skip Connections
    • 4.2 Processing Feature Maps within the Skip Connections
    • 4.3 Combination of Encoder and Decoder Feature Maps
  • 5 Backbone Design Enhancements
  • • 5.1 Residual Backbone
    • 5.2 Multi-Resolution blocks
    • 5.3Re-considering Convolution
  • 其他综述

想看文章，请先看这里，哈哈，菜鸡记录，继续努力！！

这篇综述，应该是我之后看的Medical Segmentation倒数第二篇综述了，最后一篇应该是专门介绍Transformer在Medical Segmentation中的应用；这篇文章太长了，不好消化，很难写好，准备后期有一定量的知识储备再来写，同时，在写blog中，我也看到了不同的很多综述文章，发现，综述虽好，可不要贪杯哦，文末给出了三篇综述blog，可以稍微看看，我准备最近先码码代码，后期有时间再来补这篇博客！！

1 文章介绍

论文地址：https://arxiv.org/abs/2211.14830
代码地址：https://github.com/NITR098/Awesome-U-Net

2 前言

文章第一部分是介绍了医学图像分割的重要性，第二部分是分别介绍了2D-UNet和3D-UNet的发展史和意义；文章重点在第三部分和第四部分，第三部介绍了U-Net的六个部分的改进，第四部分是介绍了主要模型的全部实施过程，第五部分，介绍了医学图像分割的未来发展方向和困难点。

3 U-Net变型

文章主要从六个部分介绍了截至2022年9月，高引用文章的模型改进方法，分为：

1. Skip Connection Enhancements；
2. Backbone Design Enhancements；
3. Bottleneck Enhancements；
4. Transformers；
5. Rich Representation Enhancements；
6. Probabilistic Design。
   具体参考的模型如下图：
   
   同时，文章也介绍了在医学图像分析和临床使用中的详细概述，在论文中讨论了U-Nets如何参与临床决策的说明：分为四个部分，第一个块处理图像采集、准备和预处理步骤，以为深度神经网络提供通用格式的数据。第二步使用神经架构搜索算法为手头的任务找到一个有效的架构，而第三步旨在执行后置操作，以进一步完善网络输出。最后，应用程序块使用软件输出来辅助专家进行某些操作(例如，肿瘤生长监测），具体步骤如下图：
   

4 Skip Connection Enhancements

跳跃链接作为U-Net连接对应层相同尺度特征图来缓解特征丢失的重要手段，在整个U-Net网络中起着非常关键的作用，因此这一部分，文章重点介绍针对跳连接的模型优化研究综述：

4.1 Increasing the Number of Skip Connections

第一种方法是通过增加跳跃连接的数量来提升U-Net的分割效果，那如何增加连接数量呢？
原本准备继续写下去的，但是文章中提到的模型非常之多，而给出的解释却不多，很难总结出模型的精髓，因此决定罢笔，不继续写下去，文章的结构很简单，就是按照思维导图上的写下去的，大家可以按照思维导图的介绍，对相关模型感兴趣，就搜索具体模型的相关博客学习，以下我就写一些自己从来没听过的网络，增加以下映像！
省略U-Net ++, U-Net 3+,介绍双向O网网络（Bi-directional O-Shape network，BiO-Net）， 结构图如下：

前向跳跃链接就是原始的U-Net链接，向后跳跃链接将解码的高级特征从解码器传递回同一级别的编码器。然后，编码器可以将语义解码器的特征与其原始输入结合起来，并灵活地聚合这两种类型的特征。
优点： 进一步提升了网络的学习能力，同时没有添加额外的层，因此没有添加额外的参数量；
缺点： 使用递归结构，会增加网络的训练时间；

4.2 Processing Feature Maps within the Skip Connections

上面是添加跳跃链接数量，这里是在跳跃链接中做文章，一般是添加Attention模块；
省略Attention U-Net和Attention U-Net++（这两个简单，可以找相关的博客看一下），RA-UNet和Attention UNet较为相似吧，这个残差是没有太弄明白，Projiective Skip-Connection，是将不同维度的数据进行转换，常用于3D图像转为2D图像；

4.3 Combination of Encoder and Decoder Feature Maps

将双向卷积长短期记忆(LSTM)引入到了跳跃链接中，这个我没接触过，这是NLP中的内容啊，巨佬们就是跨界大神，叹为观止！

5 Backbone Design Enhancements

基础U-Net的网络结构中，主干骨架，就是每一个Block，是由两个卷积层加上一个ReLU激活函数；

5.1 Residual Backbone

文章中这个部分主要介绍了三个模型，分别是Res U-Net，V-Net(3D图像和提出了Dice Loss)，H-Dense U-Net ，这里不介绍，有需要可以找相关博客看！

5.2 Multi-Resolution blocks

文章重点介绍了使用Inception加入到U-Net中增加网络学习不同分辨率图像特征；
不写了，不写了，实在写不下去了，太多的超出了我的知识储备，以后学到了再来填坑！！

5.3Re-considering Convolution

停笔，不写了，下次有一大段时间的时候再来写，实在写不下去了，太长了，需要消化很长时间！

其他综述

U-Net 模型改进和应用场景研究性综述
医学图像分割U-Net网络应用综述
医学图像分割U-Net网络应用综述