[论文地址] [代码] [MICCAI 19]

Abstract

本研究调查了半监督CNN分割的课程式策略，它设计了一个回归网络来学习图像级信息，如目标区域的大小。这些回归被用来有效地规范分割网络，约束未标记图像的softmax预测，使其与推断的标签分布相匹配。我们的框架基于不等式约束，可以容忍推断出的知识中的不确定性，例如，回归的区域大小。它可以用于大量的区域属性。我们评估了我们的方法在磁共振图像(MRI)中的左心室分割，并将其与标准的基于建议的半监督策略相比较。我们的方法取得了有竞争力的结果，以更有效的方式利用了未标记的数据，并接近完全监督的性能。

Method

本文引入了一个额外的(分类)任务来辅助半监督学习，即做一种Dual-Task Consistency，具体流程如下：

可以看到整个框架有两个任务，一个是主任务，分割；另一个是辅助任务，回归。本文的一个亮点在于，这两个任务并不是同时协同训练的，而是有一个先后顺序，即所谓的课程学习Curriculum Learning。具体来说，首先利用有标注的图像训练一个回归网络，预测病灶的大小：min⁡θ~∑i∈S(R(Xi∣θ~)−∑p∈ΩYi,p)2\min _{\tilde{\boldsymbol{\theta}}} \sum_{i \in \mathcal{S}}\left(R\left(X_i \mid \tilde{\boldsymbol{\theta}}\right)-\sum_{p \in \Omega} Y_{i, p}\right)^2 θ~min​i∈S∑​⎝⎛​R(Xi​∣θ~)−p∈Ω∑​Yi,p​⎠⎞​2 再看基础的分割loss，如下，交叉熵损失：LY(θ)=−∑i∈S∑p∈ΩYi,plog⁡S(Xi∣θ)p\mathcal{L}_Y(\boldsymbol{\theta})=-\sum_{i \in \mathcal{S}} \sum_{p \in \Omega} Y_{i, p} \log S\left(X_i \mid \boldsymbol{\theta}\right)_p LY​(θ)=−i∈S∑​p∈Ω∑​Yi,p​logS(Xi​∣θ)p​ 现在，在有了一个额外的回归网络后，我们就可以对分割loss作出进一步的约束，即分割预测map的面积要与回归网络预测的病灶面积保持一致：s.t. ∀i∈U:(1−γ)R(Xi∣θ~)≤∑p∈ΩS(Xi∣θ)p≤(1+γ)R(Xi∣θ~)\begin{array}{ll} \text { s.t. } \quad \forall i \in \mathcal{U}:(1-\gamma) R\left(X_i \mid \tilde{\boldsymbol{\theta}}\right) \leq \sum_{p \in \Omega} S\left(X_i \mid \boldsymbol{\theta}\right)_p \leq(1+\gamma) R\left(X_i \mid \tilde{\boldsymbol{\theta}}\right) \end{array}  s.t. ∀i∈U:(1−γ)R(Xi​∣θ~)≤∑p∈Ω​S(Xi​∣θ)p​≤(1+γ)R(Xi​∣θ~)​ 由于分类任务比分割任务要简单，因此利用这一额外的约束可以指导分割网络产生更符合逻辑的结果。