任务感知变分对抗性主动学习（CVPR2021）

Abstract

最近对人工智能的两个有前景的研究方向
1. task-agnostic approach to select data points that are far from the current labeled pool
2. task-aware approach that relies on the perspective of task model.
前者没有利用任务相关的知识，而后者似乎没有得到很好的利用总体数据分布
提出了任务感知的 Task-Aware Variational Adversarial Active Learning（TA-VAAL），是任务不可知性的初代VAAL的改进，考虑了标签和未标记池，把学习任务损失松弛化，转化为用Rank Conditional GAN预测对任务损失的排序。
将主动学习先前工作中任务模型输出引导型的《Learning Loss for Active Learning》和数据引导型的《Variational Adversarial Active Learning》有效结合，提出了一种结合数据特征和任务学习效果驱动的一种可行的思路

Introduction

主动学习基于池的选择策略，即是在所有未标注数据集中选择一批最有价值的送去专家标注，新增加到已标注集合中，然后再在所有已标注数据集上训练下游任务模型（分类、分割等等）。
本文主要将近年来深度主动学习的方法分成了task-aware（任务可知）和task-agnostic（任务不可知）两种，两者的区别在于选择待标注样本时是否用到了任务的引导，如果使用了下游任务引导则时任务可知的，否则为任务不可知。
本文的动机是采用一种综合两种方式的主动学习算法，可以同时利用任务不可知方法把握标注和未标注数据的分布差异，同时兼容任务可知方法能够结合学习任务的目标引导，来选择待标注样本。
提出将损失预测模块的目标从准确的损失预测放宽为损失排名预测，仍然与任务直接相关。这种放松导致改变学习预测模块的损失，以去除排名的边缘，并增加排名损失。
提出任务感知型变分对抗主动学习(TA-VAAL)，通过排序条件生成对抗网络(RankCGAN)，将任何给定任务学习者(有或没有潜在空间)的归一化排名损失信息嵌入到VAAL的潜在空间上，重塑其潜在空间。这种方法比原来的学习损失方法具有更强的鲁棒性，特别是在早期阶段。通过将这两种算法与我们的嵌入策略相结合，我们的方法提供了识别困难和有影响的数据点的能力