生存分析旨在预测某个感兴趣事件发生前的延续等待时间, 已广泛应用于临床治疗中患者的生存状态分析. 然而, 受限于研究代价高昂和环境因素的影响, 现有的生存分析方法不可避免地面临着高维小样本挑战以及复杂环境所引起的噪声敏感等问题. 为了克服上述缺陷, 本文提出一类噪声容错弱监督直推式矩阵补全(Weakly supervised transductive matrix completion, WSTMC)生存分析方法. 该方法首先将生存分析问题建模为多任务直推式矩阵补全模型, 然后引入高斯混合分布拟合真实数据中的复杂噪声以减轻模型的噪声敏感性, 同时设计了一类多任务直推式特征选择机制来缓解高维小样本所带来的过拟合缺陷. 此外, 设计了一类有效的拟期望最大化优化算法用于求解所提出的WSTMC模型. 最后, 5个微阵列基因表达数据集上的实验结果证实了所提出的WSTMC模型优于当前广泛使用的18种生存分析方法.

作为现代统计学的一个重要分支, 生存分析旨在建模某个感兴趣事件的发生时间. 这些感兴趣事件通常包括临床治疗中患者的生存时间、 机械系统中故障的发生时间以及客户行为分析中用户的购买时间等. 当前, 训练数据缺乏和数据质量不高是生存分析研究面临的两个重要挑战. 一方面, 由于数据采集的代价高昂, 收集到的样本数量往往偏少(这一点在医学领域表现尤为突出), 如果再考虑到一些应用领域实例所具有的内在高维特性, 那么生存分析问题往往就是一个典型的高维小样本问题. 另一方面, 由于观测周期有限以及研究对象失访等原因, 收集到的数据中还不可避免地存在一些删失实例, 也就是说这些实例的感兴趣事件没有在观测周期内发生或者由于跟踪轨迹失效等原因未被观测到. 特别地, 为描述方便, 对于那些已经观察到感兴趣事件发生的实例, 本文将其感兴趣事件的发生时间称为生存时间, 相应的实例称为未删失实例. 而对于其他未观察到感兴趣事件发生的实例, 本文将该实例所耗的观测时间称为删失时间, 相应的实例称为删失实例. 通常右删失是实际应用中最常见的情形, 即删失实例的实际生存时间大于或者等于删失时间. 因此, 不失一般性, 本文将生存分析的研究对象限定为右删失实例.

传统的回归分析模型通常只能将未删失实例作为训练数据, 而未删失实例数量的明显不足很容易导致模型的过拟合, 而另一方面删失实例的合理利用则有助于改善生存分析模型的泛化性能. 因此, 一般不采用传统的回归模型来处理生存分析问题. Cox比例风险模型和参数删失回归模型是生存分析中两类应用最为广泛的模型. 但是, 这两类方法均存在较为严重的缺陷, 所以预测效果并不是很理想. 具体地, Cox模型是建立在比例风险假设上的生存分析模型, 其假设实例之间的风险比是常数. 因此导致所有实例的生存曲线将呈现相似的形状. 显然, 这种假设在实际应用中是过于严格的, 并且如果数据中存在具有相同生存时间的实例时, Cox模型还需使用一些近似的方法来处理数据, 这有可能会带来导入偏差(Inducing bias). 另一方面, 参数删失回归模型的预测性能高度依赖于生存时间分布假设的选取. 然而, 在实际应用中, 存在很多影响感兴趣事件发生的因素, 因此很难选择出一个合适的理论分布.

近年来, 随着机器学习理论在各个领域的出色表现, 研究人员开始引入机器学习方法来研究生存分析问题. 相较于传统的生存分析模型, 机器学习能够从有限的数据中学习到更多的信息, 例如数据特征的分布规律及实例特征的抽象表示, 同时还具有出色的函数拟合能力. 尤其是机器学习中的多任务学习方法, 能够帮助模型学习到多个任务之间的共享判别特征, 从而提高模型的泛化能力, 降低新实例的预测错误率. 例如, Li等创新性地将生存分析问题建模成预测各个时间间隔生存状态的多任务问题, 并通过对所设计的线性预测器施加ℓ_2,1范数正则化, 不仅可以筛选出具有跨任务判别能力的共享特征, 还可以缓解高维小样本问题所带来的过拟合缺陷, 他们所提出的MTLSA/ MTLSA.V2模型在生存分析问题上取得了很好的效果. 但是, 这些多任务学习方法依然存在一些缺陷, 即这些模型均未考虑到数据中可能存在的复杂噪声所带来的影响.

为了克服上述缺陷, 本文提出一类噪声容错弱监督直推式矩阵补全模型(Weakly supervised transductive matrix completion, WSTMC)来预测删失实例和新实例的生存时间. 具体地, 基于实例特征潜在的低秩属性, 本文首先将生存分析问题建模为一类多任务直推式矩阵补全(Multi-task transductive matrix completion, MTMC)模型. 受益于直推式学习机制, 该模型不仅可以利用删失实例作为有限训练样本(非删失实例)的有效补充, 而且可以在训练阶段同时探索测试样本和训练样本的特征分布, 从而提高模型在测试样本上的泛化能力. 其次, 为了克服MTMC模型的噪声敏感性, 本文引入混合高斯分布(Mixture of Gaussians distribution, MoG)来拟合实际应用中的未知噪声类型, 其动机在于MoG理论上可以拟合任意连续分布. 进一步, 为了缓解实际应用中高维小样本所带来的过拟合缺陷, 我们设计了一类新颖的多任务直推式特征选择机制, 以期所提出的模型能在去噪后的特征空间自适应地选择出跨任务的共享判别特征, 从而进一步增强模型的泛化能力. 同时, 我们还引入了相邻时间间隔生存状态的先验时序稳定性来指导模型生成软类别标记. 此外, 我们也设计了一类拟期望最大化迭代优化算法来求解所提出的WSTMC模型. 针对该模型所涉及的多个超参数, 我们采用了贝叶斯优化方法来自适应地进行选择. 最后, 5个真实数据集上的实验结果验证了所提出的WSTMC模型优于当前广泛使用的4类18种生存分析方法.

本文结构安排如下: 第1节对相关工作进行讨论; 第2节介绍一些数学基础及矩阵补全预备知识; 第3节为本文主要部分, 详细阐述了所提出的噪声容错弱监督直推式矩阵补全(WSTMC)模型及相应的优化算法; 第4节是实验部分, 首先介绍了实验数据集和所采用的性能评价指标, 接着阐述了实验方法和对比模型, 最后分析了实验结果; 第5节对本文研究内容进行了总结与展望.

[1]  刘慧婷, 冷新杨, 王利利, 赵鹏. 联合嵌入式多标签分类算法. 自动化学报, 2019, 45(10): 1969-1982. doi: 10.16383/j.aas.c180087

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180087?viewType=HTML

[2]   练秋生, 富利鹏, 陈书贞, 石保顺. 基于多尺度残差网络的压缩感知重构算法. 自动化学报, 2019, 45(11): 2082-2091. doi: 10.16383/j.aas.c170546

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c170546?viewType=HTML

[3]  王传云, 秦世引. 动态场景红外图像的压缩感知域高斯混合背景建模. 自动化学报, 2018, 44(7): 1212-1226. doi: 10.16383/j.aas.2017.c170061

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2017.c170061?viewType=HTML

[4]  刘洲洲, 李士宁, 王皓, 张倩昀. 联合弹性碰撞与梯度追踪的WSNs压缩感知重构. 自动化学报, 2020, 46(1): 178-192. doi: 10.16383/j.aas.c170241

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c170241?viewType=HTML

[5]  牟永强, 范宝杰, 孙超, 严蕤, 郭怡适. 面向精准价格牌识别的多任务循环神经网络. 自动化学报, 2022, 48(2): 608-614. doi: 10.16383/j.aas.c190633

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190633?viewType=HTML

[6]  李勇, 李坤成, 孙柏青, 张秋豪, 王义娜, 杨俊友. 智能体Petri网融合的多机器人−多任务协调框架. 自动化学报, 2021, 47(8): 2029-2049. doi: 10.16383/j.aas.c190400

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190400?viewType=HTML

[7]  刘子昂, 蒋雪, 伍冬睿. 基于池的无监督线性回归主动学习. 自动化学报, 2021, 47(12): 2771-2783. doi: 10.16383/j.aas.c200071

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200071?viewType=HTML

[8]  盖杉, 鲍中运. 基于深度学习的高噪声图像去噪算法. 自动化学报, 2020, 46(12): 2672-2680. doi: 10.16383/j.aas.c180271

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180271?viewType=HTML

[9]  田娟秀, 刘国才, 谷珊珊, 鞠忠建, 刘劲光, 顾冬冬. 医学图像分析深度学习方法研究与挑战. 自动化学报, 2018, 44(3): 401-424. doi: 10.16383/j.aas.2018.c170153

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170153?viewType=HTML

[10]  黄丹丹, 孙怡. 基于判别性局部联合稀疏模型的多任务跟踪. 自动化学报, 2016, 42(3): 402-415. doi: 10.16383/j.aas.2016.c150416

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2016.c150416?viewType=HTML

[11]  张晨光, 张燕, 张夏欢. 最大规范化依赖性多标记半监督学习方法. 自动化学报, 2015, 41(9): 1577-1588. doi: 10.16383/j.aas.2015.c140893

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2015.c140893?viewType=HTML

[12]  沈媛媛, 严严, 王菡子. 有监督的距离度量学习算法研究进展. 自动化学报, 2014, 40(12): 2673-2686. doi: 10.3724/SP.J.1004.2014.02673

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2014.02673?viewType=HTML

[13]  吴玉香, 王聪. 基于确定学习的机器人任务空间自适应神经网络控制. 自动化学报, 2013, 39(6): 806-815. doi: 10.3724/SP.J.1004.2013.00806

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2013.00806?viewType=HTML

[14]  周志华. 基于分歧的半监督学习. 自动化学报, 2013, 39(11): 1871-1878. doi: 10.3724/SP.J.1004.2013.01871

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2013.01871?viewType=HTML

[15]  杜友田, 李谦, 周亚东, 吴陈鹤. 基于异质信息融合的网络图像半监督学习方法. 自动化学报, 2012, 38(12): 1923-1932. doi: 10.3724/SP.J.1004.2012.01923

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2012.01923?viewType=HTML

[16]  陈荣, 曹永锋, 孙洪. 基于主动学习和半监督学习的多类图像分类. 自动化学报, 2011, 37(8): 954-962. doi: 10.3724/SP.J.1004.2011.00954

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2011.00954?viewType=HTML

[17]  苏兆品, 蒋建国, 梁昌勇, 张国富. 一种基于P学习的分布式并行多任务分配算法. 自动化学报, 2011, 37(7): 865-872. doi: 10.3724/SP.J.1004.2011.00865

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2011.00865?viewType=HTML

[18]  李明, 杨艳屏, 占惠融. 基于局部聚类与图方法的半监督学习算法. 自动化学报, 2010, 36(12): 1655-1660. doi: 10.3724/SP.J.1004.2010.01655

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2010.01655?viewType=HTML

[19]  张晨光, 李玉鑑. 哈希图半监督学习方法及其在图像分割中的应用. 自动化学报, 2010, 36(11): 1527-1533. doi: 10.3724/SP.J.1004.2010.01527

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2010.01527?viewType=HTML

[20]  刘开第, 刘昕, 赵奇, 周少玲. 基于分类权与质心驱动的无监督学习算法. 自动化学报, 2009, 35(5): 526-531. doi: 10.3724/SP.J.1004.2009.00526

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2009.00526?viewType=HTML

[21]  蒋建国, 苏兆品, 齐美彬, 张国富. 基于强化学习的多任务联盟并行形成策略. 自动化学报, 2008, 34(3): 349-352. doi: 10.3724/SP.J.1004.2008.00349

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2008.00349?viewType=HTML

[22]  谢胜利, 田森平, 谢振东. 基于向量图分析的迭代学习控制新算法. 自动化学报, 2004, 30(2): 161-168.

http://www.aas.net.cn/cn/article/id/16183?viewType=HTML

[23]  费越, 汪力新, 戴汝为. 竞争监督学习法在集成型识别系统中的应用. 自动化学报, 1999, 25(3): 303-308.

http://www.aas.net.cn/cn/article/id/16726?viewType=HTML

[24]  洪继光. 灰度-梯度共生矩阵纹理分析方法. 自动化学报, 1984, 10(1): 22-25.

http://www.aas.net.cn/cn/article/id/15327?viewType=HTML