题目：Deep Fusion Siamese Network for Automatic Kinship Verification

说明：2020年RFIW挑战赛1-1认证季军，2-1冠军

代码：

摘要：1.针对1-1血缘认证提出深度孪生网络：首先，用孪生网络提取输入图像的特征，并将特征进行融合后串联，然后，输入全连接网络以获得两张人脸的相似度得分，为提升性能采用陪审系统（jury system）进行多模融合；2.针对2-1的三元组学院认证（父母-孩子）问题，提出深度三元组网络：对FC（father-child）和MC(Mother-child)相似度得分加权后生成 PC（parent-child）相似度得分从而实现血缘认证。

A 深度孪生网络 Deep siamese network

   网络结构如图4所示，采用在VGGFace2上预训练的ResNet50或SENet50作为backbone,提取出的特征进行融合及串联后输入全连接网络，得到2张图像的相似度得分。设置阈值t，即根据式1可得到最终的预测输出：有血缘关系or无学院关系.

采用预测准确度（式2）度量算法性能：

最终通过加权和计算整体的准确度（根据每种关系的样本对数进行加权）。

B 特征融合 Feature Fusion

  特征融合目的是进一步深度孪生网络的非线性能力，其本质是对两个输入的人脸特征进行抽象编码以利于全连接网络更好的学习相似度矩阵。设x,y分别表示提取到的人脸特征，本文有5中不同的特征融合方式（如下图），其中表示连接，图4展示了具体的融合过程。

后续的全连接层fc1为128维，fc为1维，对fc1的输出采用sigmoid函数激活即可获得相似度得分。

C. 损失函数

     介绍了两种损失函数BCE和focal loss，后续通过实验选择性能好的损失函数

BCE:交叉熵损失函数如式3所示，其中y表示实际标签（0或1），p表示预测值（激活函数的输出）

Focal Loss:可缓解正负样本数（还是难易样本数？有待进一步考究）不均衡问题。

当a=0.5时，两个损失一样。

D. 陪审系统 Jury System

从不同配置（如骨干网络、损失、特征融合）的模型中获益，采用陪审制度用于多模型融合。本文选用性能最好的单模型作为主要模型，选用其他几个性能优异模型作为辅助模型。设置3个阈值：低值0.1、中间值0.3和高值0.5.具体流程如算法1所示：

E：深度三元组网络 deep Triplet Network

如图5所示，结构图为3支路结构（不共享权重）分别提取父亲母亲和孩子的特征，同样采用在VGGFace2上预训练的ResNet50或SENet50作为backbone,孩子特征分别与父母特征融合，然后将融合后的特征输入全连接网络获得相似的得分，Sfc和Smc，将两个相似度加权求和获得最终的PC相似度，如式7所示。最后设置阈值t判断是否有血缘关系。

实验

实验数据分布如表1，在训练集中同时构造同等数量的负样本对，选用Adam优化器优化，学习率设置为0.001，mini-batch=32，epoch=60，利用Keras。

深度孪生网络消融实验和陪审制效果分别如表2和表3所示

量化评估如下2表所示分别排行第3和第1

=================================================================

网络结构和原理十分简单，实现也很简单（Keras即可实现），感觉在网络上中加入特征融合进一步提升非线性能力的思想很不错。