Constrained Joint CRF for Simultaneous FAUR and FLD

\documentclass{article} %article文章

%\documentclass[journal]{IEEEtran}

\usepackage{cTex} %使用中文字符

\usepackage{amsmath} %使用数学公式

\usepackage{amssymb}

%\usepackage[colorlinks]{hyperref} %超级链接宏包

\usepackage[pagebackref,colorlinks]{hyperref} %超级链接宏包

\usepackage[top=1in,bottom=1in,left=1.25in,right=1.25in]{geometry} %设置也边距

\usepackage{caption}

\usepackage[ruled,vlined]{algorithm2e}%算法

\renewcommand{\algorithmcfname}{算法} %%将算法的标题：从Algorithm 1 到 算法1.

%%===设置参考文献===

\renewcommand{\refname}{参考文献}

%%==图片序号与标题之间的冒号改为空格，将图片序号中的”Fig”改为”图“

\captionsetup[figure]{labelsep=space}

%%==设置字体===

\newcommand{\wuhao}{\fontsize{10.5pt}{\baselineskip}\selectfont} %五号

\newcommand{\liuhao}{\fontsize{7.875pt}{\baselineskip}\selectfont} %六号

\setmainfont{Times New Roman} % 全局西文用 Times New Roman 字体

\setCJKmainfont{SimSun} % 全局中文用 Adobe Song Std 字体

\title{Constrained Joint CRF for Simultaneous FAUR and FLD}

\date{}

\renewcommand \figurename {\liuhao 图}

\begin{document}

\maketitle

\section*{摘要}

我们提出了一个有约束的联合级联框架,其可以同时实现面部运动单元的检测和面部基准点的定位。这两个是相互关联的人脸分析任务，但是很少利用在一起。\

思路：我们先学习面部运动单元和人脸形状的关系，作为一个约束。然后，在提出的有约束的联合级联框架中，利用这个约束，我们迭代的更新基准点的位置和运动单元活动的概率，直到收敛。

\section{简介}

FACS系统和面部单元提供了面部肌肉运动和面部运动的客观度量。

级联回归框架已经表明是一种有效的人脸对齐方法。算法开始一个初始的形状模型(例如平均人脸)，基于局部表观特征，迭代地更新基准点的位置，直到收敛。

\begin{figure}[htbp]

\centering

\includegraphics[width=0.5\textwidth]{figure1.png}

\caption{\liuhao flow chart} %captions不采用自动编号

\label{fg:001}

\end{figure}

图\ref{fg:001}：首先，在级联回归训练之前，我们学习面部形状和面部单元作为一个约束。其次，在由约束的级联回归框架中，利用这个约束，我们迭代更新基准点的位置和运动单位活动的概率。当更新基准点的位置时，我们使用局部表观信息和当前估计的运动单元活动的概率，和预先训练的约束(捕捉AUs和人脸形状的相互关系)。当更新运动单元活动的概率时，我们使用局部表观信息，当前估计的基准点的位置和预先训练的约束(捕捉AUs和人脸形状的相互关系)。这样基准点的检测和AU 估计相互作用达到收敛。\

{\color{red}{提出方法的主要贡献如下}}：

\begin{itemize}

\item{} \textbf{联合级联回归框架:}我们改进了有效的级联回归框架，并且提出了有约束的联合级联回归框架(CJCRF，Constrianed jointly performs facial landmark detection).CJCRF 同时执行人脸基准点定位和面部运动单元的识别，与现有的方法(即分开的估计基准点和面部运动单元)相比较，该方法是新奇的。

\item{} \textbf{约束:}CJCRF明确地利用了面部运动单元和人脸形状之间的关系，作为一个约束，来提升人脸运动单元识别和面部基准点检测的性能。此外，AU关系和人脸形状模式嵌入在了这个约束中。

\item{}\textbf{实验:}实验表明，与最高水平的工作相比，联合级联回归框架同时促进人脸运动单元识别和面部基准点定位的性能。

\end{itemize}

\section{相关工作}

\subsection{人脸基准点检测}

面部基准点检测算法可以分为三种类型：整体方法，局部有约束的方法，基于回归的方法。基于回归的方法又可分为：直接映射的方法和级联回归方法。直接映射的方法是将图像的表观映射到绝对基准点位置。级联回归方法从初始形状出发，利用当前预测的基准点位置处的表观信息迭代的更新形状，直到收敛。基于回归的方法一般不同之处在于选择的特征和回归的模型。例如{\cite{ref-01}}中，使用SIFT特征和线性回归模型。\cite{ref-02} 中使用回归树模型学习的LBF和线性回归模型来预测基准点的位置。

\subsection{人脸运动单元的识别}

面部运动单元识别算法通常在于\textcolor[rgb]{0.00,0.00,1.00}{特征}或者\textcolor[rgb]{0.00,0.00,1.00}{分类器设计}的改进。特征可以分为表观特征和形状特征。流行的表观特征有：LBP,LGBP(Local Gabor Binary Pattern),DCT(Discrete Cosine Transform)。形状的特征如：基准点的绝对位置，两个基准点之间的距离，和三个点定义的角度。与独立的AU识别方法相比，带有AU关系或者动态依赖的方法通常达到更好的性能。例如：文献\cite{ref-03} 中，将AU 关系嵌入到Multi-conditional Latent Variable Model(MC-LVM). 文献\cite{ref-04}，通过Hierarchical Restricted Boltzmann Machine(HRBM)模型对全局的AU关系进行建模。文献\cite{ref-05}中，将联合的AU 识别任务表示为Multi-Task Multiple Kernel learning(MTMKL)问题。文献\cite{ref-06}中，学习两两的AU关系。文献\cite{ref-07} 从先验知识中学习AU关系。文献\cite{ref-08}，将时间信息整合到AU识别中。

\begin{algorithm}

\AlgoDisplayBlockMarkers\SetAlgoBlockMarkers{begin}{end}%

\SetAlgoNoEnd

使用平均人脸初始化基准点的位置$\mathbf{x}^0$\\

\For{\emph{t=1,2,...,T,orconvergence}\textbf{do}}

{给定图像和当前基准点的位置，更新基准点的位置.\\

$f_t:\mathbf{I},\mathbf{x}^{t-1}\rightarrow\triangle\mathbf{x}^t$\\

$\mathbf{x}^t=\mathbf{x}^{t-1}+\triangle\mathbf{x}^t$\\

}

输出估计的基准点的位置$\mathbf{x}^T$

\caption{一般的级联回归框架}

\end{algorithm}

\section{有约束的联合级联回归}

\subsection{一般的级联约束框架}

假定基准点的位置表示为:x∈R2D,其中D是基准点的数量。测试图像表示为I.从平均人脸形状x0. 级联的回归方法使用回归模型基于局部表观特征迭代的预测形状更新△xt,并且将人脸形状更新加到当前形状xt?1 产生下次迭代的形状xt，直到收敛。

现有的方法在级联回归框架中，使用不同的图像特征和回归函数。例如，有监督的下降方法[SDM]，线性回归模型用于学习预测。

ft:△xt=RtΦ(xt?1,I)

其中Φ(xt?1,I)∈R128D表示中心在当前预测基准点位置处的局部表观特征(也就是SIFT 特征)。并且Rt是线性回归模型的参数。

对于训练，给定训练数据集x?m,Im,其中x?m表示真实的基准点位置。真实的人脸形状更新可以通过△xtm=x?m?xt?1m计算。那么，模型参数Rt 可以用最小二乘公式估计，并且存在闭合形式的解。

Rt=argminR∑m||△xt,?m?RΦ(xt?1m,Im)||22

\subsection{有约束的联合级联回归框架}

假定二值人脸运动单元标签标示为a∈{0,1}N，(其中0标示运动单元未激活，1标示运动单元激活),其中N 是估计的面部运动单元的数量。pi=P(ai=1;I)表示对于测试图像，运动单元ai的AU活动的概率。p=p1,p2,...,pN称为所有运动单元的AU 活动的概率矢量。CJCRF的目标是：给定测试图像，联合的估计基准点的位置和AU 活动概率p，从而估计AU标签矢量a.

\begin{algorithm}

\AlgoDisplayBlockMarkers\SetAlgoBlockMarkers{begin}{end}%

\SetAlgoNoEnd

\textbf{学习约束:}\\

学习基准点位置和运动单元标签，AU关系，人脸形状模式的关系，作为一个约束表示为$C(.)$\\

\textbf{有约束的联合级联回归框架：}\\

使用平均人脸形状初始化基准点的位置$\mathbfx^0$。\\

初始化AU活动的概率为0.5,$p_i^0=0.5,for\foralli$，\\

\For{\emph{t=1,2,...,T,orconvergence}\textbf{do}}

{给定图像和当前基准点的位置，当前的AU单元活动的概率以及约束$C(.)$。.\\

$$f_t:\mathbfI,\mathbfX^{t-1},\mathbfp^{t-1},C(.)\rightarrow\triangle\mathbfx^t$$

$$\mathbfx^t=\mathbfx^{t-1}+\triangle\mathbfx^t$$

给定图像和当前基准点的位置以及约束$C(.)$,更新AU活动的概率，

$$g_t:\mathbfI,\mathbfx^t,C(.)\rightarrow\triangle\mathbfp^t$$

$$\mathbfp^t=\mathbfp^{t-1}+\triangle\mathbfp^t$$

}

输出估计的基准点的位置$\mathbf{x}^T$和AU活动的概率$\mathbfp^T$\\

\caption{有约束的联合级联回归框架(CJCRF)}

\end{algorithm}

一般的框架如图1和算法1.首先，我们学习基准点位置x和人脸运动单元标签a 的关系。注意：其中包含了AU关系和人脸形状模式。第二，在有约束的级联回归框架内，使用预先学习的联合关系作为一个约束(表示为C(.))，迭代的更新基准点的位置和AU活动概率。。。

\subsubsection{AU和人脸基准点的关系约束}\label{sec-321}

我们使用Restricted Boltzmann Machine model(RBM)学习人脸形状和二值运动单元标签之间的关系。如图??? 所示，RBM模型通过一些二值隐含节点h捕捉可见变量的联合概率。在我们的应用中，可见的节点是连续的基准点的位置x，并且二值人脸运动单元标签a:

P(a,x;θ)=∑he?E(a,x,h;θ)Z(θ)

其中:

E(a,x,h;θ)=∑i(xj?bx,j)22?bTaa?cTh?xTWxh?aTWah

Z(θ)=∑a,x,he?E(a,x,h;θ)

其中E(a,x,h;θ)是能量函数，Z(θ)是分配函数。参数θ={Wx,Wa,bx,bb,c}

其中包括成对参数Wx∈R2D×K,Wa∈RN×K

以及偏见:bx∈R2D,ba∈RN,c∈RK,K是隐含变量的数量。给定真实的带有成对的AU标签和基准点位置{am,xm}Mm=1的数据集，我们使用Contrastive Divergence algorithm(CD)\cite{ref-09} 来训练模型。

\begin{figure}[htbp]

\centering

\includegraphics[width=0.5\textwidth]{figure2.png}

\caption{\liuhao有约束的玻尔兹曼机融入了AU和人脸基准点的关系,以及AU关系(各个AU单元的联合关系)和人脸形状模式(即所有的基准点构成的组态的模式)}%captions不采用自动编号

\label{fg:002}

\end{figure}

模型捕捉三层关系。首先，联合概率P(a,x;θ)捕捉人脸基准点位置和面部运动单元标签之间的全局和联合关系。第二，AU关系嵌入到边缘概率分布P(a;θ)中，第三，人脸形状模式同样也可以嵌入到边缘分布P(x;θ)。 这三层信息可以通过两种方式在有约束的联合级联回归框架中使用。一方面，一旦我们知道了特定的活动单元(例如αi=1),我们可以找到与这个AU一致的人脸形状，包含这个信息应当有助于人脸特征点检测。特别的，我们使用AU依赖的期望人脸形状，其中这个期望是嵌入在RBM模型中的边缘条件概率P(x|αi=1;θ)。

EP(x|αi=1;θ)[x=∫xxP(x|αi=1;θ)dx

AU依赖的形状(即依赖AU的形状)具有人脸形状(拥有活动的特定AU)的属性,并且随着不同的AU变换。例如，就像图???中展示的那样，给定活跃的不同的AU，我们有不同的人脸形状的先验知识。另一方面，一旦我们有当前人脸形状x的一些知识，我们同样可以从模型P(αi=1|x;θ)估计AU活动的概率。并且这个信息应当整合到AU识别中。例如图???展示了，给定特定的人脸形状，从模型估计的AU活动的概率。可以看出，人脸形状提供了关于活动的可区分的知识。接下来，我们进一步解释如何使用学习的联合关系作为一个约束来帮助预测运动单元活动的概率和基准点的位置。

\begin{figure}[htbp]

\centering

\includegraphics[width=0.5\textwidth]{figure3.png}

\caption{\liuhao蓝色实线形状：AU依赖的期望的人脸形状.红色虚线形状：平均形状}%captions不采用自动编号

\label{fg:003}

\end{figure}

\begin{figure}[htbp]

\centering

\includegraphics[width=0.5\textwidth]{figure4.png}

\caption{\liuhao给定人脸形状(左)，估计的AU活动概率(右).蓝色：当前人脸形状.红色：平均人脸}%captions不采用自动编号

\label{fg:004}

\end{figure}

\subsubsection{使用约束更新基准点位置(预测阶段)}

给定学习的人脸基准点位置和面部运动单元标签的之间的关系，作为一个约束。有约束的级联回归方法迭代的预测人脸基准点位置和面部运动单元活动的概率。当更新基准点位置时，该方法基于当前估计的基准点位置xt?1，AU活动概率pt?1，和带有参数θ 的并且嵌入关系的RBM模型。其表示为一般的优化问题：

minimize△xt||△xt?RtΦ(xt?1,I)||22subject toxt=xˉˉ(pt?1,θ)

注释:

minimize△xt||△xt?RtΦ(xt?1,I)||22+λ(xt?xˉˉ(pt?1,θ))

关于△xt求导数：

minimize△xt||△xt?RtΦ(xt?1,I)||22+λ(xt?1+△xt?xˉˉ(pt?1,θ))

其中xt=xt?1+△xt.信息利用了两个信息资源。在目标函数中，类似于等式1中传统的级联回归方法， 我们从局部表观特征Φ(xt?1,I) 预测人脸形状更新△xt。而且我们明显的加入了约束，来确定预测的人脸形状和当前预测的AU活动的概率pt?1一致。特别的，xˉˉ(pt?1) 表示基于当前估计的AU活动的概率，从嵌入在RBM中的联合概率估计的基准点的位置。

xˉˉ(pt?1,θ)=∑iEP(x|αi=1;θ)[x]pt?1i∑lpt?1l

这里,EP(x|αi=1;θ)[x]是AU依赖的期望人脸形状，从RBM模型(捕捉了AUs和人脸形状之间的关系)计算得到(公式???)。为了考虑当前估计的AU活动的概率，这些AU依赖期望人脸形状通过权重进行组合，这些权重是基于当前估计的AU 活动的概率。直觉上告诉我们，在当前测试图像中，如果一个特定的AU的活动概率很高，那么特定的AU依赖的期望人脸形状也拥有更高的权重。\

\indent 通过推理，使用拉格朗日松弛，等式???变成一个标准的最小二乘问题，并且其可以闭合形式的求解。模型的训练参考线性回归参数Rt的学习。给定训练数据，Rt的学习类似于等式2中的一般的级联回归框架。

\subsubsection{使用约束更新运动单元活动概率}

我们使用当前基准点的位置xt,当前活动的概率pt?1，和参数为θ的RBM来预测AU活动的概率的更新。 我们将其表示为一般的优化问题。

\begin{equation}

\label{eq-07}

\begin{gathered}

\underset{\triangle\mathbfp^t}{\text{minimize}}||\triangle\mathbfp^t-\mathbfT^t\Phi(\mathbfx^{t},\mathbfI)||_2^2\\

\text{subjectto}p_i^t=P(\alpha_i=1|\mathbfx^t;\theta),\foralli\\

\mathbf0\leq\mathbfp^t\leq\mathbf1

\end{gathered}

\end{equation}

其中pt=pt?1+△pt.AU活动概率的预测利用两个信息资源。在目标函数中，我们使用带有参数Tt的线性回归模型，从局部表观特征?(xt,I)预测AU活动概率的更新。在这个约束中，我们确保预测的Au活动的概率pti与基准点的位置xt是一致的。特别地，给定当前的形状，我们可以从RBM 模型捕捉的AU和人脸形状之间的关系(即P(αi=1|xt;θ)，在???节中阐述)中估计AU活动的概率。对于当前测试图像，同样的AUαi的估计的AU 活动的概率应当接近于从先验RBM模型预测的。同样的使用拉格朗日松弛可以得到闭合形式的解。Tt 的估计和等式???类似。特别的，给定训练数据，对于图像(如果α?j=1,那么p?i=P(αi=1)=1)Im，真实的概率p?m可以基于真实的AU标签a?m 产生。真实的概率更新表示为:△pt,?=p??pt?1。那么参数的估计表示为一个最小二乘问题，有闭合形式的解：

Tt=argminT∑m||△Pt,?m?TtΦ(xtm,Im)||22

\section{实验结果}

\subsection{实现细节}

\textbf{数据集：}含有姿态的数据集，CK+，210个个体，593张人脸活动的视频，使用30个面部运动单元和28个基准点。

自发的数据集：SEMAINE和FERA。50个AU，28个面部特征点，260帧图像作为实验。\par

\textbf{建模：}RBM模型学习AUs和基准点之间的联合关系，包含了150个隐含节点，我们训练模型800echos。为了计算局部表观特征，我们使用SIFT，并且设置局部区域的半径为人脸大小的0.166.和先前的级联回归方法一样，我们通过随机的缩放，选择和平移扰动初始的人脸形状来增加训练图像。\textcolor{blue}{当计算公式???中的AU依赖的人脸形状时，我们对带有活动的相应的AU训练数据集求平均}。拉格朗日松弛常数设置为0.5.\par

\textbf{评价标准：}为了计算人脸基准点检测器，我们使用检测点和真实点之间的距离除以瞳孔距离来衡量。我们通过在所有可利用的点和测试图像上计算平均误差。为了评估面部运动单元识别的精度，我们使用F1得分和AUC(the area under the ROC curve(AUC))。

\begin{figure}[htbp]

\centering

\includegraphics[width=0.5\textwidth]{figure5.png}

\caption{\liuhao左面两个图像：不带AU信息的基准点检测.右边两个图像：带有AU信息的提出的方法}

\label{fg:005}

\end{figure}

\noindent \textbf{理解:}\

1.有两个条件概率：P(x|αi=1;θ)和P(αi=1|x;θ) \

其中第一个条件概率应用在x的更新中，第二个条件概率引用在p的更新中。\

条件概率1的计算是通过训练样本集计算的，例如对于某个AUi是活动的，那么找到所有满足的形状，然后求解平均。\

条件概率2的计算是通过学习的模型计算得到。\

如果能想???讲的那样，RBM模型能够学习三层关系:p(x,a;θ),p(a;θ),p(x;θ).那么我们可以通过三层关系来推导出条件概率2.第一层关系可以通过???得到，那么第2和3层关系呢?\

2.在公式???的最小化中，好像不会用到公式???来求解xˉˉ(pt?1,θ)?\

3.思路就是学习先验约束模型，在迭代的过程中，使得迭代的过程一直受到先验的约束。

\begin{thebibliography}{99}

\bibitem[1]{ref-01}X.XiongandF.DelaTorreFrade.Superviseddescentmethodanditsapplicationstofacealignment.InIEEEInternationalConferenceonComputerVisionandPatternRecognition(CVPR),May2013.\par

\bibitem[2]{ref-02}S.Ren,X.Cao,Y.Wei,andJ.Sun.Facealignmentat3000fpsviaregressinglocalbinaryfeatures.InComputerVisionandPatternRecognition(CVPR),2014IEEEConferenceon,pages1685–1692,June2014.\par

\bibitem[3]{ref-03}S.Eleftheriadis,O.Rudovic,andM.Pantic.Multiconditionallatentvariablemodelforjointfacialactionunitdetection.InComputerVision(ICCV),2015IEEEInternationalConferenceon,Dec2015.\par

\bibitem[4]{ref-04}Z.Wang,Y.Li,S.Wang,andQ.Ji.Capturingglobalsemanticrelationshipsforfacialactionunitrecognition.InComputerVision(ICCV),2013IEEEInternationalConferenceon,pages3304–3311,Dec2013.\par

\bibitem[5]{ref-05}X.Zhang,M.Mahoor,S.Mavadati,andJ.Cohn.Alpnormmtmklframeworkforsimultaneousdetectionofmultiplefacialactionunits.InApplicationsofComputerVision(WACV),2014IEEEWinterConferenceon,pages1104–1111,March2014.\par

\bibitem[6]{ref-06}K.Zhao,W.-S.Chu,F.DelaTorre,J.F.Cohn,andH.Zhang.Jointpatchandmulti-labellearningforfacialactionunitdetection.InTheIEEEConferenceonComputerVisionandPatternRecognition(CVPR),June2015.\par

\bibitem[7]{ref-07}Y.Li,J.Chen,Y.Zhao,andQ.Ji.Data-freepriormodelforfacialactionunitrecognition.IEEETransactionsonaffectivecomputing,4(2):127–141,2013.\par

\bibitem[8]{ref-08}M.ValstarandM.Pantic.Fullyautomaticrecognitionofthetemporalphasesoffacialactions.Systems,Man,andCybernetics,PartB:Cybernetics,IEEETransactionson,42(1):28–43,Feb2012.\par

\bibitem[9]{ref-09}G.E.Hinton.Trainingproductsofexpertsbyminimizingcontrastivedivergence.NeuralComput.,14(8):1771–1800,Aug.2002.\par

\end{thebibliography}

\end{document}