微笑是面部美学的重要组成部分，在口腔医学领域，对面部微笑的评估与分析有助于前牙美学修复设计、治疗结果预测以及医患沟通等[1-3]。二维面部照片是口腔医生分析患者微笑特征的主要手段[4-5]，但二维面部照片并不能全面、真实地反映出患者颜面部的三维形态特征，无法充分满足医生对患者面部微笑的全面分析。随着数字化技术的发展，以三维点云展现颜面部形态特征的三维颜面数据为口腔临床诊疗提供了重要数据基础，其提升了颜面部形态分析的精度与维度，令面部微笑的三维分析成为可能[6-7]。在三维颜面静态微笑分析的基础上，动态微笑分析也得到发展并被应用于口腔临床。Ye等[8]通过采集不同微笑状态下的三维颜面数据，结合数字化修复设计，提出了一套口腔美学修复四维预测的数字化流程，实现了在治疗前对治疗效果的动态模拟与可视化，有助于提升医患沟通以及修复体设计与制作的质量。Wright等[9]采集了单侧唇腭裂患者术后的微笑运动数据，分析了面部静态与动态不对称之间的相关性，为患者后续的诊断与治疗提供了依据。Quast等[10]采集了正畸患者手术治疗前后的微笑运动数据，分析了术前和术后面部微笑运动的变化，验证了正畸外科治疗对面部微笑的影响。上述研究表明，微笑运动数据在口腔医学领域具有重要的临床应用价值，但涉及到动态数据采集的专用设备成本以及数据处理等诸多挑战，限制了其在临床的广泛应用。
针对上述问题，本研究旨在提出一种基于三维颜面静态扫描数据构建三维颜面微笑仿真序列数据的方法。此方法通过采集受试者中性表情和最大微笑表情下的三维颜面数据，基于本课题组既往研究提出的普氏分析非刚性迭代最近点算法(Procrustes analysis non-rigid iterative closest point，PA-NICP)[11]和结构化的三维人脸模板[12]，对受试者中性表情和最大微笑表情的静态三维颜面数据实现同源化处理[13-14]，再在同源数据间构建微笑过程的序列数据，从而实现微笑表情过程的动态仿真。本研究以真实拍摄的受试者颜面动态数据作为参考，初步评价了本方法构建微笑仿真序列数据的效果，验证了本方法的可行性和临床适用性。
1 资料与方法
1.1 研究对象和设备
本研究纳入男性和女性受试者各1名。纳入标准：健康受试者，颜面部无明显畸形，无发育性疾病，无明显不对称，能配合完成面部微笑的动态数据采集。本研究获得北京大学口腔医院生物医学伦理委员会批准(PKUSSIRB-202385001)，受试者对本研究内容和目的充分了解，知情并同意。
使用动态颜面扫描设备3dMD(3dMD，美国)采集受试者面部微笑的三维颜面动态数据。使用逆向工程软件Geomagic Wrap 2021(3D System，Rock Hill，美国)进行三维颜面数据的处理及三维形态差异分析。采用本课题组提出的PA-NICP算法[11]和构建的结构化三维人脸模板[12]，构建不同三维颜面数据的同源数据，此模板两侧面部形态完全对称，总顶点数为9 856，中线点数为216，单侧点数为4 820，双侧顶点具有一一对应的关系。使用数学计算软件MATLAB(v.R2022b, MathWorks，美国)运行PA-NICP算法，计算同源数据对应顶点间的位移量以及三维颜面微笑仿真序列数据的构建。
1.2 受试者三维颜面微笑动态数据的采集与处理
采集数据时，受试者端坐于颜面扫描设备前，头部处于自然头位状态，双眼平视前方，面部完全暴露，无头发、眼镜等遮挡(图 1)。采集受试者由中性表情至进行面部微笑的颜面动态数据(由连续约8个三维颜面静态数据组成)，以. obj格式保存颜面微笑动态数据。将受试者的颜面微笑动态数据导入Geomagic Wrap 2021软件中，以中性表情数据作为微笑起始数据(图 1A)，以最大微笑数据作为微笑终止数据(图 1F)。在微笑起始和终止数据间提取出4个不同时间点的微笑过程数据(图 1B~E)，尽可能保证相邻数据间上下唇凸点间距呈线性增加趋势，删除每例数据上唇与下唇中间的非真实形态数据，均以. obj格式分别保存每例数据。
1.3 受试者三维颜面微笑仿真序列数据的构建
构建三维颜面微笑仿真序列数据的流程见图 2。
图2 颜面微笑仿真序列数据构建方法的流程图Figure 2 Flowchart of the facial smile simulation sequence data construction method A, processed three-dimensional face template; B, the participant' s smile starting data; C, the participant' s smile ending data; D, structured smile starting data of participant (homologous data); E, structured smile ending data of participant (homologous data); F, smile simulation data obtained by linear interpolation. PA-NICP, Procrustes analysis non-rigid iterative closest point. |
1.3.1 微笑起始和微笑终止的同源数据构建
将本课题组既往研究构建的三维人脸模板数据导入Geomagic Wrap 2021软件中，同样删除模板上唇与下唇间的相连数据(图 2A)，以. obj格式保存。将处理后的三维人脸模板和受试者的微笑起始数据(图 2B)、微笑终止数据(图 2C)导入Geomagic Wrap 2021软件中，使用“分析-点坐标”功能在每个数据上依次标记双侧内眦点、鼻尖点、上唇凸点、下唇凸点和双侧口角点，并将标志点坐标以. csv格式保存。将三维人脸模板与微笑起始数据和微笑终止数据及其相应的标志点坐标导入MATLAB软件中，运行PA-NICP算法(基于三维人脸模板和三维颜面数据上成对标记的标志点，PA-NICP算法可以实现两数据间的尺寸归一和对齐，并将三维人脸模板变形配准至三维颜面数据), 将三维人脸模板分别变形配准至微笑起始数据和微笑终止数据，获得微笑起始数据和微笑终止数据的同源结构化数据(图 2D、E)。
1.3.2 微笑仿真序列数据的构建
将同源化的微笑起始和终止数据导入MATLAB软件中，同源结构化数据的顶点顺序、数量和三角网格拓扑关系均保持一致，计算微笑起始和终止数据间对应顶点的位移量，通过线性插值算法，分5个阶段计算微笑过程中的颜面数据各顶点的坐标值。维持同源数据原始三角网格拓扑关系不变，构建各插值过程的三维颜面数据，获得4个微笑仿真数据并按插值序列排序(图 2F)，从而构建出颜面微笑仿真序列数据。由于使用3dMD采集的微笑动态数据具有统一的三维空间位姿，而本研究将三维人脸模板变形配准至微笑起始和终止数据时也统一了数据间的三维空间位姿，因此本研究构建的微笑仿真数据和采集的微笑动态数据处于统一的空间位置，且微笑仿真数据的数据量可由阶段参数控制。
1.4 颜面微笑仿真序列数据正确度的初步评价
本研究通过数据提取尽可能令受试者相邻微笑过程数据间的上下唇凸点间距呈线性增加趋势，同时采用线性插值算法构建的相邻微笑仿真数据间的上下唇凸点间距也呈线性增加趋势，从而使微笑过程数据与相应微笑仿真数据的上下唇凸点间距保持接近，使两者具有可比较性。以1.2小节中提取的4个不同时间点的微笑过程数据作为参照数据，以1.3.2小节中构建的4个微笑仿真数据作为测试数据，分别将对应的三维颜面参照数据(图 3A)和测试数据(图 3B)导入Geomagic Wrap 2021中，使用“分析-偏差”功能，计算二者间的三维形态偏差色阶图(图 3C)，获得本研究构建微笑仿真数据的三维形态偏差的均方根(root mean square，RMS)值。
图3 微笑仿真序列数据构建的三维形态偏差Figure 3 Three-dimensional morphological deviation of the constructed smile simulation sequence data A, smile process data between the participant' s smile starting and ending data; B, smile simulation data corresponding to data A; C, three-dimensional deviation chromatogram between data A and data B. |
2 结果
本研究纳入的2名受试者均成功构建了颜面微笑仿真序列数据(图 4)。三维形态偏差的初步评价结果显示，男性受试者4个微笑仿真数据构建的三维形态偏差RMS值分别为0.31、0.35、0.32、0.25 mm，平均为(0.31±0.04) mm；女性受试者4个微笑仿真数据构建的三维形态偏差RMS值分别为0.36、0.52、0.53、0.36 mm，平均为(0.44±0.08) mm。结果表明本方法可在一定程度上模拟受试者的面部微笑过程，具有一定的临床适用性和可行性。
图4 受试者三维颜面微笑仿真序列数据构建效果的示意图Figure 4 Schematic diagram of the construction effect of three-dimensional facial smile simulation sequence data of participants A, three-dimensional facial smile simulation sequence data of male participant; B, three-dimensional facial smile simulation sequence data of female participant. |
3 讨论
针对上述问题，本研究基于PA-NICP算法，提出了一种三维颜面微笑仿真序列数据的构建方法，该方法的思路和原理如下：三维颜面数据以密集点云的形式来展现颜面部的形态特征，在面部微笑的过程中，若能知道微笑起始数据到微笑终止数据间每个顶点的位移变化，即可还原出微笑的连续过程，但目前三维颜面扫描设备采集的原始数据，其点云结构是杂乱无序的，不同数据间缺乏一一对应的顶点关系，无法直接获取顶点的位移信息。为此，本研究基于课题组既往研究的PA-NICP算法和三维人脸模板，构建微笑起始和微笑终止的同源数据。PA-NICP算法可以将三维人脸模板变形配准到目标数据上，令模板发生趋近目标形态的形变，且模板变形前后的数据结构(顶点的数量和顺序、三角网格拓扑关系等)保持一致，因此可获得由相同数据结构表达不同数据形态的同源数据，进而获取两同源数据间的对应顶点关系，之后通过线性插值，令微笑起始数据(同源数据)的每个顶点分阶段向微笑终止数据(同源数据)的对应顶点移动，即可实现微笑过程的动态仿真。在动态仿真过程中，提取不同阶段顶点的三维坐标，并结合同源数据统一的三角网格拓扑关系，即可构建出不同微笑程度的仿真数据，从而获得本研究的微笑序列数据。采用前述方法，本研究为1名男性和1名女性受试者构建了三维颜面微笑仿真序列数据。初步评价结果显示，微笑仿真数据构建的三维形态偏差的RMS值均在0.5 mm左右，且每例数据的构建误差较为接近。有研究指出，在三维颜面数据的采集、分析中，1 mm以内的偏差是临床可以接受的[18-20]，表明本研究构建的微笑仿真数据具有一定准确性，可在一定程度上模拟受试者的微笑过程，证明本方法具有较好的可行性和临床适合性。
与既往研究中获取面部微笑过程数据的方式相比，本方法具有以下优势：(1)采集和处理的三维颜面数据量少，基于患者微笑起始和终止的两例三维颜面数据即可获取微笑仿真序列数据；(2)微笑仿真数据的数量可控，通过阶段参数设置，可以生成任意数量的微笑仿真数据，避免了数据不足或冗余的问题；(3)微笑仿真数据的结构统一，整个微笑序列中的数据均为同源数据，有利于后续对序列数据的深入分析，进行面部关键解剖标志点的动态追踪及运动轨迹生成等；(4)无需动态面扫设备，降低了设备成本与操作难度。在口腔临床诊疗过程中，医生可借助各种便携式三维颜面扫描设备或日常使用的智能手机在椅旁完成患者微笑起始与微笑终止三维颜面数据的采集[21-23]；使用三维数据处理软件以及非刚性配准算法[11, 24]，统一微笑起始与微笑终止数据间的空间位姿，并构建两者的同源数据；进而基于同源数据，在数学计算软件中采用线性插值的方式实现本研究微笑仿真序列数据的构建。
本方法具有以下局限性：本研究为方法学研究，针对1名男性和1名女性受试者构建了三维颜面微笑仿真序列数据，初步评价该方法的可行性和临床适合性，但样本量少且缺乏多样性，同时，本研究采用的评价指标单一，仅评价了微笑仿真数据与微笑过程数据间的全面部形态差异，并没有反映出数据间局部区域的形态差异，后续研究可扩大样本量，纳入不同性别、年龄以及面部形态特征的患者，并采用多维评价指标，对本方法构建微笑仿真数据的精度进行全面分析，为口腔临床诊疗中此方法的应用提供可靠参考。本研究采用线性插值构建微笑仿真数据，但微笑涉及了面部诸多软组织的协调运动，是一个复杂的过程，线性插值可能并不完全适合微笑仿真数据的构建，后续研究可探索不同人群面部微笑的运动模式，采用非线性插值方式来获取微笑仿真数据，以提高仿真数据的准确性和真实性。此外，目前本方法构建的微笑仿真数据缺乏纹理信息，对口腔美学修复设计、治疗效果预测和医患沟通等方面的应用有一定影响，后续研究可结合纹理映射技术，为微笑仿真序列数据增加纹理信息，优化其可视化效果，提升其在口腔美学数字化诊疗中的应用价值。
