結合工程教育認證的3D人臉測量實驗教學改革

肖琨　尤浩淼　李永建　朱新軍

摘 要 以工程教育提倡的以學生為中心理念為思想，對計算機視覺中3D人臉視覺內容進行了實驗教學改革。通常3D人臉識別數(shù)據(jù)采用網上公布的數(shù)據(jù)，而現(xiàn)有的Intel RealSense以及Kinect等3D傳感器直接輸出3D數(shù)據(jù)，因此學生對3D人臉數(shù)據(jù)獲取的原理及方法并不很清楚。為更好的讓學生理解3D人臉數(shù)據(jù)的產生，設計了3D人臉測量實驗課程改革。學生通過實驗課程可進行數(shù)據(jù)采集和三維重建算法設計以及實驗分析，主動完成3D人臉重建的整個過程，同時通過實驗培養(yǎng)學生的動手設計能力，團隊協(xié)作與溝通交流能力以及實驗安全、健康方面的意識。

關鍵詞 工程教育認證 3D人臉測量 教學改革 計算機視覺

中圖分類號：G424 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻標識碼：A ? ?DOI：10.16400/j.cnki.kjdkx.2020.02.049

3D Face Measurement Experiments Teaching Curriculum Renovation

with Engineering Education Accreditation

XIAO Kun， YOU Haomiao， LI Yongjian， ZHU Xinjun

（Tianjin Polytechnic University， School of Electrical Engineering and Automation， Tianjin 300387）

Abstract With the student-centered idea in engineering education， the experimental teaching curriculum renovation of 3D face vision in machine vision is carried out. Usually， 3D face recognition data are published online， and existing 3D sensors such as Intel RealSense and Kinect directly output 3D data， therefore the students are not well clear about the principle and method of 3D data acquisition， and they do not well understand how 3D face data is generated， either. In order to help the students to better understand the generation of 3D data， a 3D face measurement experiment was designed. Through the experiment students can collect data， design the reconstruction algorithm and analyze the experiments to initiatively complete the whole process of 3D face reconstruction. At the same time， hands-on design ability， teamwork and communication skills， and experimental safety awareness for the students are developed.

Keywords Engineering Education Accreditation; 3D face Measurement; teaching curriculum renovation; computer vision

0 引言

計算機視覺是一門軟硬件相互結合、理論性和實踐性都很強的學科，且具有理論性知識復雜的特點。[1，2]三維（3D）視覺是計算機視覺領域的重要內容之一。3D視覺在人臉識別、無人駕駛、機器人導航等領域備受矚目。3D視覺相關理論與實驗已成為計算機視覺課程中授課的重要內容。其中，3D人臉識別是3D視覺中具有代表性的教學案例。[3]

一方面，目前計算機視覺課程理論內容相對抽象，實驗類別形式偏少;另一方面，工程教育認證對計算機視覺課程提出了新要求，比如團隊協(xié)作的重要性、培養(yǎng)創(chuàng)新能力，培養(yǎng)考慮社會、健康、安全、法律、文化以及環(huán)境等因素意識等。[4]本文借鑒工程專業(yè)認證的以學生為中心的思想，在機器視覺中對3D視覺進行改革，以3D人臉測量為對象，提高學生對3D視覺方面的實驗動手能力，學生通過實驗主動進行數(shù)據(jù)采集，三維重建算法，更好的了解3D重建的整個過程，同時通過實驗培養(yǎng)學生的動手設計能力，團隊協(xié)作與溝通交流能力，以及實驗安全方面的意識。

1 3D人臉測量教學改革的意義

目前已有標準的3D人臉數(shù)據(jù)庫用于算法的驗證與評估。然而，學生對3D人臉數(shù)據(jù)是如何產生，如何搭建系統(tǒng)采集數(shù)據(jù)，以及如何從采集的數(shù)據(jù)進行三維重建并沒有很好的理解。相關知識教學內容較少，使得學生對機器視覺的實際應用缺乏直觀的認識和理解，不利于學生動手能力和創(chuàng)新能力的培養(yǎng)。

常用3D測量方法包括被動雙目立體視覺、線/面結構光、光編碼（Light Coding）、主動結構光雙目立體視覺、時間飛行法。在3D人臉識別領域，蘋果公司采用的是光編碼3D測量技術，微軟Kinect 2.0采用時間飛行法，Intel RealSense主要采用主動結構光雙目立體視覺方法，雖然這些公司的設備都可用于3D人臉測量，但是這些產品都是封裝好的，主要輸出的是深度數(shù)據(jù)。[5]條紋投影結構光測量通常具有較好的靈活性，因此本文采用結構光測量方法設計3D人臉采集系統(tǒng)，進行三維重建，從而使學生理解3D人臉數(shù)據(jù)是如何實現(xiàn)的。

2條紋投影結構光三維人臉測量

條紋投影結構光是光學三維形貌測量中具有代表性的方法。該方法將條紋圖投影到被測物體的表面，條紋圖由于物體表面的凹凸變化而發(fā)生變形，然后由攝像機獲取一系列的變形條紋圖，然后通過相位提取方法提取條紋圖中的相位信息，最終聯(lián)合系統(tǒng)標定參數(shù)計算出被測物表面形貌的三維點坐標。

在條紋投影三維測量中，CCD采集到的條紋圖可表示為

（1）

其中為背景，和分別為調制部分和相位部分，為載頻頻率。從（1）獲取相位是條紋投影三維測量的關鍵環(huán)節(jié)。[6]此環(huán)節(jié)也是本次教改涉及的內容之一。

投影儀處于垂直的位置，相機傾斜拍攝，且投影儀和相機處于同一水平面上，它們之間的距離記為，投影儀到參考平面的距離為，通過標定得到高度與相位的關系

（2）

其中為條紋周期。

3三維測量實驗的改革

在課程開始時，首先由教師通過講解，并展示實物，對學生的預習結果進行補充講解，使學生充分了解條紋投影的基本知識，實驗系統(tǒng)相關器件，學生自己動手，完成3D人臉采集與重建的整個過程。

3.1 學生動手搭建實驗系統(tǒng)

實驗過程以3人一組，通過分工協(xié)作，搭建實驗系統(tǒng)。在數(shù)字條紋投影三維測量系統(tǒng)的實驗中所需要的實驗硬件器材主要有：計算機、CCD相機、DLP投影儀等。其中CCD相機和DLP投影儀連接在同一臺電腦上，并且DLP有一根輸出脈沖線與CCD相機連接進行觸發(fā)的操作。測量系統(tǒng)的示意圖如1所示，投影儀觸發(fā)信號如圖2所示。

在相機控制軟件界面中需要設置打開觸發(fā)模式，并且選擇正確的觸發(fā)通道。軟件界面中打開觸發(fā)模式之后，按照條紋變換發(fā)出的脈沖的上升沿觸發(fā)相機采集圖片，達到實時的效果。投影儀采用的是TI DLP Light Crafter 4500。CCD相機為FLIR BFS-U3-13Y3M-C，分辨率為1280？024，像素尺寸是4.8 um，鏡頭是Computar鏡頭，16mm定焦。

測量過程中給出具體要求：投影儀投影條紋圖要覆蓋人臉區(qū)域，相機采集的圖片也要包含整個人臉區(qū)域，但是又不能包含太多背景。學生分工調整相機與投影儀、以及二者與被測人臉的距離。另外為實現(xiàn)高質量的條紋投影圖像采集，需要調節(jié)投影儀與相機的焦距，使得投影儀與相機投射的條紋都處于接近理想的聚焦位置。

圖1測量系統(tǒng)的示意圖

圖2 投影儀輸出觸發(fā)脈沖圖

3.2 學生自己程序分析數(shù)據(jù)進行三維重建

采集到的條紋圖如圖3（a）所示，因此需要從3（a）重建出三維數(shù)據(jù)。其中相位提取與相位展開是關鍵（對應求方程（1）），在得到展開后的相位通過標定可轉化成深度數(shù)據(jù)（對應方程（2））。處理的關鍵環(huán)節(jié)有去條紋圖背景（圖3（b）），二值化（圖3（c）），包裹相位提?。▓D3（d））與相位解包裹（圖3（e））。

圖3（a）

圖3（b）

圖3（c）

圖3 （d）

圖3（e）

圖3 條紋圖三維人臉重建結果展示

實現(xiàn)三維重建過程需要用Fourier變換、圖像二值化、數(shù)學形態(tài)學圖像處理等數(shù)字圖像處理知識，學生可通過Matlab或者OpenCV等語言工具實現(xiàn)相應的數(shù)字圖像處理算法，完成3D人臉重建。

3.3 學生對實驗數(shù)據(jù)分析與實驗的總結

學生自己進行實驗與處理，研究測量系統(tǒng)參數(shù)對實驗結果的影響，分析算法對三維重建精度的影響等，以及分析各個環(huán)節(jié)誤差產生的原因，得到有效的結論。總結與分析過程中，每組同學積極參與討論，共同協(xié)作，并能夠在設計環(huán)節(jié)中通過創(chuàng)新解決問題。

在實驗采集人臉數(shù)據(jù)過程中，學生應注意眼睛不要直視投影儀光心，避免投影儀發(fā)出的光對眼睛產生傷害。學生可閉上眼睛或者視線避開投影儀光心方向。通過此方面的安全教育，培養(yǎng)學生考慮社會、健康、安全、法律、文化以及環(huán)境等因素意識和素養(yǎng)。

4總結

以工程教育認證中的以學生為中心作為出發(fā)點，設計了學生動手搭建實驗，編寫程序，分析數(shù)據(jù)總結經驗等教學環(huán)節(jié)，實現(xiàn)了完整的3D人臉數(shù)據(jù)重建教學內容。與傳統(tǒng)的教學方法相比，課程改革以學生為中心，發(fā)揮學生實驗主動性，讓學生更好的理解3D人臉數(shù)據(jù)的產生，同時培養(yǎng)學生在3D視覺測量方面的動手能力，激發(fā)學生課程興趣，使得學生對知識的理解、掌握更加深入，同時培養(yǎng)工程專業(yè)認證所提倡的團隊協(xié)作與溝通交流能力以及健康、安全等方面的意識。

*通訊作者：朱新軍

感謝天津工業(yè)大學2016，2017級大學生創(chuàng)新創(chuàng)業(yè)訓練計劃資助項目（201710058053，201610058151），天津工業(yè)大學研究生課程優(yōu)秀教材建設項目（《機器視覺》優(yōu)秀教材建設）及天津市自然科學基金項目（18JCQNJC71100）的支持

參考文獻

[1] 宋麗梅，董虓霄，張春波，安宏偉.一種新型機器視覺教學系統(tǒng)的應用[J].現(xiàn)代教育技術，2011.6：126-128.

[2] 孫涵，陳松燦，劉寧鐘，黃元元，朱旗.研究生模式分析與視覺處理課程群改革與實現(xiàn)[J].科教導刊（中旬刊），2016.3：30-32.

[3] 朱新軍，宋麗梅，王紅一，郭慶華，李金義.以Fourier變換輪廓術3D測量為例的“機器視覺”課程改革探索[J].科教導刊（中旬刊），2017.33：114-116.

[4] 李志義.適應認證要求推進工程教育教學改革[J].中國大學教學，2014.6：9-16.

[5] 韓九強.機器視覺技術及應用[M].北京：高等教育出版社，2009.

[6] 黃燕鈞，李中偉，史玉升，等.基于多頻外差原理的三維測量技術.新技術新工藝，2008（12）.