經(jīng)過多年在人因工程技術(shù)創(chuàng)新領(lǐng)域的探索，津發(fā)科技自主研發(fā)的ErgoLAB人機(jī)環(huán)境同步平臺于2016年12月再次迎來重大更新并正式發(fā)布面部表情分析系統(tǒng)Facial Emotion Coding System(FECS)！

FECS面部表情分析系統(tǒng)簡介

面部表情分析系統(tǒng) Facial Emotion Coding System(FECS)能夠?qū)崿F(xiàn)在人機(jī)交互過程中實(shí)時(shí)同步記錄面部表情并進(jìn)行數(shù)據(jù)分析。采用三維模型識別人臉并定位面部肌肉特征點(diǎn)的位置計(jì)算和分類面部表情，可以全自動分類和識別七種表情下的情緒：

• 快樂(Joy)

• 憤怒(Anger)

• 驚訝(Surprise)

• 恐懼(Fear)

• 輕蔑(Contempt)

• 悲傷(Sadness)

• 厭惡(Disgust)

面部表情分析系統(tǒng) Facial Emotion Coding System(FECS)通過圖像和視頻可以自動識別人的面部表情，可以區(qū)分心理狀態(tài)（積極，中性，消極），進(jìn)行面部特征識別（內(nèi)眼角、外眼角、鼻尖、嘴等），進(jìn)行檢測（挫敗、困惑），評估頭部動作（頭部的三維轉(zhuǎn)動度數(shù)，包括pitch, yaw, roll），測定注視方向（左面、前面、右面）等。

人臉表情識別技術(shù)

心理學(xué)家 Mehrabian的研究結(jié)果表明，感情表達(dá)=7%的言詞+38%的聲音+55%的面部表情（Mehrabian, 1968）。表情作為人類情感表達(dá)的主要方式，其中蘊(yùn)含了大量有關(guān)內(nèi)心情感變化的信息，通過面部表情人們可以推斷內(nèi)心微妙的情感狀態(tài)。但是，讓計(jì)算機(jī)讀懂人類面部表情所蘊(yùn)含的情感并非簡單的事情。作為智能化人機(jī)交互的重要組成部分，人臉表情識別一直是備受關(guān)注的研究課題。人臉表情識別 （Facial Expression Recognition, FER）所研究的就是如何準(zhǔn)確、地利用人臉表情所傳達(dá)的信息進(jìn)行內(nèi)心情感分析，其研究涉及圖像處理、機(jī)器視覺、情感計(jì)算及心理學(xué)等多個(gè)學(xué)科。

面部表情研究

研究表明，面部表情對于快樂、憤怒、驚訝、恐懼、輕蔑、悲傷、厭惡這七種情緒的表現(xiàn)具有普遍性。達(dá)爾文(1872)*個(gè)提出面部表情對于情緒表現(xiàn)的普遍性這一觀點(diǎn)，他認(rèn)為情緒和它們的表現(xiàn)具有生物內(nèi)在性和進(jìn)化適應(yīng)性，情緒及其表現(xiàn)的相似性體現(xiàn)在不同的生物種系中。

Tomkins(1964)*次用實(shí)驗(yàn)證明了面部表情和情緒狀態(tài)相關(guān)。20世紀(jì)60年代，心理學(xué)家Paul Ekman提出了一套廣為接受的實(shí)驗(yàn)方法：他將帶有不同面部表情的西方人照片展示給遠(yuǎn)居世外的土著，然后問他們照片中的人表達(dá)了怎樣的情緒。隨后眾多研究人員通過大量研究發(fā)現(xiàn)，不同文化下的人都能夠正確地識別出這七中情緒下的面部表情。同時(shí)，在這七種情緒產(chǎn)生時(shí)，不同文化下的人也會產(chǎn)生相同的面部表情。

到目前為止，科學(xué)研究的結(jié)果都有力地證明了面部表情對于快樂、憤怒、驚訝、恐懼、輕蔑、悲傷、厭惡這七種情緒表現(xiàn)的普遍性。因此對于人機(jī)交互或心理學(xué)研究人員來說，分析面部表情能夠可靠有效地了解被試的情緒狀態(tài)，對于優(yōu)化人機(jī)交互過程具有重要意義。

表情分析技術(shù)應(yīng)用

以產(chǎn)品設(shè)計(jì)領(lǐng)域?yàn)槔芯咳藛T能夠通過獲取消費(fèi)者使用產(chǎn)品過程中的面部表情，分析他們對于產(chǎn)品真正的感覺和喜好，而不是僅僅依靠主觀測評或問卷來獲取相關(guān)信息，減少了研究中的主觀性和偏見。使用ErgoLAB人機(jī)環(huán)境同步平臺，還能夠在人機(jī)交互過程中同步采集和分析被試的腦電、眼動、生理、行為、肢體動作、生物力學(xué)、物理環(huán)境等數(shù)據(jù)，結(jié)合面部表情分析數(shù)據(jù)為產(chǎn)品的評估提供客觀的數(shù)據(jù)支撐。

研究領(lǐng)域

• 人機(jī)交互與人工智能：人類情感計(jì)算可以基于面部表情數(shù)據(jù)形成數(shù)據(jù)庫，并進(jìn)行模式識別和機(jī)器學(xué)習(xí)，對于未來人機(jī)交互和人工智能研究具有重要意義。

• 人機(jī)界面設(shè)計(jì)與可用性測試：易用性和用戶界面的效率都能夠通過情感變化表達(dá)出來，面部表情在人機(jī)界面設(shè)計(jì)研究方面能夠提供非常有價(jià)值的信息。如在測試新開發(fā)的時(shí)，了解測試者觀看時(shí)會出現(xiàn)怎樣的情緒，觀察他們是否能很輕松地瀏覽。此外，人們更感興趣的是當(dāng)測試參與者觀看的哪一個(gè)部分時(shí)，面部出現(xiàn)“喜悅”或“驚訝”的表情。

• 市場研究：對一個(gè)新型商業(yè)設(shè)計(jì)人們反應(yīng)如何？例如，一個(gè)廣告能否使人們在適當(dāng)?shù)臅r(shí)刻發(fā)笑，或者在目標(biāo)人群間是否存在差異。

• 消費(fèi)者行為：研究參與者在特定的感覺測定系統(tǒng)中對刺激如何響應(yīng)，如研究兒童食用不同食物時(shí)的行為。

• 心理學(xué)：在恐懼研究中人們對特定的刺激如何反應(yīng)？使用面部表情分析系統(tǒng)去分析這些傳統(tǒng)刺激-反應(yīng)實(shí)驗(yàn)中的情緒表達(dá)，了解人們的反應(yīng)：驚訝，生氣，喜悅等等。

• 醫(yī)學(xué)：識別特定腦神經(jīng)心理活動發(fā)生的時(shí)間。

面部表情分析與人機(jī)環(huán)境同步技術(shù)

津發(fā)科技自主研發(fā)ErgoLAB人機(jī)環(huán)境同步平臺正式發(fā)布了面部表情分析系統(tǒng)模塊Facial Emotion Coding System(FECS)，可實(shí)現(xiàn)與多元數(shù)據(jù)同步，完成多通道多模態(tài)大數(shù)據(jù)的整合統(tǒng)計(jì)與分析。隨著FECS面部表情分析功能模塊的發(fā)布，ErgoLAB人機(jī)環(huán)境同步平臺已經(jīng)能夠?qū)崿F(xiàn)在四種不同的實(shí)驗(yàn)環(huán)境下進(jìn)行定量的科學(xué)研究實(shí)驗(yàn)（VR虛擬現(xiàn)實(shí)環(huán)境、虛擬仿真環(huán)境、實(shí)驗(yàn)室和真實(shí)現(xiàn)場自然環(huán)境），實(shí)時(shí)同步采集腦電、眼動、生理、行為、面部表情、動作捕捉、生物力學(xué)和物理環(huán)境等多元數(shù)據(jù)，并進(jìn)行綜合分析。面部表情數(shù)據(jù)可與其他模塊數(shù)據(jù)進(jìn)行同步分析，例如觀察被試在露出害怕表情時(shí)心率、皮電的變化等。zui終數(shù)據(jù)可以用表格、圖表等可視化形式呈現(xiàn)并導(dǎo)出。

津發(fā)科技堅(jiān)持自主研發(fā)與創(chuàng)新的發(fā)展道路，致力于人因工程與工效學(xué)技術(shù)創(chuàng)新與進(jìn)步，為中國教育與科研事業(yè)的發(fā)展提供服務(wù)！

參考文獻(xiàn)

Darwin, C. (1872). The expression of emotion in man and animals. New York: Oxford University Press.

Mehrabian, A. (1968). Communication without words. Psychology Today, 2(4):53-56.

Tomkins, S. S., & McCarter, R. (1964). What and where are the primary affects? Some evidence for a theory. Perceptual and Motor Skills, 18(1), 119-158.