知识管理论坛 >

2023 , Vol. 8 >Issue 3: 215 - 227

DOI: https://doi.org/10.13266/j.issn.2095-5472.2023.019

综述述评

用户微表情信息表征研究综述

  • 刘洋 , 1 ,
  • 吴佩 , 1 ,
  • 万芷涵 , 1 ,
  • 石佳玉 , 1 ,
  • 朱立芳 , 2
展开
  • 1.武汉大学信息管理学院 武汉 430072
  • 2.广东财经大学人文与传播学院 广州 510320

刘洋，讲师，博士，E-mail:

吴佩，本科生

万芷涵，本科生

石佳玉，本科生

朱立芳，讲师，博士

Copy editor: 刘远颖

收稿日期: 2023-01-28

  网络出版日期: 2025-04-28

基金资助

国家自然科学基金青年项目“突发公共卫生事件公众心理应激信息表征及干预机制研究”(72204190)

教育部人文社科项目青年项目“基于社交机器人的突发公共卫生事件公众心理应激干预研究”(22YJCZH114)

中国博士后面上基金“突发公共卫生事件公众心理应激信息表征及干预机制研究”(2022M722476)

收起

A Review of Information Representation of User's Micro-Expressions

  • Liu Yang , 1 ,
  • Wu Pei , 1 ,
  • Wan Zhihan , 1 ,
  • Shi Jiayu , 1 ,
  • Zhu Lifang , 2
Expand
  • 1. School of Information Management, Wuhan University, Wuhan 430072
  • 2. School of Humanities and Communication, Guangdong University of Finance and Economics, Guangzhou 510320

Received date: 2023-01-28

  Online published: 2025-04-28

Fold

摘要

[目的/意义] 分析国内外微表情识别领域研究现状与趋势，为图书馆与情报领域用户微表情信息表征的研究提供参考。[方法/过程] 基于文献计量的研究方法揭示近10年微表情识别领域的研究动态，分析微表情识别和信息表征的融合趋势、技术基础与困难挑战。[结果/结论] 微表情数据集、微表情识别技术是当前研究热点；技术方法、安全伦理和数据库数量是当今发展的主要挑战；信息传递、信息反馈是图书馆和情报领域未来可发展的新兴研究领域，元宇宙、隐私问题和技术驱动等领域是未来的微表情识别技术的应用趋势。

关键词： 微表情识别; 信息表征; 信息传递; 信息反馈; 文献计量

本文引用格式

刘洋 , 吴佩 , 万芷涵 , 石佳玉 , 朱立芳 . 用户微表情信息表征研究综述[J]. 知识管理论坛, 2023 , 8(3) : 215 -227 . DOI: 10.13266/j.issn.2095-5472.2023.019

Abstract

[Purpose/Significance] To analyze the current status and trends of research in the field of micro-expression recognition at home and abroad, and to provide a reference for the research on micro-expression information representation of users in the field of library and intelligence. [Method/Process] The bibliometric-based research method revealed the research dynamics in the field of micro-expression recognition in the last decade, and analyzed the convergence trends, technical basis and difficult challenges of micro-expression recognition and information representation. [Result/Conclusion] Micro-expression datasets and micro-expression recognition technologies are current research hotspots; technical approaches, security ethics and database volume are major challenges for today's development; information transmission and information feedback are emerging research areas that can be developed in libraries and intelligence in the future, and areas such as meta-universe, privacy issues and technology-driven are future trends in the application of micro-expression recognition technologies.

Key words： micro-expression recognition; information representation; information transmission; information feedback; bibliometrics

表情是人类表达自身情感信息的一种重要的非言语性行为[1]，通过观察表情可以感知对方在明显或不明显行为之下的内在情感与心理活动。微表情既是人脸表情的重要组成部分，也是用户潜在情绪类信息的重要展示途径。
在具体情景下，微表情表现为持续时间短、表情中断和对面部肌肉运动的抑制[2]，因此，其所表达的情绪信息难以用肉眼直接捕捉，且识别难度较大，准确率较低[3]，有较强的局限性。随着计算机视觉、人工智能、情感计算等新兴技术不断发展，微表情的自动化识别取代人工识别已成为现实[4]。微表情自动识别是通过应用有效的刺激源，识别用户在人机交互过程中表露出的微表情，抽取相关信息数据，进而了解用户是如何被动表达其真实感受和想法的一种技术，被视为未来情感人机交互技术的重要研究方向[5]。
信息表征（information representation）是指信息在加工和记载过程中的表达方式[6]，当人们处理外部信息（如输入、编码、转换、存储和提取等）时, 信息则以表征的形式在头脑中呈现[7]，在面部形成了表情。其中，细微、难以察觉的信息则需要通过用户的微表情来识别、分析。微表情识别技术涉及信息科学、计算机视觉、生物学、心理学等研究领域，为信息表征相关的情报领域研究带来新视角，注入了新的活力。微表情是人在外部环境刺激下不经意间的情感表露，微表情识别旨在用计算机处理技术捕捉到这一过程中的信息表达，所以从过程上看，微表情是人在特定环境下反映在面部表情上的信息表征行为。笔者将心理学与计算机科学学科综合下的微表情识别引入信息资源管理领域，探究学科融合视角下两者的交叉与共鸣。
微表情识别和信息表征的相辅相成关系尚未得到充分研究，致使微表情识别技术的应用发展仍受到限制。笔者对人工智能等微表情识别技术进行追踪，通过文献计量的研究方法分析海内外的研究现状和发展动态，对微表情识别环节中所涉及的表征信息进行系统性总结和规范化表述，把握微表情识别中获取信息、利用信息的方式，可以进一步完善现有的理论框架，进一步拓宽情报学、信息科学的研究范式。同时，深刻反思实现过程中的困难和挑战，结合现状提出优化建议，以期促进相关机构和部门科学规划与统筹发展我国微表情识别领域研究及应用，强化微表情识别与人机交互的信息化建设，为信息资源管理等领域利用微表情识别技术提供多种应用场景 [8-9]。

1 用户微表情信息表征的研究现状和发展趋势

1.1 用户微表情信息表征的研究现状

笔者选取 Web of Science 核心合集、知网、谷歌学术等作为研究文献来源。文献类型为“Article or Review paper or Proceedings paper or Early access”，时间跨度为2012—2021年，语种为“English”，主题词根据“微表情识别”的概念和分类进行扩展，最终检索式为 TS=("micro expression recognition" or "subtle expression recognition" or "micro-expression recognition" or "involuntary facial expression" or "subtle facial recognition" or "microexpression recognition" or "lying expression recognition" or "quick expression recognition" or "micro expression analysis" or "micro-expression analysis" or "micro expression detection" or "micro-expression detection")，检索去重后共获得260篇相关文献，以此作为本研究的总样本文献。
根据对样本文献的分析，由研究论文年出版数量（见图1）可知，近10年有关微表情识别的研究文献数量持续增长，并于近几年受到学者的持续关注；从作者发文量（见图2）可知，国内学者的相关研究占据重要地位，发文数量最多，但微表情识别领域整体发文数量相对平衡；从作者的合作网络密度（见图3）可知，两个学者之间的总共引次数达到20及以上的超过50%，低于5的仅有10%，合作密度较大，存在长期的相互交流，主要以3—4人合作团队为主，但各团队之间不同学科的合作交流发展仍需进一步推动；从研究机构发文量可知，上述样本文献隶属于36个不同国家/地区的研究机构，前15名的研究机构中有13所来自中国、1所来自芬兰、1所来自马来西亚，其中，奥卢大学、中国科学院排名前2位，发文数量都占据总文献的15%；从研究机构的合作网络密度（见图4）可知，研究机构之间的合作比较密切，微表情识别的发展迫切需要研究机构之间的合作交流；从出版社发文量可知，样本文献来自于28个出版社，其中，发文数量前5位的分别是IEEE、Springer Nature、Elsevier、MDPI和Assoc Computing Machinery，它们构成了微表情识别领域研究文献的核心来源，且IEEE地位显著（占样本文献的41.2%）。从研究方法可知，2012—2014年微表情识别领域以传统统计方法为主，2015—2018年以机器学习方法为主，2018年至今以深度学习为主。
图1 近10年研究论文出版量
图2 近10年作者发文量
图3 作者合作密度网络
图4 机构合作网络密度

1.2 用户微表情信息表征的发展趋势

1.2.1 高频关键词分析

根据总样本文献中出现的高频关键词，并进一步提炼核心网络得到高频关键词密度网络（见图5）。从“expression” “short duration”“computer vision”等关键词可以看出，微表情识别与人机交互之间存在一定的关联，而用户的信息表征产生于人机交互过程之中，故微表情识别和信息表征之间可能存在一定的关联。从“optical flow”“convolution neural network”“lop top”和“network”等关键词可以看出，微表情识别技术的发展和创新备受关注，且标准系统化的信息表征产生于明确的微表情识别之中。技术的发展不断提升微表情的识别精度，有利于微表情识别和信息表征的关联融合。“onset””“apex frame”“micro expression database”和“feature extraction”等关键词表明，以往学者比较关注微表情的识别机制，从数据集到微表情信息数据的处理，再到微表情特征识别、检测等，而信息表征正好以不同形式出现在这一过程中，因此对微表情识别之后得到的信息数据进行处理、统一表示等可以进一步提高微表情的识别精度，显著降低微表情识别的波动性，可以更好地提高其关联信息表征的正确率。
图5 关键词密度网络

1.2.2 关键词共现聚类分析

对关键词进行聚类分析可以更好地把控微表情识别研究领域的热点主题集群。借助工具 VOSviewer 对得到的样本文献进行聚类分析，得到的主题词贡献网络见图6。图中节点越大，关键词词频越大。由图6中信息可知，微表情识别的研究热度主要集中在面部表情、微表情、情绪的识别；光流法、LBP-TOP（local binary pattern histograms from three orthogonal planes）、CNN（convolutional neural network）等技术的实现和发展；迁移学习、域适应等新领域研究；特征提取、分类、情感等微表情数据的收集和分析。
图6 关键词共现聚类分析

2 用户微表情信息表征的技术发展

微表情识别技术的起步阶段，依靠的是人工微表情识别方法[10]。但微表情持续时间短，出现频率低，未经训练的个体识别能力不佳[11]，故人工方法在工作效率和精确程度上都难以满足研究者对用户信息表征的探究[12]。随着技术的发展，研究者更倾向于利用计算机技术在人机交互的过程中实现微表情的自动识别，从而进一步提高识别、分析用户信息表征的效率。微表情的自动识别技术在用户信息表征研究领域的发展，可以从微表情数据集、现有的数据处理方式、基于传统方法的识别技术和基于深度学习的识别技术4个角度展开分析。

2.1 微表情数据集

微表情数据集为科学的、定量的微表情识别奠定了基础。但微表情区别于普通的面部表情，具有持续时间短、动作强度低、在无意识状态下产生等特点，较难提取。因此，如果要对用户信息表征的分析和预测达到最好的效果，微表情数据集的采集和选取十分重要。对于现存的公开微表情数据集，其主要区别在于帧率、诱导方式和标注方式[13]。目前已知的微表情数据集有：芬兰奥卢大学的SMIC（spontaneous microexpression corpus）[14]和SMIC 2数据集[15]，中国科学院的CASME（Chinese Academy of Science micro-expression）[16]、CASME Ⅱ[17]、CAS(ME)2[18]和CASME Ⅲ[19]数据集，英国曼彻斯特大学的SAMM（spontaneous micro-expression）数据集和SAMM long数据集[20]，中国山东大学联合清华大学、复旦大学团队的MMEW（micro-and-macro expression warehouse）数据集[21]，美国南佛罗里达大学的USF-HD数据集[22]和日本筑波大学的Polikovsky’s数据集[23]。其中，SMIC 2数据集包含3个子集HS、VIS和NIR。上述数据集实验采集参数的总结和对比如表1所示：
表1 常用数据集对比
分类 数据集 年份 样本数
/个		 受试人员
/人		 种族
/个		 微表情种类/种 帧率
非自发微表情数据集 USF-HD 2011 100 N/A 1 6 30
Polikovsky’s 2013 42 10 1 6 200
自发微表情数据集 SMIC 2 2013 HS 164 20 3 3 100
VIS 71 10 25
NIR 71 10 25
CASME 2013 195 35 1 8 60
CASMEⅡ 2014 247 35 1 5 200
SAMM 2016 159 32 13 7 200
CAS(ME)2 2018 57 22 1 4 30
SAMM long 2020 159 29 1 7 200
MMEW 2021 300 36 1 7 200
CASMEⅢ 2022 1109 216 1 7 30

2.2 现有的数据处理方式

在提取人类微表情的特征之前，通常需要对微表情视频片段进行数据预处理，以降低输入复杂度，进一步提高后续有关用户信息表征的工作效率。常见的数据处理方式有数据元处理、数据统一表示等。
（1）数据元处理。人脸检测是微表情自动识别的第一步，过滤视频中出现人脸的干扰帧，提取出有用的人脸视频帧[24-25]，即数据元。接下来便对识别出的数据元进行处理，包括裁剪人脸、人脸矫正。裁剪人脸[26]以特定的位置来控制和放大人脸的特征点；人脸矫正负责标准化所提取到的人脸数据，解决角度不同、尺度不一致等问题，从而提高实际任务中的识别率。
（2）数据统一表示。用户的微表情所折射出的信息依赖计算机对识别结果的处理。但目前现存的微表情数据样本少，且微表情评判标准制定困难，难以满足算法检测学习的需求，因此现阶段的研究更趋向于使用数据统一表示以提高模型检测、判断的效率和容错率。常见的数据统一表示方式有裁剪、缩放、旋转和翻转等。采取不同的算法对数据进行处理，可以获取更为精准的标准化数据，进而有利于特征因子的提取，达到提高检测效率的目的[27]。
微表情识别研究是从提取到的实验者的面部微表情中分析出可能相对应的信息行为，作为研究资料在后续的数据分析工作中使用。如果选取的处理方法不当, 就很可能触犯实验者的个人隐私[28]。一旦研究的数据库对外公开，由于信息主体隐私保护意识薄弱、信息获取要求配合度低以及相关立法滞后、由知情同意信息缺乏以及信息自主失效引发的隐私伦理问题不仅会侵犯实验者的隐私与伦理[29]，更会造成其对实验缺乏信任。因此，微表情的数据处理方式需要兼顾效率与安全，以达到促进信息表征研究的可持续发展目的[30]。

2.3 基于传统方法的识别技术

微表情识别的早期工作，大多是基于传统机器学习的方法，研究人员一般通过设计特征提取算子，提取微表情片段中的相应特征，并对特征进行分类识别[31]。基于传统方法的微表情识别可以分为基于纹理特征的方法和基于几何变换特征的方法，具体如表2所示：
表2 传统表情特征提取方法
分类 主要方法 方法描述
基于纹理特征的算法 局部二值模式（local binary patterns, LBP）方法[32] 定义在像素3×3的领域内，以领域中心像素为阈值，比较周围8个像素点与其之间的关系，得到该领域中心像素点的LBP值，并用这个值反映该区域的纹理信息
3个正交平面—局部二值模式（local binary pattern histograms from three orthogonal planes）方法[33] 在LBP基础上，引入时间维度建立3个正交平面对图片序列的特征进行表达
方向梯度直方图（histogram of oriented gradient, HOG）方法[34] 将图像进行多层分块处理，计算每个子块的梯度直方图作为特征向量，最后逐层拼接作为每个图像的特征向量
基于几何变换的算法 光流法（optical flow）[35] 将运动图像函数f(x,y,t)作为基本函数，根据图像强度守恒原理建立光流约束方程，通过求解约束方程，得到微表情各序列帧之间的关系
定向光流直方图（histogram of oriented optical flow, HOOF）法[36] 在光流法基础上对光流直方图进行改进，对光流值归一化处理，最后得到以光流为主要导向的光流直方图
主方向平均光流（main directional mean optical flow feature, MDMO）法[37] 根据人脸标志点将人脸划分为36个区域，计算得到每个区域的向量，选取这些区域的最大光流极坐标向量，并用其平均值来代表该区域特征向量
三角化时域模型（delaunay-based temporal coding model, DTCM）法[38] 使用主观模型对人脸序列进行分割，并通过相同位置的三角区域对比和其特征计算来表示微表情的动态变化的过程

2.4 基于深度学习的识别技术

采用传统的机器学习方法对高相似性和密集性的微表情图片进行特征识别，存在训练难度大、准确性较低、数据集数量较小、容易导致过拟合等问题，无法满足日益精确的效率需求。2018年，研究者将深度学习（deep learning, DL）引入微表情识别[39]，深度学习作为机器学习的一个新研究方向，在语音和图像识别等方面都已经取得了卓越进展[40]，可以有效解决微表情识别在种类、数量、速度上存在的问题，且处理方式更加简洁，还能更精准地识别特征信息，进一步提升微表情信息表征能力，现已超越传统方法成为主流。基于深度学习方法的微表情识别可以分为基于关联学习的方法、基于区域学习的方法和基于迁移学习的方法，如表3所示：
表3 深度学习特征提取方法
分类 主要方法 方法描述 优点
基于关联学习的方法 基于卷积神经网络（CNN）[41] CNN通过多层的卷积、池化、全连接，降低图片维度，将图片的特征转换为一维向量，从而得到更为全面的信息 识别效果比传统方法更好，通常情况下网络越深，提取的特征越抽象，也越具有代表性
基于卷积神经网络和长短期记忆网
络（long short-term memory, LSTM）网络架构[42] 		使用 CNN 提取二维平面上的特征，将其输入于LSTM结构中，通过LSTM结构的记忆单元，同时由3个门来控制结构的变化，从有效学习到长期依赖信息 卷积和LSTM组合提取微表情序列中的时空特征能够更加有效地描绘微表情特征
三维卷积神经网络（3DCNN）[43] 在二维卷积神经网络基础上，提取时间特质，考虑时间维度的帧间运动信息，主要运用于视频分类、动作识别等领域 准确率高，三维卷积能够充分提取微表情时间、空间上的特征
基于卷积神经网络和注意力机制架构[44] 提取微表情片段中的光流与光学应变，将其输入到浅层3DCNN中，提取光流特征向量。在迁移模型的基础上，加入卷积注意力模块以提取人脸特征向量。最后将两个特征向量拼接起来进行分类 注意力机制通过分配不同系数或者权重来突出重要信息和抑制不相关信息，并且随着网络的加深，能够捕捉到更多维度的特征
基于区域学习的方法 多通道级联[45] 使用3个并行的多通道卷积网络从不同的面部区域学习融合全局和局部特征，利用联合嵌入特征学习来探索基于融合区域的特征在嵌入空间中的身份不变和姿态感知的表达表示 性能和鲁棒性优于现有的先进方法
基于迁移学习的方法 基于迁移学习的跨域人脸表情识别[46] 利用迁移学习将基于深度卷积神经网络的人脸识别模型VGGFace，从人脸识别领域迁移到面部表情识别领域，并引入聚焦损失函数作为目标函数来降低数据不均衡的影响 采用端到端的深度学习方法自动提取特征的效果更好，微表情识别的准确率更高

3 微表情识别与信息表征研究面临的挑战

从已取得的成就来看，微表情识别技术发展趋于成熟，基于深度学习的微表情识别方法已超越传统的机器学习方法，可以更精准地预测和分析用户试图掩饰或隐藏的真实情绪和内在表征信息，成为技术创新的中心课题[47]。信息表征的分析和预测已取得较好的成效[48]，面部表情的识别更加精准，数据元的处理方式更加多样化，并且已在高效课堂教学[49]、社会治理[50-51]领域得到较好的实际运用，但同时也不可避免地会存在一些困难与挑战。

3.1 技术方法优化

微表情具有明显不同于宏观表情的特征，如持续时间短、变化微弱等，这也大大增加了微表情识别的难度[52]。同时，通过识别微表情分析出的信息表征，其数据并非客观直接的无损原版。由于感情的细微性，其表现出的信息往往存在欺骗性，也显得更加模糊[53]。更具鉴别性的特征能够更准确地描述人脸表情，由于受到环境和情感表情的复杂挑战，大多数表情识别系统与技术难以捕捉微表情特征，无法达到很高的识别率[54]。目前技术更新迭代速度较快，实时集成表情识别技术（real-time emotion facial expression recognition, REFER）、人脸表情识别网络（facial-expression recognition network, FERNet）[55]和卷积神经网络（CNN）理论模型[56]等技术不断涌现。在过去发展的基础上促进了微表情识别准确性及信息表征分析的关联性，但仍存在模型波动较大、信息传递失真等技术问题，需要进一步研究。

3.2 人种存在差异及数据量问题

微表情识别与信息表征之间联系的建立需要大量的数据支撑，而较大规模地采集面部表情的难度较大，大规模面部微表情数据库的共建、共享发展不足[57]。在非受控环境下采集的网络数据，如FERPlus和RAF-DB等数据库，经过多人众包标注可靠性有所增加，但是标注数量也仅在3万左右[58]。另一方面，由于遗传、地域、文化的不同，不同人种、不同民族在表达情感时面部表情具有一定差异性。例如，仅从蒙古族、维吾尔族、壮族、藏族人脸表情图像的研究来看，面部主要特征部件的变动数据因不同民族而存在显著差异[59]。而针对特定人群研发特定微表情数据库的工作耗时费力，应用面又较为狭小，不适合作为长时期的发展方向。这就需要以共建共享为指导思想进行新技术开发[60]，解决微表情识别与信息表征研究的发展困境。

4 用户微表情信息表征未来研究方向

笔者在文献调研过程中全面分析了微表情识别及信息表征相关研究，结合调研内容，得出以下几个未来发展和潜在研究方向。

4.1 从信息表征到信息传递

微表情往往在人撒谎时出现，表达了人试图压抑与隐藏的真正情感[61]，换言之，撒谎等信息行为其实是微表情的主要来源，微表情的自觉或不自觉的目的就是“掩盖”某种信息行为。两者有着密不可分的相互联系，这种联系一定程度上体现在微表情与信息行为的传递过程，宏表情识别测验、短暂表情识别测验（brief affect recognition test, BART）、微表情识别测验（Japanese and Caucasian brief affect recognition test, JACBART）这3种针对抑郁症患者展开的测验即能体现出两者的现实应用性。
微表情通过神经生理条件传递信息行为。当某种情绪被触发，皮层下大脑会发送一种无意识的反射式的信号给面部神经，当这种信号足够强大时，真实表情将会泄露很短的时间，然后自主控制恢复，这就形成了微表情[62]。用户微表情信息表征的传递持续不断地进行，在此期间又传递出更多的信息[63]，产生新的信息行为，并循环往复地映射到新一轮的微表情之中。这种信息传递的循环符合信息的无限性，同时也证明了信息行为与微表情之间强大的传递关系。

4.2 从信息传递到信息反馈

从用户行为的本质出发，无论是从直观或是从技术的角度，都是通过分析某种反馈进行识别。起初，实验者利用CASME自发式微表情数据集技术，带着“他是否在撒谎？”的疑问，观看时录制人脸视频。当他们发现某些关键帧的微表情变换并做出判断时，其实就是得到了信息表征传达的反馈[64]。挑眉可能代表讶异，微笑可能代表喜悦，这是人们从直观上很容易得到有关信息行为的反馈结果[65]，然而这种轻微的区别是存在阈值的，信息行为的回馈会因阈值上呈现或阈值下呈现产生明显的区别[66]。
基于“微表情”的安检模式，从安检工作的实际出发，通过对面部微表情的捕捉和分析，并进行适时反馈，对于识别和研判可疑人员、风险预警、处置决策等方面具有重要的实用意义[67]。“微表情”识别的安检模式以微表情理论研究为基础, 并与心理学及大数据、人工智能、信息通信相结合。安检人员对受检人员适时引导刺激, 及时观察、分析其“微表情”的变化；同时，智能系统模块将视频中截取的人脸图像进行黑名单数据检索和“微表情”识别, 实现对可疑人员的甄别与预警。美国交通运输安全部已经把基于微表情分析的行为观测技术应用到机场的安检[68]。而微表情识别技术一旦应用到教育、医疗、社会治理等诸多领域，微表情采集中以帧为单位收集的图像视频信息及各类微表情数据集都有被传播和泄露的潜在风险[69]，参与者的个人隐私将可能受到侵犯[70]。因此，如何在保障数据安全的同时，在个人隐私保护和面部信息的搜集、存储、运用、传递之间达到平衡，是未来需要探究的方向之一。

5 结语

用户产生微表情的过程也是信息表征的过程。在前期分析和文献计量的基础上，笔者从现状、趋势、技术和挑战四大方面对微表情识别中的信息表征研究进行了系统分析，有利于把握微表情识别中的信息规律，对微表情识别中的信息管理和人机交互建设具有重要的理论意义和实践意义。与此同时，该研究领域不可避免地存在技术开发、信息保护和人种差异等一系列问题，对微表情识别领域下的信息行为研究提出了新的挑战，值得研究者持续深耕。在图书馆与情报领域，微表情识别过程中的信息传递、信息反馈是未来可发展的新兴研究领域，微表情识别领域的应用趋势可以在元宇宙、隐私问题和技术驱动等领域持续发展。

刘洋：进行研究设计，开展实验，撰写论文；

吴佩：开展实验，撰写论文；

万芷涵：开展实验，撰写论文；

石佳玉：开展实验，撰写论文；

朱立芳：进行研究设计，修改论文。

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序
[1]
吴奇,申寻兵,傅小兰.微表情研究及其应用[J].心理科学进展,2010,18(9):1359-1368.

[2]
Ekman P, Friesen W V. Detecting deception from the body or face[J]. Journal of personality and social psychology, 1974, 29(3):288-298.

[3]
HOUSE C, MEYER R. Preprocessing and descriptor features for facial micro-expression recognition [EB/OL].[2022-07-30].https://web.stanford.edu/classlee368/Project_Spring_1415/Reports/House_Meyer.pdf.

[4]
陈子健,朱晓亮.基于面部表情的学习者情绪自动识别研究——适切性、现状、现存问题和提升路径[J].远程教育杂志,2019,37(4):64-72.

[5]
Zeng Z h, Pantic M, Roisman G I, et al. A survey of affect recognition methods: audio, visual, and spontaneous expression[J].IEEE trans on pattern analysis and machine intelligence,2009,31(1):39-58.

[6]
ZHANG J, DONALD A N. Representations in distributed cognitive tasks[J]. Cognitive science,1994,18(1):87-122.

[7]
阳长征.危机事件中网络信息表征对用户持续分享意愿影响研究[J].图书情报工作,2019,63(21):105-116.

[8]
石程旭.监狱民警应用微表情分析的思考[J].法制博览,2022(5):27-29.

[9]
崔小洛.基于微表情追踪的课堂教学效果即时反馈系统设计[J].无线互联科技,2022,19(4):52-54.

[10]
李婧婷,东子朝,刘烨,等.基于人类注意机制的微表情检测方法[J].心理科学进展,2022,30(10):2143-2153.

[11]
Frank M G, Herbasz M, Sinuk K, et al. I see how you feel: training laypeople and professionals to recognize fleeting emotion[C]// The annual meeting of the International Communication Association. New York: International Communication Association, 2009: 1-35.

[12]
Pfister T, Li X, Zhao G, et al. Recognising spontaneous facial micro-expressions[C]//2011 international conference on computer vision. Piscataway: IEEE, 2011: 1449-1456.

[13]
徐峰,张军平.人脸微表情识别综述[J].自动化学报,2017,43(3):333-348.

[14]
Pfister T, Li X B, Zhao G Y, et al. Recognising spontaneous facial micro-expressions[C]//Proceedings of the 2011 IEEE international conference on computer vision. Piscataway: IEEE,2011:1449-1456.

[15]
Li X B, Pfister T, Huang X H, et al. Aspontaneous micro-expression database: inducement, collection and baseline[C]//Proceedings of the 10th IEEE international conference and workshops on automatic face and gesture recognition. Piscataway: IEEE,2013:1-6.

[16]
Yan w J, Wu Q, Liu Y J, et al. CASME database: a dataset of spontaneous micro-expressions collected from neutralized faces[C]//Proceedings of the 10th IEEE international conference and workshops on automatic face and gesture recognition. Piscataway: IEEE, 2013:1-7.

[17]
Yan W J, Li X, Wang S J, et al. CASME II: an improved spontaneous micro-expression database and the baseline evaluation[J]. PloS one, 2014, 9(1): e86041.

[18]
Qu F, Wang S J, Yan W J, et al. CAS (ME)^2: a database for spontaneous macro-expression and micro-expression spotting and recognition[J]. IEEE transactions on affective computing, 2017, 9(4): 424-436.

[19]
Li J, Dong Z, Lu S, et al. CAS (ME)3: a third generation facial spontaneous micro-expression database with depth information and high ecological validity[J]. IEEE transactions on pattern analysis and machine intelligence, 2022,45(3): 2782-2800.

[20]
Yap C H, Kendrick C, Yap M H. SAMM long videos: a spontaneous facial micro-and macro-expressions dataset[C]//2020 15th IEEE international conference on automatic face and gesture recognition. Piscataway: IEEE, 2020: 771-776.

[21]
Ben X,Ren Y, Zhang J, et al. Video-based facial micro-expression analysis: a survey of datasets, features and algorithms[J]. IEEE transactions on pattern analysis and machine intelligence, 2021,44(9): 5826-5846.

[22]
Pfister T, Li X, Zhao G, et al. Recognising spontaneous facial micro-expressions[C]//2011 international conference on computer vision. Piscataway: IEEE, 2011: 1449-1456.

[23]
Polikovsky S, Kameda Y, Ohta Y. Facial micro-expression detection in hi-speed video based on facial action coding system (FACS)[J]. IEICE transactions on information and systems, 2013, 96(1): 81-92.

[24]
Rowley H A, Baluja S, Kanade T. Neural network-based face detection[J] IEEE transactions on pattern analysis and machine intelligence, 1998, 20(1): 23-38.

[25]
Schapire E, Singer Y. Improved boosting algorithms using confidence-rated predictions[J].Machine learning,1999,37(3):297-336.

[26]
COOTES T F, TAYLOR C J, EDWARDS G J. Active appearance models[C]//European conference on computer vision. Berlin: Springer,1998:484-498.

[27]
Wadhwa N, Rubinstein M, Durand F, et al. Phase-based video motion processing[J]. ACM transactions on graphics, 2013, 32(4):1-10.

[28]
姚海燕,李健,邓小昭.网络用户信息行为研究中的隐私问题探讨[J].情报探索,2010(7):14-16.

[29]
周霞,王萍,王美月,等.政府开放数据用户认知影响因素研究——先验图式调节效应[J].情报科学,2022,40(9):159-166.

[30]
蒋福明,曾慧平.人脸识别技术应用中的隐私伦理问题及其消解路径[J].山西高等学校社会科学学报,2020,32(9):19-24.

[31]
李思宁. 基于深度学习的面部微表情识别方法研究[D]. 徐州：中国矿业大学, 2020.

[32]
Ojala T, Pietikainen M, Maenpaa T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE transactions on pattern analysis machine intelligence, 2002,24(7): 971-987.

[33]
Zhao G, Pietikainen M. Dynamic texture recognition using local binary patterns with an application to facial expressions[J]. IEEE transactions on pattern analysis and machine intelligence, 2007, 29(6): 915-928.

[34]
Dalal N, Triggs B. Histograms of oriented gradients for human detection[C]//IEEE computer society conference on computer vision & pattern recognition. Piscataway: IEEE, 2005: 886-893.

[35]
Lucas B D, Kanade T. An iterative image registration technique with an application to stereo vision[C]//Proceedings of the 7th international joint conference on artificial intelligence. San Francisco: Morgan Kaufmann Publishers, 1997, 2: 674-679.

[36]
Chaudhry R, Ravichandran A, Hager G, et al. Histograms of oriented optical flow and binet-cauchy kernels on nonlinear dynamical systems for the recognition of human actions[C]//Proceedings of 2009 IEEE conference on computer vision and pattern recognition. Miami: IEEE, 2009: 1932-1939.

[37]
Liu Y J, Zhang J K, Yan W J, et al. A main directional mean optical flow feature for spontaneous micro-expression recognition[J]. IEEE transactions on affective computing, 2015, 7(4): 299-310.

[38]
Lu Z, Luo Z, Zheng H, et al. A delaunay-based temporal coding model for micro-expression recognition [C]//Asian conference on computer vision. Singapore: Springer, 2014: 698-711.

[39]
Takalkar M A, Xu M. Image based facial micro-expression recognition using deep learning on small datasets[C]//2017 international conference on digital image computing: techniques and applications. Piscataway: IEEE, 2017: 1-7.

[40]
钱付兰,李建红,赵姝,等.基于深度混合模型评分推荐[J].南京航空航天大学学报,2019,51(5):592-598.

[41]
刘德志, 梁正友, 孙宇. 结合空间注意力机制与光流特征的微表情识别方法 [J]. 计算机辅助设计与图形学学报, 2021,33(10):1541-1552.

[42]
Khor H Q, See J, Phan R, et al. Enriched long-term recurrent convolutional network for facial micro-expression recognition [C]// IEEE international conference on automatic face & gesture recognition. Piscataway: IEEE, 2018: 667-674.

[43]
YAO L, XIAO X, CAO R, et al. Three stream 3D CNN with SE block for micro-expression recognition[C]//2020 International conference on computer engineering and application. Piscataway: IEEE, 2020:439-443

[44]
李星燃,张立言,姚树婧.结合特征融合和注意力机制的微表情识别方法[J].计算机科学,2022,49(2):4-11.

[45]
LIU Y Y, DAI W, FANG F, et al. Dynamic multi- channel metric network for joint pose-aware and identity-invariant facial expression recognition[J]. Information sciences,2021(578):195-213.

[46]
孔慧芳,钱世超,闫嘉鹏.基于不均衡数据与迁移学习的面部微表情识别[J].合肥工业大学学报(自然科学版),2020,43(7):895-900.

[47]
刘洋,马莉莉,张雯,等.基于跨模态深度学习的旅游评论反讽识别[J].数据分析与知识发现,2022,6(12):23-31.

[48]
阳长征.危机事件中网络信息表征对用户持续分享意愿影响研究[J].图书情报工作,2019,63(21):105-116.

[49]
韩丽,李洋,周子佳,等.课堂环境中基于面部表情的教学效果分析[J].现代远程教育研究,2017(4):97-103,112.

[50]
夏乾馨,付强.应用微表情识别技术实现公安预警模式的探讨[J].中国防伪报道,2021(2):82-85.

[51]
康桐瑞.论微表情分析在我国侦查讯问中的应用[J].上海公安学院学报,2019,29(4):28-33.

[52]
Kang J, CHEN X Y, LIU Q Y, et al. Research on a micro-expression recognition technology based on multimodal fusion[J/OL]. Complexity, 2021[2023-03-02]. https://www.hindawi.com/journals/complexity/2021/5221950/.

[53]
Buhari A M, Ooi C P, Baskaran V M, et al. Invisible emotion magnification algorithm (IEMA) for real-time micro-expression recognition with graph-based features[J]. Multimedia tools and applications, 2022, 81(7): 9151-9176.

[54]
Liu J, Wang H, Feng Y. An end-to-end deep model with discriminative facial features for facial expression recognition[J]. IEEE access, 2021, 9: 12158-12166.

[55]
El Zarif N, Montazeri L, Leduc-Primeau F, et al. Mobile-optimized facial expression recognition techniques[J]. IEEE access, 2021, 9: 101172-101185.

[56]
Zhang G, Lv G, Binsawad M, et al. Dynamic nonlinear expression recognition technology using neural network and attention mechanism[J]. Fractals, 2022, 30(2): 2240097.

[57]
陈子健,朱晓亮.基于面部表情的学习者情绪自动识别研究——适切性、现状、现存问题和提升路径[J].远程教育杂志,2019,37(4):64-72.

[58]
彭小江,乔宇.面部表情分析进展和挑战[J].中国图象图形学报,2020,25(11):2337-2348.

[59]
马艳准. 多民族面部表情理解分析技术研究[D].沈阳: 东北大学,2012.

[60]
张旭东,刘洋.组态视角下元宇宙图书馆用户接受意愿影响因素研究[J].图书馆理论与实践,2023(3):73-85.

[61]
于明,钟元想,王岩.人脸微表情分析方法综述[J].计算机工程,2023,49(2):1-14.

[62]
殷明,张剑心,史爱芹,等.微表情的特征、识别、训练和影响因素[J].心理科学进展,2016,24(11):1723-1736.

[63]
樊振佳,宋正刚,刘鸿彬,等.贫困地区返乡创业人员信息获取不平等表征及其根源分析[J].情报科学,2019,37(10):81-86,113.

[64]
刘汝涵,徐丹.视频放大和深度学习在微表情识别任务上的应用[J].计算机辅助设计与图形学学报,2019,31(9):1535-1541.

[65]
姜婷婷,吴茜,徐亚苹,等.眼动追踪技术在国外信息行为研究中的应用[J].情报学报,2020,39(2):217-230.

[66]
吴冉,任衍具.微表情的启动效应研究[J].应用心理学,2011,17(3):241-248.

[67]
刘缘,庾永波.在安检中加强“微表情”识别的思考——基于入藏公路安检的考察[J].四川警察学院学报,2019,31(1):61-68.

[68]
Shen X, Wu Q, Fu X. Effects of the duration of expressions on the recognition of micro expressions[J]. Journal of Zhejiang University science B, 2012, 13(3): 221-230.

[69]
刘洋,马莉莉,张雯,等.基于跨模态深度学习的旅游评论反讽识别[J].数据分析与知识发现,2022,6(12):23-31.

[70]
谭春辉,陈晓琪,梁远亮,等.隐私泄露事件中社交媒体围观者情感分析[J].情报科学,2023,41(3):8-18.

Options
文章导航

/

〈 〉