视觉语音情感识别

　　目录前言第1章 绪论 11.1 视觉语音情感识别的产生背景 11.2 视觉语音情感分析的研究内容 21.3 视觉语音情感识别的应用领域 31.3.1 表情识别的应用 31.3.2 语音情感识别的应用 5参考文献 6第2章 视觉语音情感识别技术概况 72.1 情感识别框架 72.2 情感描述模型 72.2.1 情感的定义 72.2.2 情感的分类 82.3 视觉语音信号预处理 102.3.1 人脸表情图像预处理 102.3.2 情感语音信号预处理 122.4 情感特征提取 162.4.1 视觉信息情感特征提取 162.4.2 语音情感特征提取 222.5 情感特征选择 242.6 常用的情感识别模型 252.6.1 基于相似性的情感识别模型 252.6.2 基于连接机制的情感识别模型 262.6.3 基于概率模型的情感识别模型 322.6.4 基于集成学习的情感识别模型 432.7 视觉语音情感识别的挑战 432.8 视觉语音情感识别的新动向 44参考文献 45第3章 基于视觉信息的情感特征提取方法 483.1 概述 483.2 基于小波分解和优选VLBP的表情特征提取方法 493.2.1 表情图像的小波分解 493.2.2 小波分解图像的情感特征提取 503.2.3 实验结果与分析 513.3 基于多频域LBP-TOP的人脸表情特征提取方法 533.3.1 LBP-TOP算子 533.3.2 多频率图像分块LBP-TOP特征提取 563.3.3 实验结果与分析 573.4 基于VLBP与光流的混合情感特征提取 583.4.1 眼睛区域的小波分解分块VLBP特征提取 583.4.2 特征点白动标注的嘴部光流特征提取 593.4.3 基于混合特征的表情识别 623.4.4 实验结果与分析 623.5 基于Gabor变换的表情图像特征提取方法 633.5.1 小波变换与多分辨率分析 633.5.2 Gabor变换 663.5.3 人脸表情图像的网格化 683.5.4 基于Gabor小波变换的表情弹性图的构造 693.5.5 实验结果与分析 713.6 基于积分图像的表情特征提取方法 723.6.1 积分图像的概念 723.6.2 积分图像表情特征提取 733.6.3 实验结果与分析 763.7 种加权矩形提取表情特征的方法 773.7.1 矩形模板设计 773.7.2 基于加权矩形的表情特征提取 783.7.3 实验结果与分析 803.8 本章小结 81参考文献 82第4章 基于视觉信息的情感识别方法 844.1 概述 844.2 最大间隔最小体积球形支持向量机 844.2.1 最大间隔球形支持向量机 844.2.2 最大间隔最小体积球形支持向量机 854.2.3 模型性能分析 894.2.4 基于最大间隔最小体积球形支持向量机的表情识别 914.3 混合特征结合分类树的细微表情识别算法 924.3.1 混合特征提取 924.3.2 基于分类树的表情识别 954.3.3 实验结果与分析 974.4 基于模糊深隐马尔可夫模型的图像序列表情识别方法 984.4.1 模糊深隐马尔可夫模型 994.4.2 模糊深隐马尔可夫模型的特性 1014.4.3 基于模糊深隐马尔可夫模型的图像序列表情识别 1064.4.4 实验结果与分析 1074.5 本章小结 112参考文献 113第5章 语音情感特征选择提取方法 1145.1 概述 1145.2 情感语音库的录制 1145.2.1 语音情感数据库 1155.2.2 音视频情感数据库 1155.2.3 音视频情感的有效性分析 1155.3 语音情感特征提取方法 1165.3.1 传统声学语音情感特征分析与提取 1165.3.2 基于导数的非个性化语音情感特征提取方法 1245.3.3 基于多重分形理论的语音情感特征提取方法 1345.4 话音情感特征选择方法 1425.4.1 基于神经网络贡献分析的语音情感特征选择 1425.4.2 基于遗传算法的语音情感特征选择和分类器参数优化方法 1435.4.3 基于类集／类对的两级语音情感特征选择方法 1455.4.4 基于扩展测地距离的语音情感特征有效性分析方法 1465.4.5 实验结果与分析 1485.5 基于流形学习的语音情感特征降维 1535.5.1 Isomap算法描述 1535.5.2 ELE算法描述 1545.5.3 基于增量流形学习的情感特征降维方法 1555.5.4 实验结果比较与分析 1565.5.5 相关方法比较 1575.6 本章小结 159参考文献 159第6章 语音情感识别方法 1636.1 概述 1636.2 基于选择性特征的SVM决策树的语音情感识别方法 1636.2.1 情感混淆度 1636.2.2 基于SVM 对一算法的语音情感识别 1646.2.3 基于SVM决策树和选择性特征的语音情感识别 1666.3 基于改进有向无环图的分层语音情感识别方法 1736.3.1 基于SVM的有向无环图 1736.3.2 改进有向无环图的构造算法 1746.3.3 基于测地距离的待识别样本鉴别度量算法 1756.3.4 基于SVM的改进有向无环图的构造 1786.3.5 语音情感识别实验 1796.3.6 相关工作比较 1836.4 本章小结 184参考文献 184第7章 视觉语音融合情感识别方法 1867.1 基于混合特征和多HMM融合的图像序列表情识别 1867.1.1 多HMM融合的图像序列表情识别方法 1867.1.2 实验结果分析与比较 1887.2 基于D-S证据理论的多粒度语段融合语音情感识别 1897.2.1 D-S证据理论简介 1897.2.2 多粒度情感语句分段方法 1907.2.3 多粒度语段融合情感识别算法描述 1927.2.4 实验结果分析与比较 1937.2.5 相关工作比较 1957.3 基于对象模糊密度赋值的决策级层次式融合算法 1957.3.1 模糊测度、模糊密度和模糊积分 1957.3.2 类模糊密度与混淆矩阵 1967.3.3 对象模糊密度 1977.3.4 基于对象模糊密度赋值的决策层融合识别算法 1987.3.5 基于模糊密度的人脸表情融合识别 1997.3.6 实验结果与分析 2007.4 具有噪声过滤功能的分类器协同训练半监督主动学习算法 2017.4.1 具有噪声过滤功能的协同训练半监督主动学习算法 2017.4.2 基于NF-CT-SSAL训练算法的半监督主动学习人脸表情识别 2057.4.3 实验结果与分析 2067.5 基于可分度和支持度的模糊密度赋值融合识别算法 2097.5.1 分类器的初始模糊密度 2107.5.2 分类器的自适应模糊密度赋值 2117.5.3 算法描述 2137.5.4 算法在人脸表情识别中的应用 2147.5.5 实验结果与分析 2147.6 本章小结 218参考文献 218第8章 情感分析的应用 2208.1 概述 2208.2 人脸表情动面中的逼真人脸重构 2208.2.1 般人脸模型 2208.2.2 特定人脸模型重构 2218.2.3 实验结果与分析 2318.3 基于表情动作单元参数的逼真表情动画方法 2338.3.1 ERI介绍 2348.3.2 图像的对准方法及分部位表情比率图库的建立 2358.3.3 表情动画中细微纹理生成 2378.3.4 实验结果与分析 2408.4 情感分析在E-Iearning环境中应用 2428.4.1 基于规则的本体推理 2428.4.2 E-Iearning环境巾的本体规则推理情感激励 2458.4.3 情形分析及情感激励实例 2468.4.4 相关工作比较 2468.5 本章小结 247参考文献 247

　　情感识别是近年来模式识别和人机交互领域的研究热点之一，它对推动自然的人机交互和类人机器人等技术发展有着重要的作用。《视觉语音情感识别》共8章，首先介绍当前视觉语音情感识别技术研究概况，接着介绍基于视觉信息的情感特征提取方法和情感识别方法、语音情感特征选择提取方法和情感类别识别方法，然后介绍视觉语音融合的情感识别方法，最后介绍情感分析在人脸动画生成和E-Iearning环境中的应用。