脑机接口（Brain-Computer Interface, BCI）通过脑信号直接对外设进行控制，不经由周围神经系统。运动想象（Motor Imagery, MI）由于其不需要依赖视听觉等外界刺激，是一种重要的脑机接口范式。脑电图（Electroencephalogram, EEG）因其操作简单、便携性高等特点，是广泛应用的一种脑机接口信号。在基于EEG的MI-BCI中，大多研究聚焦于对不同肢体的运动想象进行解码，取得了一定的进展，但是这限制了对外部设备直观的控制。虽然想象同一肢体不同关节的运动可以在不造成认知失联的前提下对机械臂等外设提供精细控制，但是由于EEG空间分辨率较低等原因，目前基于EEG的此类精细MI解码性能限制了其应用。功能性近红外光谱（functional Near-Infrared Spectroscopy, fNIRS）因其具有较高的空间分辨率和高便携性已经被用于MI-BCI中。将EEG和fNIRS两种信号进行结合，有望提升精细MI范式的解码性能。

本研究设计了一个精细MI范式，包括四个类别（手、腕、肩和静息状态），并采集了16名被试的EEG和fNIRS双模态脑活动数据。通过时频分析，发现3个类别的EEG信号都存在明显的对侧占优的事件相关去同步化（Event-Related Desynchronization, ERD）现象，且在对侧运动区的α频段和β频段存在显著差异。4个类别的fNIRS信号激活模式在时间维度上存在显著差异，基于峰值的脑地形图，显示4个类别在空间上也存在一定区别。

本研究提出了一种双模态融合网络以解码精细MI任务。在该网络框架中，两个基于卷积神经网络（Convolutional Neural Networks, CNN）的特征提取器被用于提取每个模态的特征，并在特征层面上采用多模态传输模块（Multi-Modal Transfer Module, MMTM）对两个模态的特征进行融合。所提方法四分类准确率达到59.22%，与单模态网络的结果相比，所提的双模态方法可以显著提升分类性能，并且显著高于所有对比方法。

综上所述，本学位论文所验证了EEG和fNIRS双模态数据在精细MI任务中的有效性，表明所提出的双模态融合方法可以提升精细MI任务的解码，本研究有望为基于MI任务的精细BCI控制系统提供技术支持。