近年来，深度神经网络发展迅猛，在计算机视觉、语音识别、自然语言处理等很多领域取得了巨大突破，在很多任务上的表现已经超过人类。深度神经网络技术的不断成熟使得其在各行各业的需求越来越强烈。目前，深度神经网络已经在视频监控、辅助医疗、自动驾驶、电子商务等行业得到了广泛应用。另外，随着智能手机、平板电脑等移动智能终端的普及，移动端的深度神经网络部署受到越来越多的关注，具有巨大的市场价值和应用前景。然而，深度神经网络性能不断提升的同时，网络结构变得越来越复杂，需要的存储以及消耗的计算资源也在不断增加。移动设备对模型存储、内存占用以及计算量等都有着非常严苛的要求，过高的模型复杂度限制了深度神经网络在移动设备上的大规模推广。因此，研究深度神经网络的压缩与加速方法，减小模型存储，提高网络运行效率，能够推动深度神经网络在移动端的部署以及在各个领域的应用，具有重要的研究价值。

本文针对深度神经网络压缩与加速问题，从深度二值神经网络优化和训练后量化两个方向展开深入研究，具体研究内容和创新点归纳如下：

提出了一种基于交替方向乘子法和目标传播的深度二值神经网络训练方法。二值神经网络将浮点型权重和激活量化为+1和-1，不仅可以大幅减少模型存储和内存占用，还能将复杂的浮点运算转换为位运算，能够显著提高计算效率。但二值神经网络的性能损失较大，一方面，同时将权重和激活二值化，使得各层之间量化误差的耦合加重；另一方面，采用直通估计计算量化函数的梯度会带来梯度不匹配问题。针对上述问题，本文提出了一种基于交替方向乘子法和目标传播的深度二值神经网络训练方法，利用交替方向乘子法实现权重二值化和激活二值化的解耦，首先优化一个浮点权重二值激活网络，然后将浮点权重映射到二值权重，得到二值神经网络；为了避免直通估计带来的梯度不匹配问题，本文采用目标传播算法为每层的输出设置优化目标，通过定义的层损失函数优化每层的输出，实现二值激活网络的训练。通过在三个图像分类数据集上的实验，证明了本文方法可以提高二值神经网络的准确率。

提出了一种基于压缩器的快速非均匀量化方法。采用自适应量化步长的非均匀量化能够比均匀量化更好的拟合预训练模型的权重分布，可以提高训练后量化的精度。迭代求解的非均匀量化方法能够获得较高的准确率，但后续优化的复杂度较高。直接求解的非均匀量化方法拥有较低的复杂度，但低比特量化时的精度损失较大。为了兼顾非均匀量化的效率和准确率，本文通过分析压扩量化的近似误差，对压扩量化进行改造，提出了一种基于压缩器的快速非均匀量化方法，通过非线性映射、线性等分分类和计算聚类中心，无需迭代即可实现非均匀量化。另外，本文利用知识迁移网络优化量化模型的输出和中间层特征，可以减小累积误差。考虑不同激活通道的差异，本文还提出了一种基于加权熵的知识迁移损失，可以有效降低目标损失。通过在图像分类、目标检测和语义分割任务上的大量实验，验证了提出方法的有效性，本文方法比K均值聚类快12.1-37.5倍，并且知识迁移可以大幅提高量化网络的性能。

提出了一种基于进化算法的层位宽优化方法。深度神经网络中的不同参数对量化的敏感程度不同，对所有参数指定统一的量化位宽并不能充分利用有限的计算资源。通过层级的、通道级的、甚至参数级的位宽优化，可以在不增加消耗的情况下提高量化模型的性能。针对层级的位宽优化，本文提出了一种基于进化算法的层位宽优化方法。考虑到直接在测试集上进行策略评估比较耗时，本文提出了一种高效的量化策略评估方法，利用少量无标签样本快速实现量化策略评估；另外，由于随机变异的效率较低，本文提出利用各层权重对不同位宽的量化敏感度优化变异方向。通过上述优化，可以快速、准确地完成搜索。图像分类、目标检测任务以及语义分割任务上的实验结果表明，本文方法能够高效实现层级的混合精度量化。