chenxiaowei
Weighted-Entropy-based Quantization

Updated 2 months ago

基于加权熵对深度神经网络进行量化的方法

原文链接

作者:

摘要

当使用嵌入式或移动设备进行开发时,由于硬件资源的限制,将原始神经网络进行量化(优化前向预测的开销)成为一种高效的优化手段。量化时需要对其进度损失进行严格的控制。本文旨在提供一种新颖的量化权重和激活输出的方式(基于加权熵)。与二值神经网络不同,我们的方法是进行多位(bit)量化,也就是将权重和激活输出可以被量化到对应位数,从而达到对应的精度。这有利于更灵活地利用不同级别的量化,达到精度和性能的折衷。此外,我们的方案提供了一种基于传统训练算法的自动化量化流程,从而节省了为量化网络所花费的时间。根据对实际神经网络模型的评估:图像分类(AlexNet, GoogLeNetResNet-50/101),物体检测(基于ResNet-50R-FCN)和语言建模(一种 LSTM 网络),我们的方法在损失很小精度的前提下,对模型大小和计算量都有大幅度的消减。同样,与目前已知的量化方式相比,我们的方式在工作量更低和相同的资源约束的前提下,具有更高的精度。