연구 초록

최근 인공지능 모델의 성능 향상은 모델 복잡도의 증가에 기인하며, 이는 자원 소모와 환경적 문제를 야기한다. 이를 해결하기 위해 효율적인 딥러닝 모델 학습이 필요하다. Once-for-All Network는 실수형 파라미터를 정수형으로 변환해 계산 자원 요구를 줄이는 양자화 (Quantization) 기법을 이용해 여러 정밀도 수준에서 동시에 학습한다. Once-for-All Network는 양자화에 따른 오차를 최소화하기 위해 양자화의 영향을 사전에 학습하는Quantization-Aware Training(QAT) 프레임워크를 사용한다. 하지만, 모든 정밀도 수준에 대한 학습은 학습 시간을 비약적으로 증가시키는 문제를 동반한다. 본 연구는 Once-for-All Network의 QAT 프레임워크에서 딥러닝 모델을 보다 효율적으로 학습시키는 기법을 제안한다. 구체적으로, 양자화 전후 가중치의 통계적 특성 변화를 확인하고, Weight Bias Correction 기법을 통해 안정적인 학습을 유도해 전체 학습 시간을 줄인다. 이를 이용하여 CIFAR-10 데이터셋의 ResNet20 네트워크에 실험했을 때, baseline에 근접한 정확도를 보였고, 여러 정밀도에 대해 하나의 BatchNorm 레이어만 사용하는 방법으로 학습 시간을 크게 단축할 수 있었다.