OpenVINO int8 모델 변환 2024.5 버전
OpenVINO 2022 버전의 경우는 아래 블로그에 int8 모델 변환이 잘 설명되어 있습니다만,https://da2so.tistory.com/65 OpenVINO 뽀개기 (3) OpenVINO QuantizationOpenVINO 모델을 optimization하기 위한 방법으로 Quantization에 대해 설명드립니다. 1. Quantization이란? 기존 Torch, ONNX model의 parameters(i.e. weights, bias)들은 각각이 float32로 표현되어 있습니다. Quantization은 floda2so.tistory.com2024.5 버전으로 오면서 INT8 모델 변환하는 것이 NNCF (Neural Network Compression Framework) 사용으로 변..
2024.12.14