인텔 하드웨어 전반에 걸쳐 딥 러닝 모델을 최적화하고 배포하다
훈련된 모델을 중간 형식으로 변환하고 Model Optimizer 및 Inference Engine을 사용하여 CPU, GPU 및 NPU를 처리하며 고성능 추론을 실행합니다. Intel Corporation은 데스크톱 및 엣지 개발을 위한 이 오픈 소스 툴킷을 제공하며, Python 및 C++ API와 Visual Studio 통합을 지원합니다. TensorFlow, PyTorch, ONNX, Keras 및 PaddlePaddle을 지원하며, 양자화 및 GenAI 배포 도구를 포함합니다. 이 툴킷은 저지연 및 고처리량 추론을 위해 Intel 기반 하드웨어를 목표로 하는 AI 개발자 및 엔지니어에게 적합합니다.
OpenVINO는 배포된 모델에 대해 무엇을 합니까?
OpenVINO는 모델을 변환하고 준비합니다 모델 최적화기를 사용하여 TensorFlow, PyTorch, ONNX, Keras 및 PaddlePaddle 아티팩트를 중간 표현으로 변환합니다. 또한, 신경망 압축 프레임워크는 양자화 및 기타 최적화를 적용하여 모델 크기를 줄입니다. 그런 다음 추론 엔진은 지원되는 Intel 프로세서 및 그래픽에서 이러한 IR 파일을 실행하여 동일한 변환된 모델이 다양한 Intel 장치에서 실행될 수 있도록 합니다.
추론 중 시스템 성능에 영향을 줍니까?
툴킷은 실행을 가장 적합한 Intel 장치로 라우팅합니다 따라서 CPU, 통합 또는 분리형 GPU 또는 NPU가 추론을 수행할 수 있습니다. Intel Core, Xeon, Atom 프로세서 및 Arc, UHD 또는 Iris Xe 그래픽에 대한 지원은 명시적이며, 추론 엔진은 런타임 중 지연 시간을 줄이고 처리량을 높이기 위해 장치에 적합한 원시 기능을 목표로 합니다. 개발자는 CPU 부하와 가속기 사용의 균형을 맞추기 위해 장치별 백엔드를 선택할 수 있습니다.
생산 환경에서 안전하고 관리할 수 있습니까?
OpenVINO는 오픈 소스 라이센스 하에 운영되며 개발자 워크플로우와 통합됩니다 Python 및 C++ API와 Visual Studio 훅을 통해. 이 툴킷은 실행 전에 모델 변환 및 최적화 단계를 제공하여 런타임 중에 생산 바이너리를 변경할 필요성을 줄입니다. Open Model Zoo는 사전 훈련된 모델을 제공하며, OpenVINO GenAI는 생성 모델을 위한 파이프라인을 추가하여 팀이 테스트되지 않은 모델 바이너리를 직접 배포하는 대신 검증된 자산을 재사용할 수 있도록 합니다.
인텔 중심 AI 팀에 적합; 모델 및 배포 노하우 요구
이 툴킷은 인텔 하드웨어에서 고성능 추론을 수행해야 하고 모델 변환 단계 및 장치 선택 작업을 할 수 있는 개발자와 데이터 과학자에게 적합합니다. 단 하나의 주의 사항: 모델 최적화 워크플로에 익숙하지 않은 팀은 모델을 IR 형식으로 변환하고 배포 전에 압축 단계를 적용해야 하므로 학습 곡선이 있습니다.
