Если вы уже используете Triton-inference-server в производственной среде для обслуживания моделей глубокого обучения, вам может пригодиться Triton-model-analyzer , чтобы найти оптимальные параметры конфигурации для каждого модель, оптимизирующая пропускную способность и задержку . В этом посте я хочу рассказать о том, как я это делал и о своих результатах. Модели глубокого обучения добились значительных успехов в ряде областей, от анализа изображений и видео до обработки естественного..