В РФ создали платформу для внедрения моделей ИИ

Решение ориентировано на вывод в промышленную эксплуатацию обученных ML-моделей, больших языковых моделей (LLM) и моделей компьютерного зрения (CV) с возможностью их развертывания на инфраструктуре компании, интеграции с IT-системами через стандартные API, масштабирования, обновления и мониторинга работы.

По информации MWS Cloud, Inference Valve автоматизирует упаковку, развертывание и сопровождение моделей, что способно снизить операционную нагрузку на команды до 70%. С запуском продукта компания выходит на рынок платформ инференса AI-моделей, объем которого оценивается более чем в ₽15 млрд.

Платформа поддерживает CV-модели для анализа видеопотоков, распознавания объектов и действий, а также классификации медицинских изображений. ML- и LLM-модели могут использоваться для генерации и структурирования текстов, анализа данных, прогнозирования бизнес-показателей и автоматизации HR-процессов, включая ответы на стандартные запросы. Отдельное направление — голосовые модели для синтеза и анализа речи, в том числе в колл-центрах.

Inference Valve совместима как с собственными обученными, так и с опенсорсными моделями, интегрируется с ML-платформами и инструментами CI/CD, обеспечивая сквозной цикл — от обучения до внедрения и обновления. Доступны варианты размещения в частном облаке MWS Cloud, на серверах заказчика (on-prem) или в составе программно-аппаратных комплексов, включая закрытые контуры.

Система позволяет работать с несколькими моделями одновременно, управлять версиями, распределять ресурсы, маршрутизировать трафик и масштабировать нагрузку на CPU и GPU. Реализованы сбор и визуализация метрик производительности, телеметрия качества, контроль целевых показателей, интеграция с Prometheus и Grafana, а также функции аудита и анализа инцидентов.

По словам исполнительного директора «МТС Web Services» и CEO MWS Cloud Игоря Зарубинского, активное внедрение ИИ стало необходимым условием конкурентоспособности: спрос на инфраструктуру для AI в MWS Cloud за год удвоился.