Red Hat интегрирует NIMs Nvidia в OpenShift AI

07.05.2024 | Фекла Дербинова

Компания Red Hat углубляет свое партнерство с Nvidia в области ИИ, объявив на этой неделе на Red Hat Summit 2024 в Денвере, что она работает над интеграцией микросервисов NIM AI inference от Nvidia в Red Hat OpenShift AI, чтобы помочь ускорить разработку приложений генеративного ИИ для пользователей OpenShift.

Это заявление было сделано после того, как Nvidia анонсировала набор микросервисов NIM для ускорения доступа к различным моделям ИИ на своем мероприятии Nvidia GTC в апреле. Тогда в качестве партнеров были заявлены такие компании, как ServiceNow и SAP, а Red Hat также сообщила, что будет поддерживать доступ к Nvidia NIM для организаций, использующих OpenShift для создания приложений генеративного ИИ.

Теперь, в рамках этого последнего сотрудничества, Nvidia обеспечивает взаимодействие NIM с KServe, проектом с открытым исходным кодом на базе Kubernetes для высокомасштабируемых приложений искусственного интеллекта и одним из основных поставщиков Red Hat OpenShift AI, согласно Red Hat, которая добавила, что это поможет обеспечить непрерывное взаимодействие для микросервисов NIM в будущих итерациях OpenShift AI.

Компании заявили, что преимущества интеграции включают:

Без такой интеграции организациям было бы сложно и долго внедрять различные модели ИИ в разработку приложений, и эта проблема будет только расти по мере появления новых моделей, по словам Джастина Бойтано (Justin Boitano), вице-президента по корпоративным продуктам в NVIDIA.

«Каждая корпоративная команда разработчиков хочет как можно быстрее и безопаснее запустить свои приложения генеративного ИИ в производство. Интеграция Nvidia NIM в Red Hat OpenShift AI знаменует собой новую веху в нашем сотрудничестве, поскольку поможет разработчикам быстро создавать и масштабировать современные корпоративные приложения, используя оптимизированную по производительности основу и внедряя модели в любом облаке или центре обработки данных».

Стивен Хьюлс, вице-президент и генеральный менеджер подразделения искусственного интеллекта компании Red Hat, добавил: «Даже за последние девять месяцев разнообразие и объем моделей, которые выходят на рынок, даже не включая все варианты разных размеров с различными критериями производительности, стали ошеломляющими и... практически неподъемными для заказчиков, чтобы они могли идти в ногу со временем».

Хьюлс продолжил: «Красота того, что мы делаем для этих микросервисов, заключается в том, что мы будем предлагать Nvidia NIM из openshift AI, так что у клиентов будет возможность из OpenShift AI легко развертываться в них. Итак, нажмите пару кнопок, и вы сможете выбрать любой из Nvidia NIM, развернуть его в OpenShift AI, а затем с помощью этого интерфейса масштабировать и управлять им наряду с другими интеллектуальными приложениями или моделями, которые вы запускаете».