ИИ совершенствует различные технологии компьютерного зрения

14.02.2024 | Фекла Дербинова

Автономные автомобили способствуют развитию технологий технического зрения, но производители нацелены на другие практические приложения, поскольку широкое внедрение самоуправляемых автомобилей занимает больше времени, чем ожидалось.

Виртуальная реальность (VR) и дополненная реальность (AR) нуждаются в улучшенных камерах и сенсорах для практического использования, а тенденция к «разворачиванию роботов» для промышленных приложений, таких как складские операции и производство, требует более интеллектуальных технологий зрения, которые охватывают от 2D-камер до 4D LiDAR.

Наложение искусственного интеллекта (ИИ), машинного обучения и нейронных сетей на технологии компьютерного зрения еще больше расширяет возможности применения широкого спектра датчиков и камер.

Промышленный сегмент развивается быстрее автомобильного

Генеральный директор SiLC Technologies Мехди Асгари говорит, что наибольший потенциал для технологии 4D plus компании лежит в промышленной сфере. «Нам нужны совместные роботы». В интервью Fierce Electronics он сказал, что многие клиенты SiLC хотят автоматизировать свои склады с помощью роботов, потому что не могут найти достаточно людей для выполнения этой работы.

По его словам, разработка передовых технологий технического зрения требует инвестиций, которые должны быстро окупаться, поэтому SiLC не фокусируется исключительно на автомобильном рынке из-за его длительных циклов квалификации. «Мы сфокусировались на промышленности и робототехнике, и это принесло свои плоды», - говорит он.

По словам Асгари, компания SiLC все чаще сталкивается с такими областями применения, как инспекция, в том числе дистанционная, а также строительство и геодезия.

По его словам, «плюсом» технологии SiLC является возможность добавления информации о поляризации. Компания также работает над предоставлением мультиспектральной информации.

По словам Асгари, клиенты SiLC ценят микрометровую и миллиметровую точность технологии лидарной модуляции непрерывной волны (FMCW), получившей название Eyeonic, а также скорость, что очень важно для промышленных роботов. «Это позволяет им прогнозировать и осуществлять зрительно-моторную координацию роботов, что в противном случае было бы очень сложно».

По словам Асгари, поляризация позволяет обнаруживать более совершенные материалы, в том числе видеть сквозь более прозрачные материалы, такие как пузырчатая пленка. Кроме того, по его словам, они могут устанавливать столько датчиков, сколько захотят.

Энергопотребление и стоимость данных - ключевые факторы

По словам Асгари, FMCW LiDAR не является новой технологией, но она сложна. «Это очень сложный оптический прибор, и технические характеристики, которые необходимы для различных компонентов, очень высоки». Традиционно, по его словам, FMCW был довольно дорогим и громоздким, но компания SiLC интегрирует все в один фотонный чип, используя современные процессы производства полупроводников.

По словам Асгари, кремниевое производство обеспечивает доступное масштабирование сложных устройств и технологий в больших объемах. «Это действительно высокопроизводительные оптические схемы, которые мы создаем на одном кремниевом чипе».

Стоимость выбранной технологии технического зрения зависит от многих факторов, сказал Fierce Electronics Радж Хаттой, старший директор по сенсорным системам и IoT в Infineon Technologies. По его словам, энергопотребление - это один из факторов, но также важна стоимость обработки и перемещения собранных данных. «Облачные хранилища не бесплатны».

По словам Хаттои, LiDAR любого типа остается самым дорогим из всех четырех широких категорий датчиков, что означает, что он используется только в случае крайней необходимости, например, для обработки данных в режиме реального времени для камер самодвижущихся автомобилей.

Камера с меньшим энергопотреблением может оставаться включенной постоянно, но это означает, что она постоянно собирает данные, отметил он. «Ультразвуковой радар имеет самое большое преимущество, потому что вы можете разместить радар за любым пластиковым или стеклянным устройством, так что вам не придется менять промышленный дизайн», - сказал он. «Это оптимальное соотношение энергопотребления и производительности».

Сенсоры на кристалле становятся все меньше

Независимо от типа датчика, тенденция к миниатюризации сохраняется, хотя механические датчики имеют ограничения по миниатюризации.

Датчик LiDAR на чипе для автомобильных приложений теперь доступен в корпусах размером 5 мм x 10 мм, отметил Хаттой, а самый маленький корпус радарного датчика имеет размеры 3 мм x 6 мм, включая антенны на корпусе, что уменьшает общий размер решения.

По словам Хаттои, в то время как такие компании, как SiLC, ориентируются на промышленные приложения, а другие - на автомобильную промышленность, портфель датчиков Infineon с самого начала был ориентирован на потребительские приложения, включая смартфоны. Те компании, которые начали с автомобильной промышленности и пытаются перенести свою технологию в потребительский сегмент, сталкиваются с проблемами энергопотребления и форм-фактора.

Линейка Xensiv компании Infineon - это широкий ассортимент датчиков, включающий магнитные датчики, датчики тока, датчики давления, акустические датчики, датчики трехмерного изображения и монолитные микроволновые интегральные схемы (MMIC) для радарных датчиков. Совсем недавно компания анонсировала магнитный датчик положения XENSIV TLI5590-A6W, предназначенный для промышленных и потребительских применений, таких как промышленные датчики, человеко-машинные интерфейсы, медицинские и многоцелевые камеры.

По словам Хаттои, сейчас компания Infineon находится в том положении, когда она может масштабировать свою технологию потребительских датчиков на промышленные и автомобильные. По его словам, для последнего требуется множество различных сенсорных технологий. «Все утверждают, что могут сделать все с помощью одного датчика, но это неправда», - сказал он.

Поскольку переход к автономным автомобилям происходит медленнее, чем ожидалось, возможности автомобильных датчиков изменились. По словам Хаттои, системы мониторинга салона для обеспечения функций безопасности с использованием радара набирают обороты, поскольку радар может проникать в материалы, в то время как LiDAR требует прямой видимости.

Практические приложения для передового компьютерного зрения

Еще один растущий сегмент сенсорных технологий - «возрастные технологии» для наблюдения за пожилыми людьми. По словам Хаттои, радарные датчики Infineon используются в учреждениях по уходу за престарелыми для обнаружения падений. Радар хорошо работает в сценариях, где важна конфиденциальность. По его словам, он может обнаружить, если пожилой человек упал в душе, без использования камеры, что позволит ему жить независимо, но при этом иметь возможность получить помощь, если она ему понадобится.

По словам Хаттои, радар может делать некоторые вещи, которые не под силу LiDAR, как и датчики времени полета (ToF), которые занимают свое место в VR/AR-приложениях, поскольку обеспечивают детализацию и благоприятный профиль мощности.

По словам Хаттои, сочетание алгоритмов искусственного интеллекта и машинного обучения с различными сенсорными технологиями позволяет повысить интеллектуальность, особенно на границе. Это также открывает возможности для так называемого «физического ИИ», который использует методы ИИ для решения проблем путем наблюдения за миром с помощью датчиков или изменения мира с помощью исполнительных устройств.

Компания Ultraleap объединяет сенсоры и тактильные технологии, чтобы сделать взаимодействие человека с цифровыми мирами более естественным. Компания появилась в результате слияния Ultra Haptics и Leap Motion, которые объединили тактильные датчики с ультразвуковыми волнами и технологию компьютерного зрения для отслеживания движения рук, чтобы улучшить пользовательские интерфейсы VR/AR.

Вице-президент Ultraleap по XR Мэтт Туллис рассказал в интервью Fierce Electronics, что компания предвидит, что VR/AR изменит мир во многих отношениях как для потребителей, так и для бизнеса. Устройство слежения за руками Ultraleap использует две камеры и несколько инфракрасных светодиодов. Светодиоды пульсируют синхронно с частотой кадров камеры, а камеры отправляют данные на компьютер для отслеживания руки человека - изображения рук предоставляют данные для машинного обучения, которые превращаются в набор XYZ-координат для 26 различных точек руки человека.

«Вы можете нажимать на кнопки, делать жесты и махать руками, вступать в социальные взаимодействия и совершать реальные действия», - говорит Туллис.

По его словам, отслеживание рук станет для VR /AR тем же, чем был сенсорный экран для мобильных телефонов. «Наша цель - сделать использование VR и наших устройств руками как можно более простым», - сказал он.

По его словам, эти интерактивные возможности VR поддерживают самые разные сценарии обучения, в том числе обучение бортпроводников тому, как проводить предполетные и послеполетные проверки безопасности на различных типах самолетов без необходимости использования реального самолета. По словам Туллиса, среди других сценариев - обучение для ресторанов быстрого обслуживания. «Мы работаем с компаниями, которые обучают людей готовить молочные коктейли и жареных цыплят. Сотрудники могут получить травмы, работая с фритюрницами и печами для пиццы. Там много пищевых отходов».

Технология Ultraleap обеспечивает сенсорную обратную связь, которая позволяет пользователям «почувствовать», что они держат в руках в виртуальном сценарии. Одна из демонстраций компании - виртуальное дерево бонсай, которое позволяет пользователям ухаживать за виртуальным деревом бонсай с помощью гарнитуры и усовершенствованной тактильной матрицы. Пользователи могут «поливать» дерево с помощью массива и чувствовать капли воды, стекающие с пальцев, или дарить ему «солнце» и ощущать тепло ладоней.

ИИ расширяет возможности датчиков

Туллис отметил, что VR появился еще в 1970-х годах, когда он был в значительной степени ориентирован на военное применение, а затем стал полезен во многих корпоративных случаях, чтобы улучшить обучение и сделать его более эффективным с точки зрения затрат.

Сегодня AR/VR и другие приложения, зависящие от датчиков, отличаются наличием искусственного интеллекта и машинного обучения для обработки данных. «Мы получаем очень четкие и ясные изображения вашей руки, которые затем можно скормить нашей нейронной сети», - говорит Туллис. «Наши нейронные сети специально оптимизированы для того, чтобы видеть изображения вашей руки и воссоздавать их в цифровом виде».

По его словам, по мере совершенствования нейронных сетей можно будет использовать камеры более низкого качества и новые типы датчиков.

По его словам, нейронные сети могут быстро обучаться, что позволяет с высокой точностью классифицировать изображения. «Наша сеть становится все умнее, чтобы научиться воссоздавать руку независимо от типа поступающего изображения», - говорит Туллис. «Нейронные сети сейчас в значительной степени являются основой большинства компьютерного зрения».