Новый датчик позволяет смартфонам надежно останавливать движение на фотографиях

Французский стартап Prophesee объединяется с Qualcomm для создания датчика изображения нового типа, который, по их словам, позволит смартфонам захватывать и останавливать быстрые действия лучше, чем что-либо, доступное в настоящее время.

Многолетнее соглашение позволит Qualcomm внедрить технологию Prophesee в свои чипы. Qualcomm не производит датчики изображения, поэтому вместо того, чтобы заменять существующие, которые уже поставляются другими брендами, технология будет вмешиваться, когда делается фотография, чтобы справиться с движением и изменениями освещения.

Спортивные и динамичные сцены трудно заморозить в движении при съемке на телефоны без размытия во время движения. Съемка при слабом освещении также часто приводит к размытым результатам. Парижский стартап говорит, что хочет исправить это, разбивая изменения в сцене до каждого пикселя.

Идея состоит в том, чтобы уменьшить мощность, задержку и обработку данных, необходимые для того, чтобы помочь традиционным сенсорам на основе кадров обрабатывать невидимые иначе пиксели. Предполагается, что датчики и алгоритмы Prophesee Metavision имитируют работу человеческого глаза и мозга, удаляя размытость изображения и артефакты изображения.

В датчик Metavision встроено логическое ядро, которое позволяет ему действовать как нейрон. Prophesee называет каждый активируемый пиксель «событием». Когда пиксели активируются, они разумно и асинхронно определяют количество фотонов, управляемых динамикой сцены. Чтобы предотвратить размытие, датчик на основе событий синхронизируется с захватом изображения на основе кадра датчика изображения и «заполняет промежутки между кадрами и внутри них микросекундными событиями, чтобы алгоритмически извлекать чистую информацию о движении и устранять размытость движения».

Этот процесс фокусируется только на изменениях сцены с чрезвычайно высокой скоростью. Он ничего не делает с точки зрения обработки или композиции, поскольку игнорирует пиксели, которые не показывают никакого движения, чтобы не мешать тому, как датчик изображения телефона захватывает изображение. В результате должно получиться высококачественное изображение, которое замораживает движение, но при этом не теряется никаких программных вычислений бренда телефона.

Пока неясно, что Qualcomm планирует делать и когда она внедрит основанную на событиях технологию Metavision Prophesee, хотя, скорее всего, это будет в чипсетах Snapdragon, которые обычно используются во многих телефонах Android.

Также неясно, будет ли это работать со всеми фотографиями, сделанными в приложении камеры, включая ручные изображения, изображения с высоким разрешением и RAW, или потребуется, чтобы телефоны активировали его в определенном режиме. Prophesee заявляет, что выпустит комплект для разработки, совместимый со своими сенсорными технологиями, где-то в 2023 году.

Источник: youtube.com