Что такое оптический поток?

Оптический поток описывает компьютеризированное отслеживание движущихся объектов путем анализа различий в содержании видеокадров. В видео и объект, и наблюдатель могут находиться в движении; компьютер может найти подсказки, которые отмечают границы, края и области отдельных неподвижных изображений. Обнаружение их прогрессии позволяет компьютеру следить за объектом во времени и пространстве. Технология применяется в промышленности и научных исследованиях, включая эксплуатацию беспилотных летательных аппаратов (БПЛА) и систем безопасности.

Два основных метода генерируют это компьютерное зрение: основанное на градиенте и основанное на особенностях обнаружение движения. Оптический поток на основе градиента измеряет изменения интенсивности изображения в пространстве и времени. Он сканирует плотную плоскость поля потока. Потоки на основе объектов перекрывают края объектов внутри фреймов, чтобы отметить прогресс.

Этот метод напоминает стабилизацию изображения видеокамеры, позволяя зафиксировать вычисленное поле зрения в кадре, несмотря на дрожание камеры. Алгоритмы оптического потока вычисляют совпадения между изображениями в последовательности. Компьютер делит каждое изображение на квадратные сетки. Наложение двух изображений позволяет сравнивать, чтобы найти наилучшие совпадения квадратов. Когда компьютер находит совпадение, он проводит линию между точками различия, иногда называемыми иглами.

Алгоритмы работают систематически от грубых до точных разрешений. Это позволяет отслеживать движение между изображениями с разным разрешением. Компьютер не распознает объекты, а только обнаруживает и отслеживает те характеристики объектов, которые можно сравнивать между кадрами.

Вычисление векторов оптического потока может обнаруживать и отслеживать объекты, а также выделять доминирующую плоскость изображения. Это может помочь в роботизированной навигации и визуальной одометрии, а также в ориентации и положении робота. Он отмечает не только объекты, но и окружающие окрестности в трех измерениях, и дает роботам более реалистичное пространственное понимание. Векторы, вычисленные в плоскости, позволяют процессору выводить и реагировать на движения, извлеченные из кадров.

Некоторые недостатки метода оптического потока включают потерю данных из-за квадратов, которые компьютер не может сопоставить между изображениями. Эти непревзойденные области остаются свободными и создают плоские пустоты, снижая точность. Четкие края или устойчивые элементы, такие как углы, способствуют анализу потока

Подробные факторы могут быть скрыты, если наблюдатель также находится в движении, поскольку он не может отличить определенные элементы от кадра к кадру. Анализ делит движение на кажущийся глобальный поток и локализованное движение объекта или эгоцентричность. Пространственно-временные изменения краев или интенсивности изображения теряются при движении камеры и общем потоке движущейся среды. Анализ улучшается, если компьютер может устранить влияние глобального потока.