Методы видеонавигации

3 метода видео-навигации

МЕТОД 1: ОПРЕДЕЛЕНИЕ ПРИРАЩЕНИЯ КООРДИНАТ ЧЕРЕЗ АНАЛИЗ

ВИДОВОГО ПОТОКА ДАННЫХ

Выделение характерных точек в каждом последовательном кадре

(как правило, угловые элементы)

Нахождение аналогичных точек (соответствующих пар)

Находим эпиполярную геометрию для двух снимков

Изменение 3D положения камеры (ЛА)

ДанныеИНС

ФильтрКалмана

Скорректированные координаты

Счисление пройденного пути на основе анализа потока видеоданных, поступающего с оптико-электронных приборов наблюдения. В каждом кадре автоматически находятся десятки характерных точек. Анализ их перемещения от кадра к кадру даёт информацию о движении объекта. Большое количество таких точек гарантирует точность определения перемещения, курса и углов ориентации. Основным ограничением метода является возможность только относительного определения координат и ориентации, что может привести к росту ошибки навигации со временем. Другим его недостатком является неполнота – все расстояния находятся с точностью до произвольной постоянной. Тажке могут быть причны, приводящие к невозможностью найти соответствующие пары точек на снимках: недостаточная освещенность, невозможность использования в случае облачности, невозможность использования над гладкой поверхностью без характерных особых точек (плоская, равномерно освещеная водная поверхность «без ряби» и волн; однородная и ровная песчаная пустыня без растительности)

44

55

Поиск особых точекПоиск особых точекДетектор по минимальным Детектор по минимальным

собственным значениямсобственным значениям

I(x,y)I(x,y) – – интенсивность пикселя интенсивность пикселя (x,y)(x,y) , , w(x,y) w(x,y) – – весовая функция по окрестности весовая функция по окрестности S(xS(x00,y,y00)). .

Чтобы точка Чтобы точка (x(x00,y,y00) ) являлась особой, матрицаявлялась особой, матрица MM должна иметь должна иметь

два больших положительных собственных значения в этой точке.два больших положительных собственных значения в этой точке.

Функция отклика угла: Функция отклика угла: 66

Для каждого пикселя изображения (x0,y0) рассчитывается матрица:

• Харрис ввел следующую функцию отклика Харрис ввел следующую функцию отклика угла:угла:

гдегде k=(0.04÷0.15)k=(0.04÷0.15) – параметр Харриса – – параметр Харриса – подбирается эмпирически.подбирается эмпирически.

77

Поиск особых точекПоиск особых точекДетектор ХаррисаДетектор Харриса

Слежение за особенностямиСлежение за особенностями

В области поиска В области поиска RR ищется такой вектор ищется такой вектор (∆(∆x, x, ∆∆yy)), , что сумма по окрестности минимальна:что сумма по окрестности минимальна:

где где IIn-1n-1 и и IInn – яркость пикселей в предыдущем и – яркость пикселей в предыдущем и

текущем кадрах;текущем кадрах;

S(xS(x00,y,y00)) – – окрестность сравнения;окрестность сравнения;

RR – – область поиска особенности.область поиска особенности.88

Оптический поток — это изображение видимого движения объектов, поверхностей или краев сцены, получаемое в результате перемещения наблюдателя (глаз или камеры) относительно сцены.

Оптический поток, видимый с самолета

Апертурная проблемаОднозначно можно

определить скорость лишь в направлении градиента.

Метод Лукаса - Канаде

Решение апертурной проблемы – взять оерестность точки (с разными направление градиента) и считать скорость в этой окрестности одинаковой для всех точек.

Метод Лукаса - Канаде I(x,y,t) = I(x + δx,y + δy,t + δt)

Эпиполярная геометрияЗная положение камер

можно найти эпиполярную геометрию и матрицу F. Зная набор соответствующих точек можно найти матрицу F, а затем решить обратную задачу найти относительное положение камер с точностью до масштаба

Связь не между точками, а между прямыми

Вырожденные случаи

1) Все точки лежат в одной плоскости2) Расстояние между оптическими

центрами равно нулю –поворот камерВ этом случае взаимное положение

камер не однозначно – зато связь между токами однозначна - гоморафия

x`=Hx – это не линейная функция в общем случае

МЕТОД 2: : ОПРЕДЕЛЕНИЕ МЕСТОПОЛОЖЕНИЯ И УГЛОВ ОРИЕНТАЦИИ

С ИСПОЛЬЗОВАНИЕМ ЦИФРОВОЙ МОДЕЛИ РЕЛЬЕФА.

Compute n feature correspondences

Compute pose and ego-motion thatbest explain the features movement

Pose and ego-motion

Two consecutive images

2n constraints (u, v)

12 variables

DTM

Использование данных рельефа позволяет частично компенсировать недостатки первого метода. Используя перекрытие потока фото- видео- данных, восстанавливается рельеф местности. Сравнение с цифровой моделью рельефа местности позволяет определить местоположение летательного аппарата. В отличие от Метода 1 при использовании сканирующего лазерного высотомера возможно определение местоположения в отсутствие дневного освещения, однако, аналогично методу 1 рассматриваемый подход не работает над водной или песчаной поверхностью и даёт существенную ошибку в отсутствие явно выраженного рельефа. Основное преимущество перед предыдущим методом – возможность найти не только относительное, но и абсолютное положение камеры, поскольку знание карты привязывает камеру к конкретным точкам на местности с известными абсолютными координатами. Это ведет к тому, что ошибка навигации не растет со временем. Основной недостаток метода – чувствительность к слишком большим ошибкам исходных координат камеры, полученных от инерционным навигационных приборов, которые метод должен затем уточнять.

МЕТОД 3 : ОПРЕДЕЛЕНИЕ МЕСТОПОЛОЖЕНИЯ И УГЛОВ ОРИЕНТАЦИИ

С ИСПОЛЬЗОВАНИЕМ АРХИВНОГО СНИМКА

Актуальный вид с камеры БЛА

Архивный космический снимок

«Оконтуренное» изображение

«Оконтуренное» изображение

Поиск минимума функции 6 переменных

Координатыместоположения

Побитовое вычитание

Подбор параметров:Высота, координаты,

ориентация

Использование цифровых снимков местности так же позволяет определить координаты местоположения и ориентацию путём сравнения текущей видовой информации. Этот метод обеспечивает высокую точность определения абсолютных координат даже при осутствии рельефа. Он также позволяет найти абсолютное положение камеры, даже когда ее примерные координаты вообще неизвестны. Это достигается путем сканирования всей базы данных со снимкам местности и сравнения их с текущим снимком. Кроме того, имея «привязанный» снимок можно с высокой точностью определять координаты наземных объектов, обнаруженных оптико-электронной аппаратурой.

Example translation

• Image: 360 x 240 pixels• Model: 115 x 199 pixels• f1 = 0.8 and f2 = 0.5• Sun-4 (SPARCstation 2)

Runtime ± 20 seconds• 2 matches

Image model overlaid

Introduction Hausdorff distance Comparing portions HD grid points HD rigid motionHD translation examples

Images Huttenlocher D. Comparing images using the Hausdorff distance

Гиперспектральное изображение

Естественные наземные ориентиры

Landmarks

Летные испытания в Израиле