Локализация и компенсация искусственно наложенных текстовых областей в видеопоследовательности

ЛОКАЛИЗАЦИЯ И КОМПЕНСАЦИЯ ИСКУССТВЕННО НАЛОЖЕННЫХ ТЕКСТОВЫХ ОБЛАСТЕЙ В ВИДЕОПОСЛЕДОВАТЕЛЬНОСТИ

Дамов М.В.

Сибирский государственный аэрокосмический университет имени академика М.Ф. Решетнева

В последнее время в профессиональной и бытовой сфере видеообработки решается множество ресурсоемких задач. Примером таких задач может служить наложение спецэффектов и искусственной графики, как в реальном времени, так и во время последующего монтажа. Также в целях повторного использования видеоматериала высоко востребована обратная задача восстановления первоначально отснятого видеоизображения, которая может быть решена удалением искусственно наложенной примитивной графики в виде текстовых и графических областей.

Приведем классификацию и наложенных изображений по их визуальному представлению:

• 
  графические изображения: изображения небольшого размера, как правило, размещенные в одном или нескольких углах кадра или у границ кадра;
  
• 
  титры: текстовые области с информацией о создателях фильма, могут быть размещены в любом месте кадра;
  
• 
  субтитры: текстовые области у верхней или нижней границ кадра с периодически изменяющимся статическим текстом;
  
• 
  бегущая строка: текстовая область у верхней или нижней границ кадра с перемещающимся текстом, перемещение текста осуществляется в соответствии с общепринятыми правилами чтения и письма;
  
• 
  изображение электронных часов и температуры воздуха.
  

Приведем классификацию наложенных искусственных изображений по различным признакам:

• 
  по размеру: мелкое (до 5% экрана), среднее (до 20% экрана), крупное (до 35% экрана);
  
• 
  по местоположению: угловое, вытянутое по горизонтальной границе кадра, вытянутое по вертикальной границе кадра, другое;
  
• 
  по динамике: статическое (изображение всегда постоянно), умеренно изменяющееся (изображение без изменения размеров), полностью динамическое (изображение изменяет размеры, в пределах этих размеров может быть наложена другая видеопоследовательность);
  
• 
  по длительности: постоянное на всей видеопоследовательности, периодически отсутствующее;
  
• 
  по цветности: однотонное, черно-белое, градиентное, с ограниченным количеством цветов, полноцветное;
  
• 
  по прозрачности: прозрачное и непрозрачное;
  
• 
  по наличию контурных линий: с обрамлением, без обрамления;
  
• 
  по наличию собственного фона: с наличием собственного фона, без собственного фона [1].
  

Таким образом, каждую область искусственной графики можно описать несколькими определениями и выбрать нужный набор алгоритмов локализации и компенсации.

В данной работе рассматривается локализация и компенсация текстовых областей искусственно наложенной графики, не обладающих собственным фоном. Приведем основные этапы решения поставленной задачи:

1. Разделение видеопоследовательности на сцены (между монтажными склейками или резкими изменениями ракурса).

2. Локализация областей искусственно наложенной графики.

3. Определение типа сцены: с признаками или без признаков движения в кадре.

4. Компенсация областей искусственно наложенной графики набором алгоритмов в зависимости от типа сцены.

В рамках решения этих задач требуется применить технологии извлечения структурированной и осмысленной информации из видеопоследовательности. Одной из таких технологий является слежение за точечными особенностями видеопоследовательности. Под точечной особенностью понимается такая точка сцены, которая находится на плоском участке поверхности сцены. При этом изображение окрестности этой точки можно отличить от изображений окрестностей всех других точек сцены из некоторой другой окрестности этой точки.

Рассмотрим простую схему детектора точечных особенностей.

1. Детектирование и оценка.

1.1. Найти набор особенностей {F}.

1.2. Определить качество всех особенностей ­  Q{F}.

1.3. Оставить только особенности, параметры которых выше некоторого заранее или динамически определенного порога, получив множество {G}.

2. Слежение и оценка.

Для каждого последующего кадра:

2.1. Найти в текущем кадре новое положение всех особенностей из {G} – слежение.

2.2. Определить текущее качество всех {G}.

2.3. Оставить только те особенности, параметры которых удовлетворяет некоторому критерию.

2.4. Если число отслеживаемых точек уменьшается ниже требуемого, то применить детектор к текущему изображению и добавить в множество {G} новые точки [2].

Чаще всего для отслеживания точечных особенностей изображения (кадра) используется детектор Харриса, когда для каждого пикселя изображения вычисляется значение особой функции отклика угла, оценивающая степень похожести изображения окрестности точки на угол. Для этого рассчитывается матрица: , где I(x,y) – яркость изображения в точке (x, y).

Если оба собственных значения матрицы велики, то даже небольшое смещение точки (x, y) в сторону вызывает значительные изменения в яркости, что и соответствует особенности изображения. Таким образом, функция отклика угла записывается в следующем виде: , где k = 0,04 (коэффициент, предложенный Харрисом); trace(M) – сумма элементов матрицы на главной диагонали.

Точки изображения, соответствующие локальным максимумам этой функции, и признаются особенностями.

Следующий этап работы системы заключается в определении границ сцены. Граница сцены определяется между двумя соседними кадрами, изменение конфигурации особенных точек между которыми соответствует некоторому порогу. Порог определяется как локальный экстремум функции количества особенных точек , где R – текущее положение точки; e – смещение точки; e_n – порог смещения точки; count – функция подсчета количества точек.

Качество определения границы сцены оценивается следующими параметрами:

– точность – вероятность, что найденная граница сцены – верная граница ;

– граничный сигнал – вероятность, что ожидаемая граница будет найдена ;

– F1 – синтетическая мера качества , где C – количество верных срабатываний; F – количество ложных срабатываний; M – количество пропущенных сцен.

Локализация текстовых областей с искусственно наложенной графикой основана на модификации пространственного алгоритма Рареса-Рейндерса-Бьемонда [3]. Алгоритм основан на обнаружении областей экстремальной яркости на основе мягкого и жесткого динамических порогов. Чтобы обнаружить области экстремальной яркости мы должны установить некоторые пороги для обнаружения ярких и тусклых пикселей. Однако использование фиксированных порогов нежелательно, т.к. яркость меняется от кадра к кадру. Жесткий порог является хорошим решением для обнаружения таких областей. С другой стороны слабый порог приведет к большому количеству ложно обнаруженных областей. Чтобы избежать этих проблем, алгоритм обнаружения областей экстремальной яркости использует динамический порог, который работает весьма эффективно в нашем случае. Основная идея динамического порога состоит в том, что сначала устанавливается жесткий порог. Выбираются только области со значениями выше этого порога. Области, полученные на этом шаге расширяются соседними, которые удовлетворяют мягкому порогу. Хорошие результаты по локализации показывает также адаптивный метод обнаружения текстовых зон, приведенный в работе [4].

Определение типа сцены и компенсация сцен с признаками движения в кадре осуществляются с помощью алгоритмов отслеживания особых точке семейства Лукаса-Канаде [2]. Для видеопоследовательности с признаками движения в кадре анализируется структура нескольких предыдущих кадров видеопоследовательности и изменение полученной структуры предыдущих кадров по сравнению с редактируемым кадром. На основе полученных данных принимается решение об изменении текущего кадра с использованием информации из предыдущих кадров с поправкой на изменение структуры кадра. Для видеопоследовательности без признаков движения в кадре анализируется текстура соседних с областью искусственной графики областей в текущем кадре, определяется структура и вероятность ее изменения. С учетом полученных данных заполняется область искусственной графики. Результатом работы системы является восстановленная или частично восстановленная до первоначального состояния видеопоследовательность. Структурные схемы функционирования основных модулей системы приведены на рис.1.


Рис. 1. Структурные схемы работы модуля локализации (слева) и модуля компенсации (справа)
В настоящее время разрабатывается программное обеспечение для проведения экспериментов по локализации и компенсации искусственно наложенных текстовых областей и некоторых других объектов в видеопоследовательностях.

Литература

1. Дамов М.В. Пространственный метод локализации изображений логотипов в видеопоследовательностях // В материалах всероссийской научной конференции молодых ученых «Наука. Технологии. Инновации. НТИ-2008», Новосибирск, ч. 1, 2008. – с.191 – 193.

2. Tommasini T., Fusiello A., Trucco E., Roberto V. Making good features to track better //

Proceedings IEEE Computer Society Conference on Computer Vision Pattern Recognition, 1998, pp. 145-149.

3. Rares A., Reinders M.J.T., Biemond J. Recovery of partially degraded colors in old movie // Proceedings of EUSIPCO-2002, Toulouse, 2003.

4. Зотин А.Г. Адаптивный метод обнаружения текстовых зон в видеопотоке на основе яркостных карт // Вестник Сибирского государственного аэрокосмического университета, Вып. 1(14). – Красноярск, 2007. – с. 34-38.
DETECTION AND RESTORATION ARTIFICIAL OVERLAYED TEXT GRAPHICS AREA IN VIDEO SEQUENCE

Damov M.

Siberian state aerospace university named after academician M.F. Reshetnev

Recently it solves set of complex computing task in professional and amateur area of video processing. For example of this task it cans imposition of special effects and artificial graphics both in real time and next nonlinear cutting. Also it is high claim loopback task of original filmed video sequence restoration for reuse video. This task can solve with delete artificial overlayed graphics as text and graphic areas. Every area of delete artificial overlayed graphics describes some adjectives and we can select required set of detection and restoration algorithms. In this paper it presents detection and restoration text area with artificial overlayed graphics with transparent background. There are main stages of solve of posed a task:

1. Division video sequence to scene (between scene entrances or highly irregular motion).

2. Detection of artificial overlayed graphics area.

3. Determination of scene type with motion in frame and without motion in frame.

4. Restoration of artificial overlayed graphics area the set of algorithms depending on scene type.

Scene entrances are defined between two near frames, feature points configuration change between ones agrees some threshold. The threshold is defined as a local extremum of function of feature point’s quantity.

Detection of artificial overlayed graphics area is based on updating of spatial algorithm by Rares. The algorithm is based on detection of areas of extreme brightness with soft and hard dynamic thresholds.

Definition of type of a scene and restoration of scenes with movement makes with algorithm of tracing of feature points by Lucas-Kanade. For video sequence with movement in frame the structure of several previous frames of video sequence and change of the received structure of the previous frame comparison with an edited frame is analyzed. On the basis of the received data the decision on change of a current frame with use of the information from the previous frames taking into account the amendment on change of structure of a frame is made. For video sequence without movement in a frame the structure near artificial overlayed graphics area in a current frame is analyzed, the frame structure and probability of its change is defined. Based on the received data the artificial overlayed graphics area is filled. Result of work of system is the video sequence restored or partially restored to an original condition.

Now the software is developed for experiments where testing and optimization of used algorithms is made.

