Обработка и передача изображений fast 3d object model reconstruction algorithm by stereo pair

FAST 3D OBJECT MODEL RECONSTRUCTION ALGORITHM BY STEREO PAIR

Toupitsyn I.

Siberian state aerospace university named after academician M.F. Reshetnyev
Currently the volumetric data presentation becomes more and more popular. To represent the data in a volume way we need to build their three-dimensional models. Building of the data manually is hard and there is automatic three-dimensional models reconstruction need. Here we consider the fast algorithm of 3D model reconstruction by stereo pair. Stereo pair is a source data. Also often uses reference points (the points, which 3D coordinates are know). These points allow us to escape ambiguity of reconstruction.

Before reconstruction we need to make a stereo pair images matching (finding points on the left and right images, which are projections of the same area of three-dimension object). This algorithm uses Zero-Mean Normalized Cross-Correlation factor (ZNCC). This factor is used to estimate of correspondence of comparison areas.

The next step is 3D model building. This step includes three substeps:

1. 
   Fundamental matrix calculation
   
2. 
   Cameras matrixes calculation on fundamental matrix
   
3. 
   For each pair of correspond points calculation of three-dimensional coordinates of point in the space.
   

The calculation of matrixes is known as camera calibration. Camera self-calibration is possible by making rather simple assumptions on the internal parameters. In practice, however, one often tries to use the prior information of internal parameters as much as possible. Typically, it is possible to know the aspect ratio rather accurately, pixels are nearly perfectly square and the assumption of the principal point in the center of the image has been shown to be valid. Thus, it is possible to concentrate, in an initial stage, on the parameter most likely to be unknown, the focal length. So we suppose that the aspect ratio and the principal point is known for both images and that their focal lengths are identical. We can thus move from a completely uncalibrated space to a “semi-calibrated” one.

The points in space can be computed by the Linear Triangulation method which is the direct analogue of the DLT method. In each image we have a measurement x = PX, x' = P'X , and these equations can be combined into a form AX = 0, which is an linear equation in X . It can be solved by SVD. Thus all points in space that project to these two image points can be computed.

The method which we have presented in the above works well both on simulated images and real images. Since the reconstruction is very sensitive to the computed fundamental matrix, the process should be interactive and iterative. The good experimental results on real images were produced according to this method. It also shows that given reasonable assumptions about the calibration, 3D reconstruction from two views is feasible.



УЛУЧШЕНИЕ КАЧЕСТВА ВИДЕОМАТЕРИАЛОВ В СИСТЕМАХ ГОРОДСКОГО ВИДЕОНАБЛЮДЕНИЯ
Фаворская М.Н., Вейсов Е.А., Зотин А.Г.
ГОУ ВПО «Сибирский государственный аэрокосмический университет имени академика М.Ф. Решетнева»
Системы видеонаблюдения в городских условиях предназначены для решения ряда задач, отличающихся разной степенью быстродействия, адаптивности, автоматизации и интеллектности. К ним относятся мониторинг автотранспортных средств при многополосном движении, анализ дорожной ситуации при дорожно-транспортных происшествиях, регистрация внештатных ситуаций на дорогах города, отслеживание несанкционированных действий пешеходов и водителей и т. д. Система улиц и автомагистралей с сопутствующими автотранспортными развязками мегаполисов является чрезвычайно сложным динамическим объектом исследования, требующим круглосуточное видеонаблюдение. В связи с этим принимаются соответствующие решения об использовании различных датчиков видеонаблюдения, местах их установки с привязкой к местности, сборе и хранении больших объемов информации. В силу ряда объективных причин в настоящее время для мониторинга ситуаций на дорогах часто используется недорогое оборудование, предоставляющее видеоматериал низкого качества. Целью данной работы является улучшение качества видеоматериала, полученного от недорогих видеокамер в сложных условиях освещения, в частности, при наличии теней в дневное время суток.

Как правило, изображения, отснятые в разных масштабах, требуют применения различных методов локализации регионов интереса, обработки таких регионов и принятия решений. Видеопоследовательность является большим информационным ресурсом, позволяющим расширить спектр известных методов обработки отдельных изображений более сложными алгоритмами, дополнительно имеющими временную составляющую. Рассмотрим задачу локализации номерных пластин автотранспортных средств при многополосном движении. В настоящее время данная задача имеет аппаратно-программное решение (системы «VOCORD», «УРАГАН»), когда на каждую полосу движения направлены объективы видеокамер оптического диапазона и инфракрасных камер с дополнительно установленной видеокамерой общего вида для определения местоположения проезжающих автомобилей. Нами разрабатываются алгоритмы, позволяющие снизить требования к аппаратному обеспечению. Программный продукт производит следующую последовательность действий [1]:

– считывание и воспроизведение считанных данных с регулируемым периодом;

– задание цветового пространства (выбор цветовой модели);

– обработка изображения кадра видеопоследовательности, включающая выделение контуров, бинаризацию и морфологическую обработку;

– формирование карты движения масочно-сегментной формы для считанных кадров видеопоследовательности на основе контурных и цветовых представлений данных;

– постобработка карты движения на основе применения морфологической обработки или ее модифицированного варианта;

– поиск возможных объектов движения по карте движения с применение метода сверхразрешения;

– сегментация полученных областей на вероятностные объекты движения (отдельные области для каждого автотранспортного средства);

– анализ характеристических особенностей изображения автотранспортного средства и выделение номерной пластины на основе матрицы спектральных характеристик (получение данных цветовой модели HSV, HSB или HLS);

– улучшение качества изображения номерной пластины.

Перечисленные функции, в основном, имеют стандартную реализацию за исключением фильтра подавления теней, модифицированного медианного фильтра, усовершенствованного штрихового фильтра и создания карты движения на основе метода сверхразрешения, интегрирующего информацию из четырех соседних кадров для компенсации дрожания видеокамеры при съемке. Рассмотрим работу наиболее интересных фильтров.

Нахождение и подавление теней в видеопоследовательностях является нетривиальной задачей. Фильтр подавления теней учитывает три аспекта: информацию об освещенности сцены (знание местоположений и типов источников освещения), данные о цветности (перевод функции, описывающей изображение, в требуемое цветовое пространство) и динамика изменения градиентного изображения (углов, краев и т. д.) [2]. Работа фильтра нахождения теней при известных источниках освещения основана на эмпирическом подборе весовых коэффициентов ,  и , отвечающих за вклад текстурного и цветового окружения, а также учета падения интенсивности в некотором «теневом» пикселе соответственно:

(1)

где I^OB(x,y), I^SD(t,x,y), I^SD(t+1,x,y) – функции, описывающие объект, тень на предыдущем и последующем кадрах соответственно; t – время; (x,y) – пространственные координаты; T(x,y) – локальное пороговое значение; RT(x,y) – текстурное окружение; RC(x,y) – цветовое окружение; 0<1, 0<1, 0<<1.

Информация об источниках освещения сцены может отсутствовать, в этом случае применяются две другие процедуры нахождения теней. При падении тени в некоторую точку сцены, описываемую цветовыми компонентами (R,G,B), цветность в данной точке изменяется, но при этом интенсивность сохраняет свое значение. Следовательно, переход в цветовое пространство YUV или HSV позволит проанализировать интенсивность в выбранной точке сцены и принять решение о ее принадлежности фону, основываясь на предварительно полученной вероятностной оценке фона по нескольким соседним кадрам видеопоследовательности. Для отслеживания динамики градиентного изображения предполагаемых теней применяются стандартные алгоритмы градиентной фильтрации, морфологической и пороговой обработки.
Работа штрихового фильтра в точке с координатами (x,y) описывается следующей системой уравнений:

(2)

где R(x,y), O(x,y), S(x,y) – суммарные функции отклика фильтра, ориентации и масштаба соответственно; [0,/4,/2,3/4] – угол ориентации, d[3,5,7] – масштабный множитель [3].

Эксперименты показали, что штриховой фильтр (2) хорошо находит наложенный текст большой высоты (30–50 пикселов), но непригоден для нахождения текстовых символов средней и малой высоты (5-25 пикселов). Схема работы модифицированного штрихового фильтра для последнего случая приведена на рис. 1.



Рис. 1. Модифицированный штриховой фильтр


Модифицированный штриховой фильтр генерирует четыре локальных отклика в соответствии с углом наклона α[0, /4, /2, 3/4] и масштабным коэффициентом d[3,5]:

(3)

где R_α,d(x,y) – отклик фильтра P_Sc, P_S1, P_S2 – сумма интенсивности анализируемого канала в соответствующем регионе; δ – стандартное отклонение значений интенсивностей в области P_Sc (является мерой того, насколько распределена интенсивность внутри области). Причем, формула (3) используется для нахождения темных и светлых символов.

Полный отклик фильтра рассчитывается по формуле:

(4)

Проведенные эксперименты показали, что модифицированный штриховой фильтр (3) формирует лучший отклик для небольших наложенных символов по сравнению с оригинальным штриховым фильтром, что выражается в большей степени подавления контуров на фоновом изображении и достаточной детализации контуров в текстовых областях. Также модифицированный штриховой фильтр снижает количество ложных срабатываний на 10–13% по сравнению с исходным штриховым фильтром [4].

Структура программного комплекса «Vehicle Detection» представлена на рис. 2 и включает ряд модулей, выполняющих предварительную обработку кадров, поиск и улучшение изображений номерных пластин, сохранение результатов обработки, которые при необходимости передаются в соответствующую базу. Проведенные экспериментальные исследования показали значительное визуальное улучшение изображений номерных пластин в сложных условиях освещения (при наличии теней), плохих условиях съемки (дрожание видеокамеры), нечетко нанесенных номерах (с разрывами контрастно окрашенных цифр и букв).

Таким образом, применение разработанных фильтров в реальных аппаратно-программных комплексах позволяет учитывать сложные моменты при автоматической регистрации государственных номерных знаков автотранспортных средств при многопоточном движении. При этом частично снижаются затраты на приобретение и техническое обслуживание дорогостоящих аппаратных средств видеонаблюдения в городских условиях.

Литература

1. 
   Зотин А.Г., Фаворская М.Н., Вейсов Е.А., Щульц С.В. Программа визуальной регистрации государственных номерных знаков автотранспортных средств при многопоточном движении (FNX CTRAnalyzer). Версия 1.27 // Свидетельство № 2010610570. Зарегистрировано в Реестре программ для ЭВМ г. Москва, 25 марта 2010 г.
   
2. 
   Beevi Y., Natarajan S. An efficient Video Segmentation Algorithm with Real time Adaptive Threshold Technique // International Journal of Signal Processing, Image Processing and Pattern Recognition, Vol. 2, No.4, 2009. pp. 13–28.
   
3. 
   Jung C., Liub Q., and Kim J. A new approach for text segmentation using a stroke filter // Signal Processing, vol. 88, 2008. pp. 1907–1916.
   
4. 
   Favorskaya M., Zotin A., Damov M. Intelligent Inpainting System for Texture Reconstruction in Videos with Text Removal // Proceedings of International Congress on Ultra Modern Telecommunications and Control Systems ICUMT2010, Moscow. Russia. 2010.
   

IMPROVEMENT OF VIDEO MATERIALS IN URBAN SURVEILLANCE SYSTEMS
Favorskaya M., Veisov E., Zotin A.
Siberian State Airspace University after academician M.F. Reshetnev (SibSAU)
Urban surveillance systems are applied for tasks’ decision under variable conditions of computing speed, adaptability, automation, and intelligence properties. We may consider in such context vehicles’ monitoring of multiband motion, analysis of traffic accidents, registration of contingencies on urban streets, tracking of unauthorized actions of pedestrians and drivers, etc. On account of objective causes at present inexpensive equipment presenting video material of poor quality are often used. In this paper we propose some complex filters for improvement of video materials in complex luminance conditions particularly connected with shadows in daylight.

Multi-scaled images require various methods of regions’ localization, and regions’ processing, also decision-marking methods. Video imagery is a large information resource which permits to use more complex algorithms having additionally temporal component. Let’s consider a task of localization of vehicles’ license plates during multiband motion. We develop algorithms decreasing requires requests for system hardware. Software product realizes following functions:

– Data reading and playing with tuning period.

– Color space definition (a choice of color model).

– Frame processing including contour definition, binarization, and morphological processing.

– Generation of a motion map for received frames based on contour and color data presentation.

– Post-processing of a motion map using morphological processing or its modifications.

– Search of possible moving objects based on a motion map using a superresolution method.

– Segmentation of received areas on stochastic motion objects (separate areas for each vehicle).

– Video analysis of characteristic features of vehicle and detection of license plate using spectrum characteristics (data receiving in color spaces HSV, HSB, or HLS).

– Quality improvement of license plate image.

Such functions have substantially standard realization with the exception of shadows suppression filter, modified median filter, improved stroke filter and creating a motion map based on superresolution method which includes information from fourth adjacent frames for compensation an aperture jitter during video shooting. Shadows detection and suppression in videos is a non-trivial task. Suppression filter considers three types of information: information of scene luminance (knowledge about locations and types of luminance sources), color information (conversion of a function describing image into required color space), and data about gradient dynamic changes (edges, corners, etc.). The working of shadows detection filter (under known luminance sources) is based on an empirical selection of weighting coefficients taking into consideration weights of texture and color neighborhood, and also an intensity decreasing in “shadow” pixel.

A stroke filter determines of summarized functions of filter response, orientation, and scale. Experiments show that an original stroke filter well finds imposed text of large height (30–50 pixels) but it is not suitable for detection of text symbols with middle and small height (5–25 pixels). Experiments show that modified strove filter forms a better response for small imposed filter than the original stroke filter.



Методика выделения границ зёрен на изображениях поверхности материала, полученных с помощью атомно-силовых микроскопов

Хлопов Д.В.

Физико-технический институт УрО РАН
Сканирующие зондовые микроскопы (СЗМ) широко применяются при исследования морфологии и локальных свойств поверхности различных объектов в микро- и нанометровом диапазонах. Высокое пространственное разрешение, а так же возможность проведения исследований объектов в различных средах (воздух, вакуум, жидкость), позволяют исследовать с помощью СЗМ многие структуры, недоступные для других методов исследования. В частности они применяются при исследовании неорганических и синтетических материалов, биологических объектов, а так же для промышленной диагностики наноструктурных материалов.

В сканирующих зондовых микроскопах исследование микрорельефа поверхности и её локальных свойств осуществляется с помощью зондов в виде игл. При приближении к поверхности образца на расстояние менее сотен нанометров, зонд начинает взаимодействовать с его поверхностными структурами. При перемещении зонда вдоль поверхности образца, происходит изменение параметров этого взаимодействия. Отрабатывая эти изменения, система сканирования зондового микроскопа, формирует сигнал, характеризующий локальные свойства исследуемого образца.

Процесс сканирования поверхности зондовым микроскопом выглядит следующим образом: вначале зонд движется над образцом вдоль линии сканирования в прямом направлении (вдоль строки сканирования), затем он возвращается в исходную точку, переходит на следующую строку, и процесс повторяется вновь. Движение зонда в прямом направлении осуществляется небольшими шагами равной длины. На каждом таком шаге регистрируется величина сигнала характеризующего локальные свойства поверхности исследуемого образца.

В атомно-силовых микроскопах (АСМ) - одного из типов СЗМ, в качестве такого сигнала выступает высота исследуемой поверхности относительно некоторого нулевого уровня. Таким образом, в процессе сканирования атомно-силовым микроскопом, формируется двумерный массив высот поверхности исследуемого образца в узлах координатной сетки. Эти данные могут быть использованы для построения 3D модели поверхности исследуемого образца или представлены в виде полутонового изображения его рельефа (рис. 1 а).

При анализе данных полученных с помощью атомно-силовых микроскопов, исследователя зачастую интересует информация о количестве, форме и размерах элементов наноструктуры. Очевидно, что качество такого анализа напрямую зависит от эффективности решения задачи определения границ имеющихся на изображении структур.

Наличие в АСМ данных различного рода помех осложняет решение задачи сегментации АСМ изображений. Поэтому этапу сегментации, как правило, предшествует этап предварительной обработки данных. Значительные сложности при осуществлении сегментации таких изображений связаны с искажениями, возникающими вследствие временной потери контакта между зондом и поверхностью образца (строчные выбросы). Такие искажения проявляются на изображении в виде участков строк с контрастирующей, по отношению к соседним строкам, яркостью. Возникающее в результате таких искажений, скачкообразное изменение значений в матрице высот, приводит к появлению ложных границ объектов при сегментации АСМ изображений.

Фильтрацию таких искажений, предлагается осуществлять в два этапа: локализация строчных выбросов, восстановление данных в поврежденных строках с помощью интерполяции. Достоинством такого подхода является возможность с его помощью восстановить данные, поврежденные вследствие временной потери контакта между зондом и поверхностью образца, оставляя неповрежденные участки неизменными.

Локализация строчных выбросов осуществляется на основе сравнения частных разностных производных второго порядка рассчитанных на основе значений высот содержащихся в исходной матрице. С этой целью, к исходному массиву попеременно применяются два фильтра определяемых ядрами свертки:



Если строчные выбросы ориентированы в вертикальном направлении, то матрица, полученная с помощью маски А, будет содержать на месте искаженных областей экстремальные значения, в то время как в матрице, вычисленной с помощью маски B, значения на искаженных участках будут менее контрастны. Полагая, что при отсутствии строчных “выбросов” диапазон изменения частных производных для масок А и B приблизительно одинаков, будем рассматривать, в качестве искаженных, участки исходной матрицы в которых значения производных, вычисленные с помощью маски А, лежат вне диапазона значений, полученных с помощью маски B (рис. 1 а,б).



а) б) в) г)

Рис. 1. Процедура устранения строчных выбросов: а) исходное изображение; б) изображение с выделенными искаженными областями; в) результат восстановления искаженных областей на основе усреднения соседних значений; г) результат сегментации АСМ изображения после применения фильтрации строчных выбросов.
Далее, на основе исходного матрицы, вычисляется значения высот на участках строчных выбросов по достоверным значениям в смежных точках. На этом этапе могут быть использованы различные методы интерполяции на нерегулярных сетках. В качестве примера приведен наиболее простой метод интерполяции на основе усреднения соседних значений (рис. 1 в).

Заключительным этапом обработки АСМ данных, как упоминалось ранее, является этап сегментации. При рассмотрении вопроса сегментации АСМ изображений существующими методами следует учитывать их характерные особенности.

Первой особенностью АСМ изображений является наличие неоднородного фона и объектов различной степени «освещенности», что может быть обусловлено как крупномасштабной неровностью поверхности исследуемого образца, так и несовершенством сканирующей системы. Данное обстоятельство не позволяет применять для сегментации таких изображений метод порогового ограничения по высоте и метода водораздела. В ряде случаях, данное ограничение частично преодолевается путем вычитания из матрицы высот аппроксимирующей поверхности, рассчитываемой по методу наименьших квадратов. Такой прием позволяет существенно снизить перепады высот, однако, в ряде случаев может привести к снижению контрастности АСМ изображения.

Вторая особенность АСМ изображений заключается в том, что представленные на них объекты имеют неоднородную яркость и, как правило, не имеют четких границ. Данное обстоятельство может быть обусловлено малыми размерами самих объектов (при атомарных размерах объекта само понятие его границ весьма условно), а также задержками обработки сигнала системой обратной связи. Кроме того, в каждый момент времени зонд испытывает одновременное влияние как элемента поверхностной структуры находящегося непосредственно под ним, так и соседних с ним элементов. Применение при обработке таких изображений градиентных методов контурной сегментации, приводит к появлению большого количества ложных контуров, не относящихся к границам объектов (в случае малой величины порогового ограничения), либо к большому количеству разрывов на границах объектов (в случае больших значений порогового ограничения).



а) б) в)

Рис.2 Принцип работы метода сегментации: а) случай игнорирования точки (средняя яркость меньше центральной точки: dH_i < 0 i > 0 > T); в) Рассматриваемые направления
С целью преодоления упомянутых ограничений, предлагается метод сегментации АСМ изображений, основанный на сравнении среднего значений пары элементов симметричных относительно центра рассматриваемой окрестности матрицы высот со значением центрального элемента (рис.2 а, б). При этом, в качестве элемента соответствующего границе объекта, принимается элемент, значение которого меньше среднего значения пары элементов (рис.2 в) на величину, превышающую пороговое значение. Данное условие должно соблюдаться хотя бы для одного из четырех направлений.

Эксперименты на модельных изображениях показали эффективность предлагаемого метода сегментации [1]. Его применение, в сочетании с предлагаемым методом фильтрации строчных выбросов, позволит повысить достоверность результатов анализа АСМ изображений.

Работа поддержана грантом РФФИ (проект 11-02-00704)