Нейрокомпьютерная обработка сигналов и изображений
Нейрокомпьютерная обработка сигналов и изображений
© электронная версия подготовлена АВТЭКС Санкт-Петербург, http://www.autex.spb.su
Neural Network Image Scaling and Filtering
Skribtsov P., Dolgopolov A.
Pawlin Technologies Ltd., http://www.pawlin.ru
One of the popular digital image processing task is increase image size or scaling up a subimage. When increasing the digital image, initial pixels grid is transformed and the new pixels should be calculated using one of the interpolation algorithms. At the moment a number of researches investigate different “intellectual” algorithms that do this task better and outperform standard bicubic interpolation method. Such methods are put into available commercial products, demanded on the digital photo processing market. However, as independent benchmarking shows that these algorithms does not always give outperforming results and thus there is a place for improvement.
Taking into account world-accepted success of applying neural networks in the function approximation and filtering tasks, an attempt to apply neural networks for the image scaling and filtering problem should be made. There is a number of papers, where neural networks were shown to be used as parts of the bigger empirical algorithms, most often neural networks are deployed as pixel area classificators or non-linear transformers, rather than being the central and main part of the algorithm.
In this work the possibility of direct usage of the neural network properties for image up-scaling and filtering was investigated. On a big number of samples promising results were received that indicate the direct usage of neural networks for image scaling and filtering should be considered. Futher investigations ideas are presented that include training using the adaptive grid windows, data fusion, performance enhance using hardware acceleration.
УЛУЧШЕНИЕ КАЧЕСТВА ИЗОБРАЖЕНИЙ НА ОСНОВЕ ПРИМЕНЕНИЯ ЭВОЛЮЦИОНИРУЮЩЕЙ НЕЙРОННОЙ СЕТИ, ВЕЙВЛЕТ-ПРЕОБРАЗОВАНИЯ И ГЕНЕТИЧЕСКОГО АЛГОРИТМА*
Спицын В.Г., Цой Ю.Р., Чернявский А.В., Белоусов А.А., Сидоров Д.В.
Томский политехнический университет
Предлагается метод улучшения качества изображений, основанный на применении искусственной нейронной сети (ИНС), настраиваемой с помощью эволюционного алгоритма. Применяется трехэтапная процедура улучшения качества изображений: (1) мультипликативная корректировка яркости изображения; (2) локальная обработка уровней на основе ИНС; (3) алгоритм глобального автовыравнивания уровней.
Разработан двухэтапный метод улучшения качества полноцветных изображений на основе вейвлет-преобразования и генетического алгоритма. На первом этапе происходит удаление шумов. Для этой цели было выбрано вейвлет-преобразование, поскольку оно позволяет легко удалять высокочастотные компоненты. В течение второго этапа обработки происходит автоматическая настройка яркости и контраста на основе применения генетического алгоритма.
1. Применение нейроэволюционного алгоритма
В общем случае проблема попиксельной обработки изображений может быть представлена в виде проблемы поиска следующей функции преобразования






Разработанный НЭ алгоритм NEvA [2] позволяет одновременно настраивать веса и структуру ИНС. Каждая ИНС закодирована в генотипе в виде списка всех имеющихся связей. Веса связей представлены 19-битными числами, равномерно распределенными в интервале [-26,2144; +26,2143] с шагом 0,0001. Родительская подпопуляция формируется с использованием отбора усечением. Используются оригинальные операторы скрещивания и мутации, учитывающие структуру ИНС. Рассматриваются нейроны с лог-сигмоидной функцией активации. Размер популяции динамически настраивается в процессе эволюционного поиска.
При обработке изображений применяется локально-адаптивный подход. Особенность подхода заключается в независимой обработке каждого пикселя изображения, исходя из имеющегося набора его локальных и глобальных характеристик. Таким образом, ИНС обучается обработке одного пикселя. При этом уменьшаются требования к объему оперативной памяти, необходимой для хранения информации об ИНС, и появляется возможность обрабатывать изображения произвольных размеров [3]. Проведенный анализ показал, что целесообразно рассматривать функцию преобразования интенсивности пикселей изображения в следующем виде







При обработке цветных изображений, сначала происходит преобразование изображений в полутоновые, затем осуществляется обработка с использованием ИНС, а после этого информация о цвете восстанавливается.
Во время обучения ИНС оцениваются в зависимости от визуального качества обработанных изображений. Используется приблизительная оценка качества изображений на основе модифицированной оценки из [4] следующего вида [3]:




Первое слагаемое в выражении для функции f необходимо для максимизации числа пикселей на границах (краях) областей перепадов уровней яркости, для обеспечения детализированности обработанного изображения. Чем больше пикселей присутствует на краях изображения, тем более контрастным оно является. Второе слагаемое в указанном выражении препятствует «вырождению» обработанного изображения в бинарное, на котором присутствуют только черные и белые пиксели.
Оценивание функционирования ИНС осуществляется по последовательности

ИНС обрабатывает пиксели с использованием локальных характеристик, поэтому для более эффективной обработки представляется разумным применение, в качестве алгоритма третьего этапа обработки, «глобального» алгоритма улучшения качества изображений. Для этой цели применяется алгоритм автоматической настройки уровней яркости, реализованный во многих графических пакетах. Таким образом, предлагаемый способ трехэтапной обработки включает в себя следующие этапы:
Предобработка изображений с помощью мультипликативной подстройки яркости.
Обработка на локальном уровне с использованием ИНС.
Глобальная обработка с применением алгоритма автонастройки уровней яркости.
В соответствии с предлагаемым подходом, применение обученных ИНС подразумевает использование локальных средней и дисперсии яркости, поэтому время обработки изображений существенно зависит от скорости вычисления этих характеристик. Ясно, что с увеличением размера окрестности вычислительная сложность также увеличивается, т.к. увеличивается количество обрабатываемых пикселей. В предположении скореллированности распределения яркости в соседних строках (т.е. рассматриваем случай достаточно «гладкого» распределения яркости на изображении) и достаточно малого размера окрестности, получены формулы для приближенных среднего


Для подсчета числа пикселей на границах областей различной яркости, необходимого для оценивания изображения, обработанного ИНС, применяется алгоритм детектора края Собеля, описанный в [6]. В качестве критерия прекращения работы программы используется значение

Время обучения ИНС составляет около 70 секунд на процессоре Интел Пентиум – 4 с частотой 3 ГГц. Полученная ИНС, как правило, содержит три входных нейрона, один или несколько скрытых нейронов и один выходной нейрон. Проведена трехэтапная обработка тестовых изображений и осуществлено сравнение с алгоритмом автоматической настройки уровней яркости и результатами обработки алгоритмом Multi-Scale Retinex (NASA) [7]. Время обработки цветного изображения размером 512x512 пикселей составляет около 1 секунды.
Ниже приведен результат улучшения качества исходного изображения (рис. 1) после применения трехэтапной обработки на основе алгоритма NEvA (рис. 2). Для сравнения на рис. 3 приведен результат улучшения исходного изображения на основе применения алгоритма Multi-Scale Retinex [7]. Следует отметить сопоставимое качество улучшенных изображений (рис. 2, 3), однако предложенный в данной работе трехэтапный метод обладает меньшей вычислительной сложностью по сравнению с алгоритмом Multi-Scale Retinex.
![]() | ![]() | ![]() |
Рис. 1. Исходное изображение [7] | Рис. 2. Изображение после трехэтапной обработки на основе алгоритма NEvA | Рис. 3. Изображение после обработки алгоритмом Multi-Scale Retinex [7] |
2. Применение вейвлет-преобразования и генетического алгоритма
Дискретное вейвлет-преобразование (Discrete Wavelet Transform, DWT) разработано для быстрого вычисления вейвлет-преобразования. Оно просто в выполнении и позволяет уменьшить время вычисления и количество требуемых ресурсов. В непрерывном вейвлет-преобразовании сигналы анализируются с использованием набора базисных функций, получающихся друг из друга путем сдвига и масштабирования. В случае DWT-преобразования масштабное временное представление сигнала получается путем цифровой фильтрации. Анализируемый сигнал проходит через фильтры, на которых происходит «обрезание» определенных частот с различными масштабами [8].
Первоначально изображение, представленное в формате RGB переводится в цветовое пространство YUV по соответствующим формулам [9]. Компоненты U и V не подвергаются изменению во время фильтрации. Входным сигналом для системы является яркостная составляющая изображения (Y).
Вейвлет-преобразование в данном случае – это двумерное дискретное вейвлет-преобразование, основанное на материнском вейвлете «3-5», имеющем 3 высокочастотных коэффициента и 5 низкочастотных [9]. Фильтрация заключается в удалении из полученного набора вейвлет-коэффициентов высокочастотных компонент, которые и представляют собой шумы. Пользователь сам может определить порог при выполнении этой операции. После обратного вейвлет-преобразования изображение переводится в цветовое пространство RGB [9].
Для коррекции яркости и контраста применяется генетический алгоритм, позволяющий решить задачу оптимизации значений четырех параметров ядра улучшения. В разработанном алгоритме каждая особь имеет 4 хромосомы, которые представлены целыми числами (32 бита) [9]. Методы локального улучшения основаны на применении функции, зависящей от распределения яркости в окрестности каждой точки изображения. Одним из примеров таких методов является адаптивное выравнивание гистограмм, показавшее хорошие результаты в обработке медицинских изображений. Однако этот метод использует ядро, требующее больших вычислительных затрат. Ядро улучшения представляет собой преобразование, применяемое к каждой точке изображения с координатами (x, y). Входным параметром для этого преобразования является исходная яркость точки полутонового изображения, выходное значение – итоговая яркость точки [9].
Для автоматизации процесса улучшения качества изображения необходимо определить объективный критерий для оценки качества улучшения изображения. Этот критерий используется для построения целевой функции генетического алгоритма. Критерий качества в данном алгоритме включает 3 составляющих:
1. Количество и интенсивность краевых пикселей. Для выявления этих характеристик применяется детектор края Собеля [6].
2. Мера энтропии изображения. Необходимо оценить какое количество пикселей с различным уровнем яркости присутствуют на изображении.
3. Уровень адаптации к зрению человека по яркости. Человеческое зрение наиболее восприимчиво к изображениям, среднее значение яркости на которых соответствует середине всего диапазона возможных яркостей. Поэтому в целевую функцию был введен соответствующий множитель [9].
Разработана программа, реализующая данный метод улучшения изображений. Программа была применена для обработки набора тестовых изображений. Оказалось, что данный метод хорошо проявляет себя на двух классах изображений:
1. Слишком светлые или темные изображения. Данный метод позволяет добиться осветления слишком темных участков и затемнения слишком светлых. Кроме того, он позволяет проявить объекты, которые на исходном изображении были практически неразличимы.
2. Затуманенные изображения. Применение данного метода к затуманенным или нечетким изображениям позволяет повысить их четкость, а также снять затуманенность.
Реализованный генетический алгоритм при размере популяции 20 особей находит достаточно хорошее решение за 5 поколений. При этом обработка изображения в среднем занимает 10-20 секунд (например, для изображения размером 498х326 пикселей обработка заняла 16 секунд на компьютере с процессором Pentium 4 2,4 ГГц), что существенно превосходит скорость обработки изображений, достигнутую в работе [4].
Таким образом, в данной работе предложены трехэтапный и двухэтапный методы улучшения качества цифровых изображений. В основе трехэтапного метода лежит применение нейроэволюционного алгоритма, позволяющего определять оптимальные топологию и веса связей ИНС для решения задачи улучшения качества изображений. Данный метод позволяет, используя обученную ИНС, с приемлемой скоростью обрабатывать пакеты изображений. Двухэтапный метод основан на применении вейвлет-фильтрации для удаления шумов на изображении и генетического алгоритма для определения оптимальных значений параметров при автоматической регулировке уровней яркости и контраста. В указанном методе отсутствует этап предварительного обучения и каждое изображение обрабатывается индивидуально, что позволяет обеспечить получение требуемого уровня качества изображений. Представлены результаты обработки изображений и проведено сопоставление предложенных методов c альтернативными подходами.
Литература
Спицын В.Г., Цой Ю.Р. Трехэтапная обработка цифровых изображений с использованием эволюционирующих искусственных нейронных сетей // Труды Всероссийской научной конференции “Нечеткие системы и мягкие вычисления” НСМВ-2006. Тверь, 20-22 сентября 2006 г. М.: Физматлит, 2006. С. 231-244.
Цой Ю.Р., Спицын В.Г. Применение генетического алгоритма для решения задачи адаптивного нейроуправления // НЕЙРОИНФОРМАТИКА–2005: Сборник научных трудов VII Всероссийской научно-технической конференции. Т. 1. М. : МИФИ, 2005. С. 35-43.
Цой Ю.Р., Спицын В.Г., Чернявский А. В. Способ улучшения качества монохромных и цветных изображений, основанный на применении эволюционирующей нейронной сети // Информационные технологии, 2006, № 7, C. 27-33.
Munteanu C., Rosa A. Gray-Scale Image Enhancement as an Automatic Process Driven by Evolution // IEEE Trans. on Systems, Man, and Cybernetics – part B: Cybernetics. 2004. Vol. 34, № 2, P. 1292-1298.
Tsoy Yu.R., Spitsyn V.G. Digital images enhancement with use of evolving neural networks // Proceedings of the IX International Conference Parallel Problems Solving from Nature(PPSN-IX), Reykjavik, Iceland, LNCS, Berlin: Springer-Verlag, 2006. Vol. 4193, P. 593-602.
Линдли К. Практическая обработка изображений на языке Си: Пер. с англ. – М.: Мир, 1996.
Woodell G.A., Jobson D.J., Rahman Z., Hines G.D. Enhancement of Imagery in Poor Visibility Conditions // Sensors, and Command, Control, Communications, and Intelligence Technologies for Homeland Security and Homeland Defense IV, Proc. SPIE 5778, 2005. (See also: http://dragon.larc.nasa.gov/)
Воробьев В.И., Грибунин В.Г. Теория и практика вейвлет-преобразования. – СПб.: Изд-во ВУС, 1999.
Белоусов А.А., Спицын В.Г., Сидоров Д.В. Применение генетических алгоритмов и вейвлет-преобразований для повышения качества изображений // Известия Томского политехнического университета, 2006, Т. 309. № 7, С. 21-26.
IMAGE ENHANCEMENT WITH USE OF EVOLVING NEURAL NETWORK, WAVELET TRANSFORM AND GENETIC ALGORITHM*
Spitsyn V., Tsoy Y., Chernyavsky A., Belousov A., Sidorov D.
Tomsk Polytechnic University
An approach to image enhancement through artificial neural network’s (ANN) processing is proposed. The structure and weights of ANN are tuned with use of evolutionary concept. Each image is processed in pixel-by-pixel manner using pixels’ local characteristics that are calculated approximately to increase the processing speed but preserving satisfactory calculations’ error. The three-step procedure for image enhancement is proposed: (1) multiplicative adjustment of image brightness; (2) local level processing using ANN; (3) global level auto smoothing algorithm. The results for the proposed three-step colour image enhancement procedure are presented and compared with that of some alternative approaches. The artificial neural network training stage with use of single 128х128 pixels image takes about 70 seconds on the Intel Pentium IV 3 GHz processor. After completion of the learning process the obtained artificial neural network is ready to process arbitrary images that were not presented during the training. The processing time for 512х512 pixels image is about 1 second.
We developed two-step full-color image enhancement algorithm on the base of wavelet transform and genetic algorithm. During the first step the picture is denoised. Wavelet transformation has been chosen to perform it, because it allows easily remove high-frequency parts. The filtration is to represent of the removal from the receiving multitude of wavelet coefficients of high frequencies components, which including the noise. The user oneself may to define the threshold in the presence of implementation of this operation. During the second step of processing the brightness and contrast are automatically tuned up using genetic algorithm. Genetic algorithm, which is effective method of multidimensional optimization, allow quick selection of optimal values of transformation parameters, using objective optimization criterion of quality image estimation.
The developed program has been applied for processing of test images collection. It is established that this method well showed itself on the two classes of images:
1. Too much light or dark images. The present method is allows to achieve the clarified of too much dark regions and darkening the too much light regions. Besides, it allows to develop the objects, which on the initial image was practically indiscernible.
2. Hazy images. The application of present method to hazy or illegible images allows to raise their clearness as well as to withdraw the haziness.
Realized genetic algorithm with 20 chromosomes population gets optimal enough solution during 5 generations. Image processing took on average 10-20 seconds (e.g. an 498x326 pixels image was processed in 16 seconds on Pentium IV 2,4 GHz).
Thus in this work are proposed the three-step and two-step methods of digital images enhancement. The application of neuroevolutionary algorithm underlie of three-step method. This method is allows using the trained ANN with acceptable rapidity processed the packets of images. The two-step method is base on the wavelet filtration application for withdraw of noise on the image and the genetic algorithm for the definition of optimal meaning of brightness and contrast levels. In indicate method as distinct from three-step is absent the step of prior training. For every image is realized the individual selection of intrinsic only it the parameters of processing algorithm, that allows to provide the receiving necessary of quality image.
Обоснование нового вида активационной функций в алгоритмах цифровой обработки сигналов на основе искусственных нейронных сетей
Кириллов С.Н., Хахулин С.С.
Рязанский Государственный Радиотехнический Университет
390005 г. Рязань, Гагарина 59/1, e-mail: [email protected]
Введение. В последнее время широкое распространение получили алгоритмы цифровой обработки сигналов (ЦОС) на основе искусственных нейронных сетей (ИНС). Как правило, в данных алгоритмах используются линейные и сигмоидальные (гиперболический тангенс) активационные функции (АФ). Однако в [1] показано, что форма АФ существенным образом влияет как на свойства алгоритмов ЦОС реализованных в нейросетевом логическом базисе, так и на сложность реализации.
Целью доклада является обоснование новой формы АФ, обеспечивающей более эффективную реализацию нейросетевых алгоритмов ЦОС в различных радиотехнических устройствах (РТУ).
Постановка задачи. Рассмотрим задачу определения формы АФ, обеспечивающую более высокие показатели качества при реализации алгоритмов ЦОС в нейросетевом логическом базисе по сравнению с использованием известных АФ. Критерием синтеза АФ выбран минимальный уровень среднеквадратической ошибки на тестовой выборке (ТВ) и обучающей выборке (ОВ), достижение которого может обеспечить использование данной формы.
Пусть АФ обладает свойством симметрии относительно начала координат







Задача синтеза формы АФ решалась с использованием двухэтапного подхода на основе тестовой задачи в виде алгоритма весовой обработки кодовых последовательностей (КП) ФМн-сигналов с использованием ИНС. На первом этапе при реализации тестового алгоритма в нейросетевом логическом базисе определяются параметры известной формы АФ, обеспечивающей наиболее высокие показатели качества. Полученная форма аппроксимировалась полиномами, которые использовались при синтезе, при этом определялось необходимое количество членов разложения. Таким образом, определяется начальная точка синтеза, которая с высокой вероятностью находится в области глобального оптимума.
На втором этапе на основе градиентных алгоритмов оптимизации осуществляется синтез формы АФ в виде полиномов, позволяющих наилучшим образом при минимальном количестве параметров аппроксимировать полученную на предыдущем этапе форму АФ.
Решение тестовой задачи. В качестве тестовой задачи был выбран алгоритм весовой обработки ФМн-сигналов с длиной КП

Для численного решения задачи оптимизации формы АФ на втором этапе был использован алгоритм Левенберга-Марквардта как один из алгоритмов с высокой скоростью сходимости [1]. Учитывая свойства нейронов ИНС, проводились проверки инициализации коэффициентов аппроксимирующего полинома. Возможно появление разрывов в нуле, а также экстремумов, значения функции в которых превышают 1. Анализ показал, что проведение оптимизации коэффициентов полиномов без рассмотренных корректировок нецелесообразно, так как использование коэффициентов полученных в результате оптимизации формы АФ неэффективно.
Синтез осуществлялся с использованием разных скоростей обучения для каждой формы АФ и набором статистики при использовании каждой комбинации параметров. Учитывая сложность решаемой задачи, а так же особенности обучения ИНС было принято решение провести анализ всех основных форм АФ, полученных при разных длинах КП ФМн-сигналов. При этом были отобраны основные формы АФ, которые в процессе обучения позволяли обеспечить ошибку менее

![]() | ![]() |
а) | б) |
![]() | ![]() |
в) | г) |
Рис.1 – Основные формы АФ полученные в результате оптимизации
Таким образом, в процессе оптимизации формы АФ было получено несколько разных форм, обеспечивающих более высокие характеристики, чем при использовании известной биполярной сигмоидальной АФ.
Функция представленная на рис. 1-а представляет собой известную форму биполярной сигмоидальной АФ, все остальные формы АФ, полученные в ходе оптимизации являются новыми и ранее не использовались. Среди характерных особенностей можно выделить наличие колоколообразной формы АФ, а также зону нечувствительности при небольших значениях взвешенной суммы входных сигналов. Практическое использование полученных форм АФ, заданных в виде полинома, при реализации алгоритмов ЦОС в нейросетевом логическом базисе затруднено в связи с большим числом параметров. Необходимо определить аппроксимации данной формы, корректировка формы которых осуществляется с меньшим количеством параметров.
Финитная активационная функция. В ходе исследования характерных особенностей форм АФ, позволяющих повысить эффективность нейросетевых алгоритмов ЦОС, было выявлено положительное влияние использования функции колоколообразной формы на характеристики ИНС. Для аппроксимации оптимальной формы АФ предложено использовать функцию следующего вида


которая имеет четыре параметра, корректирующих форму АФ. Исходя из свойств АФ, в можно свести число параметров в (3) до трех. В частности известно [1], что АФ должна быть ограничена по амплитуде, т.е.


На рис. 2 показаны возможные формы АФ, которые можно получить при использовании аппроксимации (4) в случае различных значений параметров




Рис 2 – Формы финитной АФ
Зависимость 1 аппроксимирует линейную АФ, при этом параметры функции








Выводы. Таким образом, форма АФ (4) отражает характерные особенности известных АФ и требует для своего описания всего три параметра. Эффективность использования предложенной аппроксимации оптимальной АФ в виде (4) была оценена на типовой задаче.
Кроме того, производилась оценка реализации вейвлет-пакетного разложения на основе ИНС [4] с использованием финитной АФ. При этом ошибки преобразования на ТВ и ОВ составили











Таким образом, предложена и обоснована новая форма АФ, позволяющая сократить ошибки на ОВ и ТВ в 3…4 раза. Данная форма включает в себя известную биполярную сигмоидальную АФ и расширяет множество форм АФ, которые можно использовать при реализации алгоритмов ЦОС в нейросетевом логическом базисе. При аппаратной реализации нейросетевых алгоритмов ЦОС на базе программируемых логических интегральных схем с табличным заданием АФ данная функция не требует дополнительных вычислительных затрат.
Литература
Осовский С. Нейронные сети для обработки информации. М.: Финансы и статистика, 2002. 344с.
Круглов А.В., Кириллов С.Н., Хахулин С.С. Ватутин В.М. Алгоритм обработки шумоподобных сигналов спутниковых систем связи на основе искусственных нейронных сетей. // Электромагнитные волны и электронные системы. №10. т.10. 2005. С27-32.
Кириллов С.Н., Хахулин С.С. Модифицированный алгоритм обучения нейронных сетей при решении задачи весовой фильтрации кодовых последовательностей фазоманипулированных сигналов. // Цифровая обработка сигналов: Материалы международной научн.-техн. конференция. Москва. 2006. С651-654.
Кириллов С.Н., Зорин С.В., Хахулин С.С. Нейросетевая реализация алгоритма вейвлетно-пакетного разложения речевых сигналов при действии акустических шумов. // Вестник РГРТА. Вып. 15. Рязань. 2004. С3-6
Хахулин С.С. Применение нейронных сетей в задачах демодулирования сигналов с фазовой манипуляцией. // Проблемы передачи и обработки информации в сетях и системах телекоммуникаций: Материалы 12-й Международной научн.-техн. конф. Рязань. Рязанская государственная радиотехническая академия. 2004. С44.
* Работа выполнена при финансовой подержке РФФИ (проект № 06-08-00840)
* This work was implemented under financial support of Russian Foundation for Basic Research (project No 06-08-00840)
Цифровая обработка сигналов и ее применение
Digital signal processing and its applications
страница 1
скачать
Другие похожие работы: