Литература Приоров А. Л., Апальков И. В., Хрящев В. В. Цифровая обработка изображений: учебное пособие. Ярославль: ЯрГУ, 2007. 235 с

Литература

1. 
   Приоров А.Л., Апальков И.В., Хрящев В.В. Цифровая обработка изображений: учебное пособие. Ярославль: ЯрГУ, 2007. – 235 с.
   
2. 
   Mallat S. A wavelet tour of signal processing. Academic Press. 1999.
   
3. 
   Starck J.-L., Emmanuel J., Candès E., Donoho D. The curvelet transform for image denoising // IEEE Trans. on image proc. 2002. V. 11, № 6. P. 670-684.
   
4. 
   Даджион Д., Мерсеро Р. Цифровая обработка многомерных сигналов / Под ред. Ярославского Л.П. – М.: Мир, 1988.
   
5. 
   Сэломон Д. Сжатие данных изображения и звука / Перевод с английского Чепыжова В.В. – М.: Техносфера, 2004.
   


MULTISCALE ANALYSIS IN THE TASK OF DIGITAL IMAGE FILTRATION

Moiseev A, Volohov V.

Yaroslavl State University
150000, Russia, Yaroslavl, Sovetskaya st., 14 Phone (4852) 79-7775. [email protected]

Noise removal problem recently is one of the prevailing problem digital signals processing field. Noise in images, as a rule, arises at a stage of their transfer in a digital form.

Digital filtration algorithm scheme considered in this paper is represented by distortion and restoration blocks. Distortion block includes only additive Gaussian noise.

The idea of work of the restoration block is simple enough and represents set of three basic stages:

• 
  forward image transform calculation (wavelet-transform [1], ridgelet-transform [2], curvelet-transform [2] or others);
  
• 
  transform coefficients processing according to certain rule;
  
• 
  inverse transform calculation from processed wavelet coefficients.
  

Let's consider in more details basic features of before-mentioned blocks of the restoration scheme.

Firstly, consider coefficients processing block. It is based on use various threshold function [1, 2]. In this work the most widespread functions of hard and soft threshold estimations were used. The main complexity of use of threshold processing methods is the choice of the threshold value defining in aggregate with threshold function value of factors of transformation on an exit of the coefficients processing block. In this work the choice of threshold value was carried out according to the techniques presented in [1].

Secondly, let’s consider direct and inverse image transform blocks in more details. Frequently at the heart of these blocks classical wavelet-transform scheme lays. However use of such schemes leads to the following drawbacks of filtration scheme:

• 
  poor approximation of linear and curved image’s details thereof wavelet’s form originally intended for approximation of isotropic image singularities;
  
• 
  some artifacts appearing on reconstructed image caused by aliasing effects.
  

These problems can be solved with use at the heart of the scheme of transformation of the curvelet-transformation, lines well approaching for approximation both curve and lines, and eliminating the above-mentioned artifacts. Curvelet-transform like wavelet-transform is multiscale transform with structure elements depending on parameters of scale and shift (ridgelet-coefficients). Researches show, that the given kind of transformation yields the best result for images with a considerable quantity of details in the form of curves, borders, edges etc.

References

1. 
   Mallat S. A wavelet tour of signal processing. Academic Press. 1999.
   
2. 
   Starck J.-L., Emmanuel J., Candès E., Donoho D. The curvelet transform for image denoising // IEEE Trans. on image proc. 2002. V. 11, № 6. P. 670-684.
   



ТРИ ЭТАЛОННЫХ КРИТЕРИЯ ОЦЕНКИ КАЧЕСТВА СЖАТИЯ ИЗОБРАЖЕНИЙ

Илюшкина Н.С., Чобану М.К.

Московский энергетический институт (ТУ)

Наиболее распространенный объективный критерий оценки СКО (или MSE) является весьма не-надежным, так как он плохо соответствует системе визуального восприятия человека (HVS). Так же следует заметить, что величина MSE в отдельных случаях может незначительно изменяться при существенном ухуд-шении качества изображения, а, следовательно, она также как и PSNR не может быть взята за основу в построении оптимальных с визуальной точки зрения систем восстановления изображений.

Проведенные нами исследования показали, что система человеческого восприятия (Human visual system HVS) менее восприимчива к искажениям на низких частотах, чем в высокочастотной области. Это было основной причиной учитывать HVS при разработке популярного стандарта сжатия JPEG. В частности, специально спроектированная таблица корректирующих величин, которая применяется для квантования коэффициентов ДКП в блоках 8×8. Согласно этой таблице высокочастотные коэффициенты квантуются с большим шагом квантования, что приводит к лучшему качеству восстановленного изображения, чем если применять для всех коэффициентов одинаковое квантование.

Выражение для MSE с плавающим окном 8×8 с ДКП, принимая в рассмотрение HVS, примет вид:

(1), где Х_ij коэффициенты ДКП блока 8×8, для которого координаты верхнего левого элемента равны i и j, X_ij^e коэффициенты ДКП соответствующего окна оригинального изображения, Т_с матрица корректирующих факторов. В качестве такой матрицы мы используем таблицу квантования стандарта JPEG.

Таблица 1. Матрица Тс корректирующих факторов для вычисления MSE_HVS

1.6084	2.3396	2.5735	1.6084	1.0723	0.6434	0.5046	0.4219
2.1446	2.1446	1.8382	1.3545	0.9898	0.4437	0.4289	0.4679
1.8382	1.9796	1.6084	1.0723	0.6434	0.4515	0.3730	0.4596
1.8382	1.5138	1.1698	0.8874	0.5046	0.2958	0.3217	0.4151
1.4297	1.1698	0.6955	0.4596	0.3785	0.2361	0.2499	0.3342
1.0723	0.7353	0.4679	0.4021	0.3177	0.2475	0.2277	0.2797
0.5252	0.4021	0.3299	0.2958	0.2499	0.2127	0.2145	0.2548
0.3574	0.2797	0.2709	0.2626	0.2298	0.2574	0.2499	0.2600

Матрица Тс обладает следующими двумя свойствами:

1) Соотношения ее коэффициентов обратно пропорциональны соответствующим коэффициентам таблицы квантования JPEG.

2) Суммарный корректирующий фактор матрицы равен единице. Это означает, что в случае однородного распределения искажений по всем пространственным частотам, значения MSE_HVS совпадает с MSE.

Получив формулу для MSE можно записать выражение для PSNR, учитывающего HVS:



Рассмотрим две последовательности {x_i} и {y_i} =1,2,...,N, соответствующие эталонному и восстановленному изображениям, тогда универсальный индекс качества будет определяться комбинацией статистических характеристик (математического ожидания, дисперсии и корреляционной функции) соответствующих сигналов по следующей формуле:

(2), где ,



Значение критерия UQI изменяется в интервале [−1, 1], при этом UQI = 1 соответствует наилучшему качеству изображения. Максимальное значение UQI = 1 получается только тогда, когда x_i= y_i на протяжении всего сигнала (i =1,2,…,N) , а минимальное значение UQI = -1 , в случае если y_i=2-x_i, i=1,2,…,N. Определённый таким образом индекс качества учитывает в себе три искажающих фактора: степень коррелированности отчетов двух сигналов, искажение яркости и искажение контрастности относительно оригинального сигнала. В результате этого исходное выражение может быть представлено в виде произведения трёх множителей: (3).

Так как в общем случае цифровой сигнал, соответствующий некоторому изображению не является стационарным, необходимо выделить в изображении отдельные локальные области размером A×B, в пределах которых сигнал можно считать стационарным и вычислять статистические характеристики внутри этой области, а уже на основании их вычислять значение UQI_i, соответствующее выделенному блоку. Таким образом, UQI, характеризующий изображение в целом будет определяться как среднее арифметическое значений UQI_i на протяжении всего изображения, то есть , где M - число блоков, внутри которых вычислялся UQI.

Любую вещественную матрицу М можно представить следующим образом: , где U и V единичные матрицы, матрица S размером m×n, диагональные элементы которой не отрицательны и называются сингулярными числами, а вне диагонали равны 0. Такое разложение называется сингулярным разложением матрицы М или разложения по сингулярным числам матрицы.

Любое черно-белое изображение можно рассматривать как матрицу целых чисел, соответствующих каждому пикселю матрицы. Если сингулярное разложение применить к целому изображению, мы получим общую метрику, а при использовании меньшего блока, мы получим значение погрешности для данного блока. Вместо вычисления общей метрики, можно рассчитать значения погрешности для каждого блока и усреднить их определенным образом.

Предложенный графический критерий – это двумерная величина, которая показывает разницу между сингулярными числами исходного и искаженного блока изображения: , где s_i сингулярные числа блока исходного изображения, ŝ_i сингулярные числа блока искаженного изображения, n размер блока. Если размер блока k, получим (k/n)×(k/n) блоков. Множество полученных разностей при графическом отображении представляет "карту искажений".

Для 8-битного черного изображения размером n со значениями пикселей равными 0, сингулярные числа равны 0, для белого изображения размером n со значениями пикселей равными 255, одно сингулярное число равно n×255, а n-1 чисел равны 0.

На рисунке представлены результаты для изображений Monarch и Stream Bridge. Карта искажений, которая отображает степень искажения, тип искажения и ошибку распределения, представляет собой черно-белое изображение. Эта карта получается в результате отображения значений D_i в диапазоне [0,255]. При этом размеры карты искажения уменьшаются на величину блока. Более темным областям соответствует минимальное искажение, а светлым большая степень искажений.

Рис.1. Искаженные изображения и их карты искажений.

Критерий в численном виде вычисляется из графического представления. Рассчитывается общая ошибка, представленная одним числом, в зависимости от типа искажения: (4), где D_mid среднее значение множества D_i, k размер изображения и n размер блока.

Для сравнения предложенных критериев были проведены субъективные тесты. Искажения были получены для фильтров: 2bior4.4, K5N3, 2bern1.1.2, 2.bern2.2.2, 9db7; алгоритмов: SPIHT и SQP, для различных битрейтов (рис. 2-4).

В тестировании приняло участие 60 человек. Им были представлены пары изображений – оригинал и искаженное изображение, и 10-ти бальная шкала для оценки качества искаженного изображения. 10 соответствовало лучшему качеству, а 1 – худшему. Большинство наблюдателей студенты университета. Размер плавающего окна для каждого метода 8×8. На рис. 2-4 приведены графики зависимости субъективных оценок (MOS) от различных объективных критериев.

В целом в работе критерий PSNR_HVS показал лучшие результаты. Это связано с тем, что в его разработку легло HVS, а именно была использована таблица корректирующих факторов, которая дает представление о восприятии человеком различных частот. Для UQI и M-SVD результаты были получены хуже. Это объясняется тем, что данный критерий не был основан на какой-либо модели HVS. Данные результаты были достигнуты из-за реальной возможности измерения потери качества в процессе искажения изображения при его сжатии. Отличие от PSNR в том, что они чувствительны к энергии ошибок, а не к реальной потере качества.

Рис. 2 Критерий PSNRHVS	Рис. 3 Критерий UQI
Рис. 4 Критерий M-SVD

Литертура

1. 
   Egiazarian K., Jaakko A., Ponomarenko N., Lukin V., Battisti F., Carli M., " Two new full-reference quality metrics based on HVS". Proc. 2^nd Intern. Workshop on Video Processing and Quality Metrics for Consumer Electronics, VPQM 2006, Scottsdale, Arizona, USA, 22-24 January 2006, 4p.
   
2. 
   Z. Wang, A. Bovik, “A universal image quality index,” IEEE Signal Proc. Let., 9, 2002, pp. 81–84
   
3. 
   Shnayderman A., Gusev A.,Eskicioglu A., "An SVD-Based Grayscale Image Quality Measure
   

for Local and Global Assessment" IEEE Trans. on Imag. Proc., vol. 15, no. 2, Feb., 2006


THREE FULL-REFERENCE QUALITY MEASURES FOR COMPRESSED IMAGES

Ilushkina N., Tchobanou M.

MPEI (TU)

In this paper three image quality measures are presented. All measures are "full-reference", i.e. they require both the original (reference) image and the distorted one. The traditional Universal Quality Index (UQI) and several recent measures are presented. One of them based on the Peak-Signal-to-Noise Ratio (PSNR) modified to take into account the Human Visual System (HVS). Many studies confirm that the HVS is more sensitive to low frequency distortions rather than to high frequency ones. The other measure is based on singular value decomposition. It can be used as a graphical or as a scalar measure. These measures were used to evaluate wavelet transformation based compression algorithms. Subjective tests were conducted to estimate the performance of the measures. Distorted images were obtained using two algorithms with different filters and bit rates. The analysis of the results shows that PSNR-HVS provides better correlation to Mean Observer Score (MOS) then the other measures.



МЕТОД ФИЛЬТРАЦИИ ПОЛУТОНОВОЙ ВИДЕОПОСЛЕДОВАТЕЛЬНОСТИ С НИЗКИМИ ВЫЧИСЛИТЕЛЬНЫМИ ТРЕБОВАНИЯМИ

Трубин И.С., Колупаев А.В.

Вятский Государственный Университет

Большинство эффективных методов нелинейной фильтрации цифровых полутоновых изображений (ЦПИ), например методы, определяющие максимальную апостериорную вероятность [1], или методы, использующие преобразования Фурье [1], требуют для своей работы значительных вычислительных ресурсов, что затрудняет их техническую реализацию для работы в режиме «реального времени» с ЦПИ, связанными в видеопоследовательности. Несмотря на большие успехи в развитии вычислительной техники, проблема уменьшения вычислительной сложности алгоритмов восстановления искаженной шумами последовательности изображений продолжает представлять практический интерес.

Основные вычислительные затраты при реализации алгоритма [2] связаны с необходимостью вычисления нелинейной функции. В работе [3] предложен алгоритм, существенно снижающий объём вычислений, но имеющий строгие ограничения в использовании при отношении сигнал-шум менее 0дБ. В данной работе предложен алгоритм, основанный на аппроксимациях нелинейной функции, позволяющий сократить количество вычислительных операций, существенно не ограничивая диапазон допустимых отношений сигнал-шум.

При цифровом представлении полутоновых изображений двоичными m-разрядными числами каждый разряд можно рассматривать как последовательность двоичных символов, где – -й элемент l-го двоичного сечения в k-ом кадре последовательности ЦПИ. Тогда ЦПИ представляет собой взвешенную сумму двоичных сечений, т.е. определенный набор двоичных изображений, каждое из которых может независимо обрабатываться в одном из каналов m-канального устройства фильтрации.

Предположим также, что элементы двоичных изображений являются трехмерной цепью Маркова, с двумя априорно равновероятными значениями и и матрицами вероятностей перехода (МВП) от значения к значению внутри кадра по горизонтали, вертикали и между кадрами, соответственно: . (1)

Будем считать, что изображения последовательности поочередно передаются поразрядной разверткой от левого верхнего угла кадра вниз построчно по мере поступления элементов изображения. Передача осуществляется сигналом , дискретный параметр которого (частота, фаза и т.п.) принимает одно из двух возможных значений. Примем также, что помеха представляет собой аддитивный белый гауссовский шум с нулевым средним.

Согласно алгоритму, полученному в работе [2], уравнение оптимальной, в смысле минимальной вероятности ошибки, пространственно-временной фильтрации -го элемента l-го двоичного изображения в k-м кадре имеет вид:

(2), где − логарифм отношения апостериорных вероятностей значений элемента , – номер разряда, а – переменная, определяющая положение элемента в пространственно-временной окрестности: , , , , , , , ; – разность логарифмов функций правдоподобия состояний и элемента .

Вся априорная информация о статистической зависимости элементов l-го разряда изображения сосредоточена в слагаемых вида: (3), где , , – соответствующие элементы МВП.

Полагается, что МВП состояний элементов бинарных изображений по диагоналям могут быть получены перемножением известных априорно МВП (1) состояний элементов изображения по горизонтали, вертикали и между кадрами: , , , .

Вычисление нелинейных слагаемых (3) уравнения (2) требует большого количества вычислительных операций. Для уменьшения количества вычислений в уравнении (2) необходимо избавиться от нелинейности в слагаемых (3).

Для удобства вычислений будем считать МВП всех разрядов симметричными: , (, ).

После разложения экспоненциальных функций в степенной ряд Тейлора относительно точки , ограничения двумя первыми членами разложения, учёта условий нормировки (), разложения логарифма в степенной ряд относительно точки и ограничения первыми членами разложения функция упростится следующим образом:

, .

В работе [3] показано, что при малых ошибках фильтрации, т.е. при больших значениях , выражение можно упростить: , при ,

, при .

При использованием аппроксимаций выгоднее, с позиции вычислительных затрат, использовать функцию: .

Тогда, уравнение (2) запишется следующим образом:

(4)

Где , , , (, при ),, .

Таким образом, нелинейная функция (3) может быть замещена постоянной добавкой при больших значениях , или линейным выражением при малых значениях , что многократно сократит вычислительные затраты.



Рис.1 – Обработка кадра видеопоследовательности

В качестве критерия различения состояний и выбирается критерий идеального наблюдателя, в соответствии с которым решение о наличии параметра или в принятой реализации сигнала -го элемента изображения производится на основе сравнения логарифма отношения апостериорных вероятностей этого элемента с некоторым порогом Н, выбранным таким образом, чтобы минимизировалась средняя вероятность ошибки. В симметричной системе порог .

На рис. 1 изображены 10-ые кадры исходной (а), искаженной белым гауссовским шумом (б) при отношении сигнал/шум по мощности и обработанной (в) 8-разрядной видеопоследовательности.

В таблице 1 выполнено сравнение вычислительной сложности алгоритма, предложенного в данной работе, с оптимальным и квазиоптимальным алгоритмами, представленными в работах [2] и [3] соответственно. В таблице представлено количество операций вычисления, требуемое для обработки последовательности m–разрядных ЦПИ из K кадров размером , каждым из методов. Для сравнения в таблице выполнено сравнения с оптимальным алгоритмом [3], нелинейные функции (3) которого вычислены заранее и занесены в память в табличном виде.

Таблица 1 – сравнение алгоритмов
алгоритм фильтрации	количество математических операций		требуемые ресурсы памяти
	сложение	умножение
предложенный
оптимальный
квазиоптимальный		0
оптимальный (табл.)		0

Сложность вычисления экспоненциальных функции приравнивалась к четырем операциям умножения. Для расчетов принимается, что для хранения любой переменной требуется 1 байт (Б) памяти. Память необходимая для оперативного хранения значений апостериорных вероятностей (всех элементов предыдущего кадра, всех элементов предыдущей строки, предыдущего элемента текущей строки, а также фильтруемого элемента) одинакова для всех рассматриваемых методов и обозначена .

На рис. 2 представлен выигрыш (по мощности) сигнала на выходе устройства в зависимости от отношения сигнал/шум (по мощности) в единичном импульсе на входе устройства фильтрации. Выигрыш вычисляется суммированием выигрышей, полученных для каждого разрядного двоичного изображения: , где − отношение сигнал/шум на выходе канала фильтрации l-го разряда видеопоследовательности.

В качестве тестовой последовательности взята последовательность из 512 кадров с числом элементов в кадре , сформированная на основе пространственно-временной математической модели [4] при числе разрядов полутонового изображения и симметричных МВП, причем . Значения априорно заданных вероятностей для старшего, наиболее коррелированного разряда: .

Для сравнения на этом же рисунке представлены графики выигрышей при использовании оптимального [2] и квазиоптимального [3] алгоритмов фильтрации.



Рис. 2 –Выигрыш фильтрации по мощности

Полученные результаты показывают высокую эффективность синтезированного алгоритма фильтрации последовательности полутоновых изображений. Структура уравнения (4) обладает высокой однородностью, что позволяет синтезировать достаточно простые в реализации устройства фильтрации видеопоследовательности в режиме «реального времени».

Литература

1. 
   Qiu P. Image processing and jump regression analysis. – Wiley-Interscience, 2005. – 344p. ISBN 0-471-42099-9.
   
2. 
   Петров.Е.П., Трубин И.С. Буторин Е.Л. Нелинейная фильтрация последовательности цифровых полутоновых изображений.//Радиотехника и электроника, 2005, т.10.–с.1265-1272.
   
3. 
   Трубин И.С., Буторин Е.Л. Метод цифровой внутрикадровой фильтрации монохромных изображений // Деп. в ВИНИТИ №792-В2004, 12.05.04.
   
4. 
   Петров Е.П., Трубин И.С. Математические модели видеопоследовательностей цифровых полутоновых изображений. Успехи современной радиоэлектроники. 2007 № 6. - С. 3-31
   


GRAYSCALE VIDEOSEQUENCE FILTRATION METHOD WITH LOW COMPUTING REQUIREMENTS

Trubin I., Kolupaev A.

Vyatka State University

Most of digital grayscale images effective nonlinear filtration methods need huge computing resources. This problem makes difficult engineering realization of devices proposed for operation in a condition of «real-time» with images in a videosequence. Despite of major successes in development of computer technology, decreasing of video restoring algorithms computing difficulty is still to be practically interest.

Digital grayscale images notation in binary numbers allows separately considering of image digits according to their positions. So digital image vieosequence represents balanced sum of the digit binary sections. And each digit binary section of the image videosequence could be processed separately in filtration device chanels.

It is supposed that elements of digit binary section present three-dimensional Markovian chain, with two a priori equiprobable values and and transition probability matrix between value and in image frame across and vertically and between frames respectively equal:

.

It is supposed that elements are transmitted in addition with white Gaussian noise by signal , which discrete parameter (frequency, phase) may take one of two possible values.

Then quasioptimal, in respect of minimal errors probability, space-time filtration equation of image sequence element , is written:

where – element posterior probability ratio log, – digit position, – variable of space-time location in neighborhood: , , , , , , , ; – logistic difference of plausibility function of element values and .

Prior information of statistic dependence of image elements for respective digit and neighborhood location concentrated in functions: , , , (, при ),, .

Findings of investigation represent high effectiveness of introduced algorithm. Filtration equation has high homogeneity structure. That allows producing of simple in realization images videosequence filtration devices for operation in a condition of «real-time».

