1 Алгоритмы, учитывающие систему визуального восприятия человека

Результаты объективных измерений должны хорошо согласовываться с результатами субъективных измерений для одной и той же видеопоследовательности. Это требование обуславливает главную сложность разработки объективных методов.

На практике, к сожалению, достаточно часто встречаются ситуации, когда исходное и обработанное изображение кажутся наблюдателю идентичными, в то время как объективные методы для тех же самых изображений дают очень большую ошибку. Учитывая то, что оценка качества человеком является решающей, подобная погрешность при объективных измерениях бывает просто не допустима. По этой причине был разработан ряд алгоритмов, учитывающих систему визуального восприятия человека.

Мультиразмерная ошибка

Одним из недостатков стандартных алгоритмов является тот факт, что вычисления ошибок производятся с учетом всего исходного изображения. Альтернативными являются измерения, имеющие некоторое сходство с системой визуального восприятия человека путем приписывания большего веса фрагментам с низким разрешением, и меньшего веса детальным изображениям.

Рассмотрим различные уровни разрешения, которые обозначим через r ≥ 1. Для каждого уровня r изображение разбивается на блоки c b 1 по bn, где n зависит от шкалы r. Например, при r = 1 (самое низкое разрешение), только один блок покрывает все изображение, которому соответствует средний уровень яркости g. При r = 2 мы имеем уже четыре блока размером  со средними уровнями яркости g11, g12, g21, g22. На r-м уровне разрешения мы будем работать с  блоками размером , которым соответствуют уровни яркости gij, ij=1…. Таким образом, к каждому блоку bij, принадлежащему изображению , приписывается уровень яркости gij, а соответствует изображению . Среднее искажение уровня яркости при разрешении r имеет вес  2r . Следовательно, ошибка на этом уровне имеет вид:

                                         (1)

где 2r-1 - количество блоков по i или по j индексам. Если рассматривать всю совокупность из R уровней разрешения, тогда оценка искажения будет выражена через сумму всех уровней разрешения r = 1… R , т.е.

                                             (2)

Величина R (количество уровней разрешения) определяется начальным разрешением исходного цифрового изображения. К примеру, для изображения размером 512*512 R примет значение равное 9. Общая оценка искажений в видеосигнале выглядит следующим образом:

                                                           (2)

Индекс качества изображения (Image Quality Index)

Данный алгоритм выглядит следующим образом. Пусть и  есть исходное и обработанное изображения соответственно. Тогда индекс качества изображения вычисляется следующим образом:

                                        (3)

где

                                                           (4)

                                                           (5)

                                             (6)

                                            (7)

                                 (8)

Индекс Q принимает всевозможные значение на промежутке [-1, 1]. Наилучшее значение индекса качества достигается тогда и только тогда, если xi = yi для всех i = 1,2,…N и принимает значение равное единице. Наихудший вариант (-1) происходит когда yi=2x - xi. для всех i = 1,2,…N . Данный индекс качества рассматривает любые искажения как совокупность трех различных факторов: потеря корреляции, искажение яркости и искажение контрастности. Первая компонента - это коэффициент корреляции между x и y,принадлежащая промежутку [-1, 1]. Наилучшее значение достигается когда yi=axi + b для всех i = 1,2,…N, где a и b - константы и a>0. Даже если x и y находятся в линейной зависимости могут иметь место другие искажения, устанавливаемые во второй и третьей компонентах. Вторая компонента, принимающая значения на промежутке [0,1] определяет степень схожести яркостных составляющих двух изображений x и y. Она принимает значение равное 1 тогда и только тогда, если . А  и    рассматриваются как оценка разности контраста между x и y, та же принимающая  значения  на  промежутке [0,1] и  имеющая  наилучший  результат  при .

Мера качества видео на основе дискретного косинусного преобразования (Video Quality Measurement (VQM))

Алгоритм VQM основывается на идее о том, что в большинстве случаев наблюдатель при оценке качества изображения менее внимателен к мелким деталям, в то время как его основное внимание концентрируется на крупных объектах. Следовательно, возможно представить высокочастотную временную и пространственную информацию с меньшей точностью, а потерей качества в таком случае можно пренебречь, поскольку человеческий глаз малочувствителен к искажениям на подобном уровне. По этой причине, вместо попиксельного яркостного сравнения двух изображений (оригинального и искаженного) в алгоритме осуществляется сравнение взвешенных частот на уровне человеческого восприятия.

Кроме того, по мнению автора, наибольшим приоритетом при оценке качества, обладают те части изображения, яркость которых наибольшая. Он основывается на предположении о том, что если часть изображения более яркая, то и искажения на ней должны оказаться более заметны человеческому глазу.

Этапы алгоритма:

1.      Чтение блоков размером 8x8 из исходного и искаженного изображений.

2.      Каждый блок подвергается дискретному косинусному преобразованию, в результате чего мы получаем 2 матрицы частотных DCT-коэффициентов размером 8x8.

3. Для каждого блока производится масштабирование частот в зависимости от его общей яркости. Результатом данного этапа являются две матрицы Local Contrast для блоков из исходного и искаженного изображений соответственно:

                                  (9)

где DCT(i,j) – матрица размером 8x8, являющая результатом дискретного косинусного преобразования исходного блока, DC – это средняя яркость данного блока перед преобразованием, имеющая нулевую несущую частоту, т.е. DC = DCT(0,0).

4.      Каждый блок подвергается делению на стандартную матрицу квантования, в результате получаем две матрицы, содержащие взвешенные частоты с учетом человеческого восприятия.

5.      Вычисляем функцию пространственной контрастной чувствительности (Spatial Contrast Sensitivity Function, SCSF). Для этого берем абсолютное отклонение соответствующих элементов полученных матриц, вычисляем их сумму, добавляем ее к сумме уже просмотренных блоков, вычисляем максимальное отклонение соответствующих элементов матриц.

6.      На последнем этапе производится вычисление качества видеосигнала:

                                   (10)

где sum – это сумма всех абсолютных отклонений, max – максимальное из всех отклонений по всему кадру. Таким образом, вычисляется средняя ошибка по всему кадру. Кроме того, оценка качества изображения производится с учетом максимального отклонения по всему кадру, поскольку в алгоритме делается предположение о том, что одно крупное искажение в одной части изображения, отвлечет наше внимание от более мелких искажений в других частях кадра.

2 Модификация алгоритмов оценки качества изображения с применением предварительной обработки Графические линейные фильтры.

Над любым изображением можно производить различные преобразования, позволяющие изменять исходную картинку. Основной целью такого преобразования является усиление или уменьшение каких либо свойств исходного изображения. Наиболее простыми преобразованиями являются локальные преобразования, затрагивающие вместе с определенным пикселем лишь его непосредственную окрестность (это значит, изменить цвет пикселя в соответствии с цветом его ближайших соседей) с целью достижения некоторого эффекта. Такие преобразования называются фильтрами. С исходным изображением можно работать, как с обычной матрицей, выполняя над ним различные численные преобразования. Интенсивность каждого пикселя изображения - результат действия фильтра вычисляется с помощью воздействия фильтра на соответствующий пиксель исходного изображения и его окрестность.

Каждый линейный фильтр F можно представить в виде матрицы размером , где N и M - размеры (прямоугольной) окрестности по горизонтали и вертикали. Интенсивность пикселя исходного изображения с координатами (x, y) при воздействии такого фильтра вычисляется по формуле:

                                           (11)

Рассмотрим простейший пример графического фильтра (таблица 2). Это фильтр 3x3, то есть область действия фильтра захватывает сам пиксель и его ближайших соседей.

Таблица 2. Простейший фильтр – размытие исходного изображения (blur)

Таким образом, чтобы преобразовать один пиксель в изображении, необходимо умножить значение его цвета на число в центре матрицы, которую содержит фильтр. Затем умножаем восемь значений цветов пикселей, окружающих центральный пиксель, на соответствующие им коэффициенты фильтра, суммируем все девять значений, и получаем в результате новое значение цвета центрального пикселя. Этот процесс повторяется для каждого пикселя в изображении, тем самым изображение, как принято говорить, фильтруется. Коэффициенты фильтра определяют результат процесса фильтрации. В данном примере результатом действия фильтра будет простое усреднение интенсивности пикселей в области 3x3. Это простейший фильтр, приводящий к размывке изображения (blur). Заметим, что сумма всех элементов матрицы равна 1, то есть общая интенсивность изображения сохраняется. Такое свойство фильтра является очень важным при последовательном многократном его применении. Это означает, что каждый пиксель поглотит что-то из цветов соседей, но полная яркость изображения останется неизменной.

Если же сумма коэффициентов больше чем 1, яркость увеличится; меньше 1 - яркость уменьшится.

Еще одной идеей является введение в фильтр отрицательных чисел, что, вообще говоря, приводит к действию, обратному размывке (sharpening), то есть, два первоначально близких цвета удаляются друг от друга.

Спектр применения графических фильтров очень велик, начиная с коррекции цифровых фотографий и заканчивая созданием специальных эффектов на исходных изображениях.

Предварительная обработка исходного и искаженного изображений.

Эффективный подход к получению оценки качества цифрового видеосигнала заключается в предварительной обработке исходного и закодированного изображения, после которой применяется один из уже известных алгоритмов оценки качества.

Данный алгоритм основан на предположении о том, что система визуального восприятия человека направлена на извлечение структурной информации из наблюдаемого изображения. Следовательно, измерение изменений структурной информации может оказаться неплохой оценкой визуально воспринимаемых искажений в обработанном изображении.

В целях извлечения структурной информации к исходному и полученному изображениям применить четыре линейных графических фильтра определения границ размером 5x5. Первый фильтр (таблица 1) призван определять вертикальные границы двух изображений, а второй (таблица 2) горизонтальные, два других фильтра (таблица 3 и таблица 4) призваны определять диагональные границы разной ориентации.

Таблица 1. Фильтр, определяющий вертикальные границы

Таблица 2. Фильтр, определяющий горизонтальные границы

Таблица 3. Фильтр, определяющий диагональные границы 1-го типа

Таблица 4. Фильтр, определяющий диагональные границы 2-го типа

Чтобы преобразовать один пиксель в изображении, необходимо умножить значение его цвета на число в центре фильтра. Затем необходимо умножить 24 значения цветов пикселей, окружающих центральный пиксель, на соответствующие им коэффициенты фильтра, просуммировать все 25 значений. В результате мы получаем новое значение цвета центрального пикселя. Этот процесс повторяется для каждого пикселя в изображении.

Следующим этапом является применение одного из алгоритмов оценки качества цифрового видеосигнала для четырех карт границ в отдельности, вертикальной, горизонтальной, и двух диагональных. Вычисление метрик для карт границ необходимо с целью определения масштаба искажений границ объектов на изображении, поскольку границы объектов являются главной составляющей структурной информации.

На третьем, заключительном этапе, с целью учета границ, ориентированных по четырем направлениям, результат усредняется по вертикальной, горизонтальной, и диагональным составляющим.

3 Критерии качества восстановления изображения

Для сравнения различных алгоритмов сжатия используются следующие объективные критерии качества.

1. Среднеквадратическая ошибка (mean square error) или средний квадрат ошибок

,                                      (12)

2. Средняя абсолютная ошибка (mean absolute error)

                              (13)

3. Нормированная среднеквадратическая ошибка (normalized MSE)

             (14)

4. Нормированная абсолютная ошибка (normalized absolute error)

                   (15)

5. Отношение сигнал/шум (signal to noise ratio)

     (16)

Использование логарифмов сглаживает MSE и делает ее менее чувствительной к малым изменениям  восстановляемого изображения.

6. Пиковое отношение сигнал/шум (peak signal to noise ratio)

На практике используется модификация меры MSE и называется PSNR (peak of signal-to-noise ratio). PSNR чаще других параметров применяется для оценки сходства между исходным и восстановленным изображениями.

По сравнению с MSE данная мера хороша тем, что исчисляется в логарифмической шкале по амплитуде (в децибелах). Это важно, так как глаз воспринимает сигнал также в логарифмической шкале по амплитуде и поэтому усиление амплитуды сигнала в два раза не означает для человека улучшения качества изображения во столько же раз.

,                                           (17)

где b – число бит на значение  пикселя изображения.

Одним из недостатков данной меры является высокая чувствительность к среднему отличию сигналов по амплитуде, что может привести к ошибочному результату, в случае, когда сигналы немного отличаются в среднем по амплитуде. Физиология зрения и психология восприятия изображения человека настолько сложны, что до сих пор не существует способа математического расчета степени визуальной схожести двух изображений.

7. Средняя разность (average difference)

                              (18)

8. Максимальная разность (maximum difference)

                                           (19)

9. Структурное содержимое (structural content)

                                                (20)