И.М.Книжный, 2009 г. Институт космических исследований РАН e-mail: [email protected]

Адаптивные модификации кода Голомба иАдаптивные модификации кода Голомба и их использование для сжатия изображений их использование для сжатия изображений

в космических экспериментахв космических экспериментах

И.М.Книжный, И.М.Книжный, 2009 2009 г.г.

Институт космических исследований РАНИнститут космических исследований РАН

e-mail: [email protected]: [email protected]

Статический код Голомба (1)Статический код Голомба (1)

Бернуллиевский источник:Бернуллиевский источник:

p(0)p(0) = = qq

p(1)p(1) =( =(1-q)1-q)Энтропия:Энтропия:

HHBB = –( = –(11––qq)∙)∙loglog22((11––qq) – ) – qq∙ ∙ loglog22 qq

______________________________________________________

Геометрический источник Геометрический источник

с бесконечным алфавитом:с бесконечным алфавитом:

pp((ii)=(1-)=(1-qq))qqii..

Средняя длина символа:Средняя длина символа:

11 =>=> aa00

0101 =>=> aa11

001001 =>=> aa22

00010001 =>=> aa33

0000100001 =>=> aa44

000001000001 =>=> aa55

...............................

...............................)1/(1)1()1(

0

qqqiSi

i

)1(

log)1(log)1()]1([log)1( 22

20 q

qqqqqqqqH i

i

ig

Энтропия:

КритерийКритерий оптимальности Голомба:оптимальности Голомба:

qqll=1/2=1/2

Критерий Галлагера-Ван Вурхиса:Критерий Галлагера-Ван Вурхиса:

qq ll + + qq ll+1+1 ≤ 1 < ≤ 1 < qq l l + + qq ll-1-1

[[i/li/l] – ] – унарный кодунарный кодii \\ l l – – кодируется по Хаффмену:кодируется по Хаффмену:

пусть пусть

ТогдаТогда если если r = r = i\l < m, i\l < m,

тото r r кодируетсякодируется [[loglog22 ll]]--битовым кодовым словомбитовым кодовым словом,,

иначе -иначе - [[loglog22 ll]]+1+1--битовым.битовым.

Средняя длина кодового слова при этом составляетСредняя длина кодового слова при этом составляет

11 =>=> aa00

0101 =>=> aa11

001001 =>=> aa22

00010001 =>=> aa33

0000100001 =>=> aa44

000001000001 =>=> aa55

……………….. =>=> ……

0000…10000…1 =>=> aall - 1 - 1

0000…00000…0 =>=> aall

Статический код Голомба (Статический код Голомба (22))

.2 1log2 lm l

.1

1log)( 2 l

m

gq

qlqS

Конечный набор«укрупнённых» символов:

Более простой подход:Более простой подход:

если если r < mr < m, то в качестве кодового слова используются , то в качестве кодового слова используются [[loglog22ll]] младших бит младших бит rr,,

иначе - иначе - [[loglog22ll]]+1+1 младших бит числа (младших бит числа (r+mr+m))..


ii [[i/li/l]] rr Кодовое Кодовое словослово

ii [[i/li/l]] rr КодовоеКодовое словослово

ii [[i/li/l]] rr КодовоеКодовое словослово

00 00 00 11 000000 1010 11 00 0101 000000 2020 22 00 001001 000000

11 00 11 11 001001 1111 11 11 0101 001001 2121 22 11 000101 001001

22 00 22 11 010010 1212 11 22 0101 010010 2222 22 22 001001 010010

33 00 33 11 011011 1313 11 33 0101 011011 2323 22 33 001001 011011

44 00 44 11 100100 1414 11 44 0101 100100 2424 22 44 001001 100100

55 00 55 11 101101 1515 11 55 0101 101101 2255 22 55 001001 101101

66 00 66 11 11001100 1616 11 66 0101 11001100 2626 22 66 001001 11001100

77 00 77 11 11011101 1717 11 77 0101 11011101 2727 22 77 001001 11011101

88 00 88 11 11101110 1818 11 88 0101 11101110 2828 22 88 001001 11101110

99 00 99 11 11111111 1919 11 99 0101 11111111 2929 22 99 001001 11111111

Пример: Пример: q q = 0.93 (= 0.93 (HHg g = 5.2275) =>= 5.2275) => ll = = 1010. .

mm == .3 log ,6 2 21log2 lll

Статический код Голомба (Статический код Голомба (44))

,2757.14S 73.2/max gсж HSK

5.2538,gS 72.2/ gсж SSK

.0263.0 ggg HSR

.)1(

log)1(log)1(

11log)( 22

2 q

qqqq

q

qlqR

l

m

g

Избыточность статического кодаИзбыточность статического кода ГоломбаГоломба

как функция известной вероятности как функция известной вероятности qq::

Пример (продолжение):Пример (продолжение):


0,00

0,02

0,04

0,06

0,08

0,10

0,12

0,5 0,55 0,6 0,65 0,7 0,75 0,8 0,85 0,9 q

R(q

), би

т

Избыточность статического кода Голомба:

Адаптивный код Голомба (1)

l q l q

1 0.5000 ÷ 0.6180 9 0.9217 ÷ 0.9296

2 0.6180 ÷ 0.7549 10 0.9297 ÷ 0.9361

3 0.7550 ÷ 0.8192 11 0.9362 ÷ 0.9415

4 0.8193 ÷ 0.8567 12 0.9416 ÷ 0.9460

5 0.8568 ÷ 0.8813 13 0.9461 ÷0.9499

6 0.8814 ÷ 0.8987 14 0.9500 ÷ 0.9533

7 0.8988 ÷ 0.9116 15 0.9534 ÷ 0.9563

8 0.9117 ÷ 0.9216 16 0.9564 ÷ 0.9589

l ≈ –1/log2 q

q l + q l+1 ≤ 1 < q l + q l-1

ln x ≈ x – 1

qqql

1

2ln

ln

2ln

log

1

2(] z [ - ближайшее целое к

z)

ql

1

2ln, где δ ≈ -0.316

Адаптивный код Голомба (2)Адаптивный код Голомба (2)

)16.1(q )3.3(q )16.1(q )3.3(q

l qq q’q’ l qq q’q’

1 → 2 0.6180 0.6183 9 → 10 0.9296 0.9294

2 → 3 0.7549 0.7539 10 → 11 0.9361 0.9359

3 → 4 0.8192 0.8184 11→ 12 0.9415 0.9413

4 → 5 0.8567 0.8561 12 → 13 0.9460 0.9459

5 → 6 0.8813 0.8808 13 → 14 0.9499 0.9498

6 → 7 0.8987 0.8983 14 → 15 0.9533 0.9532

7 → 8 0.9116 0.9113 15 → 16 0.9563 0.9562

8 → 9 0.9216 0.9214 16 → 17 0.9589 0.9588

Граничные значения частоты q для l = 1÷17, соответствующие критерию Галлагера - Ван Вурхиса (q)

и вычисленные по приближённой формуле с поправкой δ ≈ -0.316 (q’):

Адаптивный код Голомба (Адаптивный код Голомба (33))

ai-1ai-2ai-3. . .ai-k+1ai-k ai

k

./)(ˆ nknq

,1

k

iiakn

jk 22ln/

,))((ˆ1

jjcalk

ii

с(j) = ] 2 j (δ + ln 2 + 0.5) [.

гдеq

l ,ˆ1

2lnˆ

kk jj cc((j)j)

33 22 44

66 33 77

1111 44 1414

2222 55 2828

4444 66 5656

8989 77 112112

177177 88 449449

то с учётом того, что

если выбрать k таким образом, чтобы

,

где

Адаптивный код Голомба (Адаптивный код Голомба (44))

0,00

0,02

0,04

0,06

0,08

0,10

0,12

0,5 0,6 0,7 0,8 0,9 q

R(q

), б

ит k=11

k=22

k=44

k=89

G-V

Избыточность адаптивного кода Голомба для различных значений k (в предположении, что

q – неизвестно, но остаётся постоянным):

белая линия на графике – граница Галлагера-Ван Вурхиса (случай, соответствующий известному значению вероятности q).

Использование АКГ в предиктивныхИспользование АКГ в предиктивныхсхемах сжатия изображений (1)схемах сжатия изображений (1)

0,00

0,25

0,50

0,75

1,00

1,25

1,50

1,75

2,00

2,25

2,50

0 20 40 60 80 100 120 140 160 180 200 220 240 260

Яркость i

N(i

), %

Типичное изображение земной поверхности (КА аппарат Landsat 5, Большой Каньон, США) вместе с гистограммой яркости:


0

2

4

6

8

10

12

14

16

18

-20 -16 -12 -8 -4 0 4 8 12 16 20

Ошибка предсказания i

N(i)

, %

0

2

4

6

8

10

12

14

16

18

0 4 8 12 16 20 24 28 32 36 40

Ошибка предсказания i

N(i)

, %

Распределение ошибки предсказания до (слева) и после (справа) ремаппинга


0 ,2

0 ,12

xx

xxxr

0

5

10

15

20

0 5 10 15 20 25 30 35 40 x

p(x),

%

xexp )(

β (–1<β<1)

Ремаппинг в случаеβ > 0:

Гистограмма ошибки предсказания (после операции ремаппинга) вместе с аппроксимирующим её графиком

экспоненциального распределения:


Вычисление по среднему

3,90

3,91

3,92

3,93

3,94

3,95

3,96

3,97

0 2 4 6 8 10 12 14 16 18 20Число точек окружения k

S(k

), bp

p

k = 22

k = 11 k = 6

k = 3

хххх

Вычисление по взвешенному среднему

3,90

3,91

3,92

3,93

3,94

3,95

3,96

3,97

0 2 4 6 8 10 12 14 16 18 20Число точек окружения k

S(k

), bp

p

Оценка параметра l по двумерному окружению из уже закодированных ошибок предсказания. На графиках - среднее число бит на пиксел

сжатого изображения в зависимости от способа оценки l.


РазмерыCALICHuff.

CALICarithm.

GAP--Glm

RAR 3.50 DaRT

Размерность: пиксел bpp bpp bpp bpp bpp

LSTM1 6000x5880 3,8005 3,7209 3,7616 4,3190 3,7384

LSTM2 6000x5880 3,9710 3,9034 3,9308 4,5761 3,9033

LSTM4 6000x5880 3,7379 3,6662 3,6888 4,3578 3,6586

ADS1 3960х19920 3,4937 3,3804 3,4427 4,1870 3,4028

ADS2 3960х19920 3,2143 3,0668 3,1242 3,8327 3,0666

ADS3 3960х19920 3,6014 3,5889 3,5457 4,3116 3,5182

[MБ/с]: – 3,61 1,51 3,81 3,20 3,59

Сравнение эффективности схем сжатия изображений ДЗЗ Сравнение эффективности схем сжатия изображений ДЗЗ с использованием предиктора с использованием предиктора GAP GAP и различных методов статистического и различных методов статистического

кодирования. Кодек кодирования. Кодек GAP-Glm построен на основе CALIC заменой арифметического кодера адаптивным кодом Голомба (АКГ). Кодек DaRT

использует модифицированный GAP и АКГ. Для сравнения приведены результаты сжатия с использованием архиватора WinRAR 3.50.

Лучшие результаты выделены жёлтым цветом.


Размерыизображения

CALICHuff.

CALICarithm.

GAP--Glm

RAR 3.50 DaRT

Размерность: пиксел bpp bpp bpp bpp bpp

AIRFIELD 512x512 5,5855 5,4748 5,5411 6,1154 4,9652

BRIDGE 512x512 5,4823 5,3750 5,4626 4,4789 3,4734

COUPLE 512x512 4,6654 4,5957 4,6252 5,4002 4,2082

HARBOUR 512x512 4,5279 4,4583 4,4805 5,1976 4,4259

LENA 512x512 4,1722 4,1207 4,1267 5,2088 4,0709

MAN 512x512 4,4117 4,3851 4,3964 5,3396 4,3386

MANDRILL 512x512 5,9804 5,8987 5,9132 6,5533 5,8906

PEPPERS 512x512 4,2785 4,2091 4,2887 5,2391 4,1638

SAILBOAT 512x512 4,7469 4,6945 4,7347 5,5167 4,6599

WOMAN1 512x512 4,6218 4,5546 4,5985 5,4659 3,9605

WOMAN2 512x512 3,3095 3,2021 3,1740 4,0453 3,1389

[MБ/с]: – 3,61 1,51 3,81 3,20 3,59

Сравнение эффективности схем сжатия на примере изображений Сравнение эффективности схем сжатия на примере изображений из набора из набора “Old JPEG test set”“Old JPEG test set”, не подвергавшихся искажающему сжатию:, не подвергавшихся искажающему сжатию:

Использование АКГ в схемах сжатия Использование АКГ в схемах сжатия изображений на основе изображений на основе DCT DCT (1)(1)

rjiFr

ji eFp ,)( ,

0,00

1,00

2,00

3,00

4,00

0 10 20 30 40 50 60 70 80 90 100 110 120 130 140 150

F 1,0

p(F1,0

),%

N

k

rji kF

N

1, )(

Распределение коэффициента Распределение коэффициента DCT FDCT F1,0 1,0 ((белая линиябелая линия)) вместе с графиком вместе с графиком

аппроксимирующего экспоненциального распределения (красная линия):аппроксимирующего экспоненциального распределения (красная линия):

Использование АКГ в схемах сжатия Использование АКГ в схемах сжатия изображений на основе изображений на основе DCT DCT (2)(2)

i \ j 0 1 2 3 4 5 6 7

0 – 0,0301 0,0516 0,0813 0,1172 0,1714 0,2551 0,3937

1 0,0341 0,0459 0,0638 0,0906 0,1266 0,1803 0,2651 0,4044

2 0,0551 0,0657 0,0807 0,1044 0,1389 0,1910 0,2754 0,4150

3 0,0861 0,0953 0,1080 0,1286 0,1597 0,2108 0,2953 0,4367

4 0,1250 0,1341 0,1463 0,1652 0,1947 0,2445 0,3328 0,4803

5 0,1816 0,1897 0,2026 0,2211 0,2510 0,3046 0,3988 0,5614

6 0,2644 0,2722 0,2880 0,3090 0,3418 0,4028 0,5132 0,7062

7 0,3920 0,4044 0,4287 0,4564 0,4970 0,5742 0,7184 0,9694

ji ,Оценка для каждого коэффициента

DCT 8x8 Fi,j изображения LSTM1:

Использование АКГ в схемах сжатия Использование АКГ в схемах сжатия изображений на основе изображений на основе DCT DCT ((33))

AC (3,2)

0,00

1,25

2,50

3,75

5,00

6,25

7,50

8,75

10,00

0 10 20 30 40 50 60 70 80 90 100 110 120 130 140 150

i

N(i

), %

AC (3,2) /4

0

4

8

12

16

20

24

28

32

36

0 5 10 15 20 25 30 35 40 45 50

i

N(i)

, %

Гистограмма коэффициента DCT 8x8 F2,3 (AC(3,2)) до и после квантования:


Zero length (4,6)

0

3

6

9

12

15

18

21

24

0 4 8 12 16 20 24 28 32 36 40 44 48 52

i

N(i)

, %

Zero length (3,2)

0

7

14

21

28

35

42

49

56

0 2 4 6 8 10 12 14 16i

N(i

), %

Распределение длин серий нулевых коэффициентов DCT 8x8 в плоскостях AC(4,6) и AC(3,2) после операции квантования

(изображение LSTM1):


Quality:70JPEG,

Huff. staticJPEG,

Huff. optJPEG

arithmeticXGP-11p XGP-11 XGP-11w

Размерность: байт байт байт байт байт байт

LSTM1 3374051 3236990 2975385 2977375 2895715 2892447

LSTM2 3944398 3829505 3487183 3454667 3364044 3361062

LSTM4 3588639 3459857 3154886 3158303 3073842 3071139

ADS1 7186334 7014834 6343018 6309607 6145225 6134425

ADS2 6961953 6829276 6186165 6148520 5987872 5975217

ADS3 7688086 7554645 6766170 6697193 6532758 6520599

Всего:%

32743461117.13%

31925107114.20%

28912807103.43%

28745665102.83%

27999456100.16%

27954889100.00%

Сравнение результатов использования АКГ (кодек XGP) с различными способами оценки параметра l и JPEG (кодек Independent JPEG Group):

“JPEG Huff. static” – неадаптивный код Хаффмена, “JPEG Huff. opt” – однопроходный динамическийкод Хаффмена, “JPEG arithmetic” – адаптивный арифметический кодер. XGP-11p, XGP-11 и

XGP-11w – кодек XGP с оценкой параметра l соответственно по 11 точкам скользящего окна, двумерной области из 11 точек и с использованием набора весовых коэффициентов.

Наилучшие результаты выделены жёлтым цветом.


QualityQuality::8585JPEG

Huff. staticJPEG

Huff.opt.JPEG

arithmeticXGP-11p XGP-11 XGP-11w

Размерность: байт байт байт байт байт байт

LSTM1 5262373 5199680 4720318 4596764 4484077 4479213

LSTM2 6008017 5959775 5390184 5235602 5119160 5114984

LSTM4 5507893 5455351 4932451 4806875 4695152 4691103

ADS1 10906802 10851936 9778551 9489820 9266863 9251744

ADS2 10357579 10323086 9327195 9001398 8786042 8768168

ADS3 11766264 11710367 10389586 10054164 9834176 9817643

Всего:%

49808928118.25%

49500195117.51%

44538285105.73%

43184623102.52%

42185470100.15%

42122855100.00%

МБайт/с: 9.21 7.39 3.85 9.42 9.26 9.02

Сравнение результатов использования АКГ (кодек XGP) с различными способами оценки параметра l и JPEG (кодек Independent JPEG Group).

Кодеки те же, что и на предыдущем слайде, но сжатие производилось с более высоким качеством (параметр качества = 85):

В нижней строке таблицы – скорость кодирования при использовании соответствующего кодека.

Заключение и выводыЗаключение и выводы

Предлагаемый однопроходный адаптивный метод статистического сжатия на основе кода Голомба (АКГ) и его модификации отличаются малой вычислительной сложностью, эффективностью и высокой скоростью работы. В докладе показано, что их использование в предиктивных схемах сжатия изображений и в схемах с частотным преобразованием (на примере DCT) вместо арифметического кодирования обеспечивает в 2.5 раза более высокую скорость работы кодера при той же или большей степени сжатия изображений. Указанные качества позволяют сделать вывод о практической целесообразности применения АКГ при сжатии видеоданных с использованием бортовых вычислительных комплексов ограниченной технической оснащённости.

Использованные тестовые изображения (1)Использованные тестовые изображения (1)

ADS1:

ADS2:

ADS3:

Размер кадра 19920х3960 пикселов, 8 бит/пиксел, изображения получены при съемке авиационной цифровой камерой ADS-40 в окрестностях Берлина в августе 1999 г.

Использованные тестовые изображения (2)Использованные тестовые изображения (2)

LSTM1: LSTM2: LSTM4:

Изображения LSTM1, LSTM2, LSTM4 - спектральные каналы снимка Большого Каньона (США), полученного съемочной аппаратурой Thematic Mapper КА Landsat-5.

Размер кадра 5880х6000 пикселов, 8 бит/пиксел.

Адаптивные модификации кода Голомба Адаптивные модификации кода Голомба и их использование для сжатия изображений и их использование для сжатия изображений

в космических экспериментахв космических экспериментах

И.М.Книжный, И.М.Книжный, 2009 2009 г.г.

Институт космических исследований РАНИнститут космических исследований РАН

e-mail: [email protected]: [email protected]

Documents

И.М.Книжный, 2009 г. Институт космических исследований РАН e-mail: [email protected]