Ìàòåìàòè÷åñêèå îñíîâû Computer Science

×àñòü 3: Êîäû, èñïðàâëÿþùèå îøèáêè.

Ëåêöèè 10 è 11.

Äìèòðèé Èöûêñîí

ÏÎÌÈ ÐÀÍ

13 äåêàáðÿ 2009

1 / 21

Ñîäåðæàíèå ëåêöèè

1 Òåîðåìà Ôîðíè

2 Îöåíêè Ïëîòêèíà

3 Êîä Àäàìàðà

4 Êîä Ðèäà-Ìàéëåðà

5 Êîä Á×Õ

Èñòî÷íèêè

1 Madhu Sudan. Essential Coding Theory, Lecture notes,http://people.csail.mit.edu/madhu/FT02/

2 À. Ðóìÿíöåâ, À. Ðîìàùåíêî, À. Øåíü. Çàìåòêè ïî òåîðèèêîäèðîâàíèÿ.http://www.mccme.ru/̃ anromash/courses/essential-coding-theory.pdf

2 / 21

 ïðîøëûé ðàç

• Êîä: F : Σk → Σn, n > k .

• Êîä ñ ðàññòîÿíèåì d ïîçâîëÿåò èñïðàâèòü e îøèáîê, åñëèd ≥ 2e + 1.

• Ãðàíèöà Õýììèíãà: qkVq(e, n) ≤ qn.

• Ãðàíèöà Ãèëáåðòà: (qk − 1)Vq(2e, n) < qn.

• Êîä Ðèäà-Ñîëîìîíà:• RS : Fk → Fn. F = {f1, f2, . . . , fn, . . . }.• RS(a0, a1, . . . , ak−1) = (z1, z2, . . . , zn), ãäå• zi = a0 + a1fi + a2f

2i + · · ·+ ak−1f

k−1i

• Êàñêàäíûå êîäû:• F1 : Σk1

1 → Σn11 , F2 : Σk2

2 → Σn21 , |Σ1| = |Σ2|k2

• Ñèìâîë Σ1 � áëîê èç k2 ñèìâîëîâ Σ2

• F1 ◦ F2 : Σk1k22 → Σn1n2

2• Âû÷èñëÿåì F1(a) = b1b2 . . . bn1 , ãäå bi ∈ Σ1 = Σk

2 .• F1 ◦ F2(a) = F2(b1)F2(b2) . . .F (bn1)

3 / 21

Òåîðåìà Ôîðíè

• F : {0, 1}k → {0, 1}n. Òðåáóåòñÿ, ÷òîáû kn è e

n áûëèîòäåëåíû îò íóëÿ.

• Êàñêàäíûé êîä, âíåøíèé êîä Ðèäà-Ñîëîìîíà, àâíóòðåííèé èùåòñÿ ïåðåáîðîì êîä, íà êîòîðîì äîñòèãàåòñÿãðàíèöà Âàðøàìîâà-Ãèëáåðòà.

• Äëèíà êîäîâîãî ñëîâà âíóòðåííåãî êîäà O(log n)

• Ïóñòü F � ïîëå èç 2k ýëåìåíòîâ.

• RS : F2k−1 → F2k

• Âíóòðåííèé êîä C : {0, 1}k → {0, 1}2k .

• RS ◦ C : {0, 1}k2k−1 → {0, 1}2k2k.

• Ðàññòîÿíèå âíóòðåííåãî êîäà 10%, ðàññòîÿíèå RS 50%.Èòîãî: ðàññòîÿíèå 5%.

• Ìîæíî èñïðàâèòü 2.5% îøèáîê.

4 / 21

Êîä Ôîðíè-Âîçåíêðàôòà-Þñòåñåíà

• F � ïîëå ðàçìåðà 2k

• α ∈ F, Cα : F→ F2, Cα : x → (x , αx)

• Cα íå âñå ÿâëÿþòñÿ êîäàìè, íàïðèìåð ïðè α = 0

• Ëåììà. (Ëåììà Âîçåíêðàôòà) Äëÿ α ∈ F, ïðè êîòîðûõ êîäCα èìååò êîäîâîå ðàññòîÿíèå íå áîëåå s, íå ïðåâîñõîäèòV2(s,k)2

2k

• V2(s, k) ≈ 2kH(s/k), ïðè ìàëûõ s/k ÷èñëî 2(2H(s/k)−1)k

áëèçêî ê íóëþ.Äîêàçàòåëüñòâî.

• Ïóñòü êîäîâîå ðàññòîÿíèå Cα íå áîëüøå s• ∃x : â (x , αx) íå áîëüøå s åäèíè÷åê.• x , αx ëåæàò â øàðå ðàäèóñà s â öåíòðå â íóëå.• α = αx

x• Êîëè÷åñòâî òàêèõ α íå ïðåâîñõîäèò V2(s, k)2

5 / 21

Êîä Ôîðíè-Âîçåíêðàôòà-Þñòåñåíà

• Ïðèìåíèì êîä Cα êàê âíóòðåííèé ïðè êàñêàäíîìêîäèðîâàíèè.

• Ê P(x) ïðèìåíÿåì êîä Cx : (P(x), xP(x))

• RS : F2k−1 → F2k

• FWU : {0, 1}22k−1 → {0, 1}22k+1

• ∃ε > 0, ÷òî äîëÿ x ∈ F äëÿ êîòîðûõ ðàññòîÿíèå ìåíüøå εíå áîëåå 1%

6 / 21

Êîäû ñ áîëüøèìè ðàññòîÿíèÿìè

• Ñóùåñòâóåò ëè êîä {0, 1}k → {0, 1}n ñ ðàññòîÿíèåì 0.99n?• Â òàêîì êîäå íå áîëüøå 2-õ êîäîâûõ ñëîâ.

• Ëåììà. Ïóñòü 1 ≥ β > 12 . Êîëè÷åñòâî òî÷åê â {0, 1}n,

ðàññòîÿíèÿ ìåæäó êîòîðûìè íå ìåíüøå βn, íå ïðåâîñõîäèò1

2β−1 + 1.

Äîêàçàòåëüñòâî.• Ïåðåéäåì îò 0/1 ê 1/-1.• Ñêàëÿðíîå ïðîèçâåäåíèå â Rn:

(<x1, . . . , xn>,<y1, . . . , yn>) =∑

xiyi

n

• |x | =√

(x , x) = 1.• Åñëè d(x , y) > βn, òî (x , y) < 1− 2β < 0• e1, e2, . . . , eN � ìíîæåñòâî êîäîâûõ ñëîâ• 0 ≤ (e1+e2+· · ·+eN , e1+e2+· · ·+eN) ≤ N+N(N−1)(1−2β)• N − 1 ≤ 1

2β−1

• Íåò øàíñîâ èñïðàâèòü > 25% îøèáîê.

7 / 21

Êîäû ñ áîëüøèìè ðàññòîÿíèÿìè

• ×òî ïðîèñõîäèò, åñëè ðàññòîÿíèå ÷óòü-÷óòü áîëüøå 50%?

• Óãëû ìåæäó êîäîâûìè ñëîâàìè òóïûå.

• Òîãäà ÷èñëî êîäîâûõ ñëîâ íå áîëüøå n + 1.• Ïóñòü x0, x1, . . . , xk îáðàçóþò ïîïàðíî òóïûå óãëû.Ïîêàæåì, ÷òî x1, x2, . . . , xk � ëèíåéíî íåçàâèñèìû.

• Âûáåðåì ìèíèìàëüíî ëèíåéíî çàâèñèìîå ìíîæåñòâî.• λ1x1 + λ2x2 + · · ·+ λmxm = 0• Åñëè âñå λi > 0, òî 0 = (x0, λ1x1 + λ2x2 + · · ·+ λmxm) < 0.• λixi + · · · = λjxj + . . .• Êâàäðàò âåêòîðà ïîëîæèòåëåí è îòðèöàòåëåíîäíîâðåìåííî!

8 / 21

Îöåíêà Ïëîòêèíà

• Ïóñòü ðàññòîÿíèå ≥ 50%. Ò.å. óãëû ïðÿìûå èëè òóïûå.Ïîêàæåì, ÷òî ÷èñëî âåêòîðîâ ≤ 2n.

• Ìîæíî ñ÷èòàòü, ÷òî ëèíåéíàÿ îáîëî÷êà âåêòîðîâñîâïàäàåò ñî âñåì ïðîñòðàíñòâîì.

• x1, x2, . . . , xn � áàçèñ, îñòàëüíûå âûðàæàþòñÿ.• Ê-òû ðàçëîæåíèÿ îñòàëüíûõ âåêòîðîâ ïî áàçèñóîòðèöàòåëüíû.

• Ïåðåíåñåì îòðèöàòåëüíûå ê-òû â ëåâóþ ÷àñòü• xk + (−λs)xs + · · · = λtxt + . . .• Êâàäðàò îäíîâðåìåííî > 0 è ≤ 0

• Åñëè îáùåå ÷èñëî âåêòîðîâ > 2n• xn+1, . . . � ëèíåéíî çàâèñèìû• Ê-òû èõ ëèíåéíîé êîìáèíàöèè íå ìîãóò áûòü îäíîãî çíàêà(òàê êàê ê-òû ðàçëîæåíèÿ ïî áàçèñó êàæäîãîîòðèöàòåëüíû)

• µsxs + · · · = µtxt + . . . , êâàäðàò íåïîëîæèòåëüíûé

• Îöåíêà Ïëîòêèíà: ÷èñëî êîäîâûõ ñëîâ íà ðàññòîÿíèè n/2íå áîëåå 2n.

9 / 21

Óëó÷øåíèå îöåíêè Ñèíãëåòîíà

• F : {0, 1}k → {0, 1}n � êîä ñ ðàññòîÿíèåì d

• Îöåíêà Ñèíãëåòîíà: ñðåäè 2k êîäîâûõ ñëîâ íàéäóòñÿ äâàñëîâà ñ ñîâïàäàþùèìè ïåðâûìè k − 1 ñèìâîëàìè=⇒ d ≤ n − k + 1.

• t = n − 2d

• Ñðåäè 2k êîäîâûõ ñëîâ íàéäóòñÿ 2k−t êîäîâûõ ñëîâ,êîòîðûå ñîâïàäàþò â ïåðâûõ t áèòàõ.

• 2k−t ≤ 4d

• k − n + 2d ≤ log(4d)

• kn + 2d

n ≤ 1 + log(4d)n

10 / 21

Êîä Àäàìàðà

• x , y ∈ {0, 1}m, îïðåäåëèì x � y = ⊕mi=1xiyi .

• H : {0, 1}s+1 → {0, 1}2s

• H(x) = (x � 1y)y∈{0,1}s

• Ýòî ëèíåéíûé êîä: H(x ⊕ z) = H(x)⊕ H(z)

• x , z ∈ {0, 1}s , x 6= z =⇒ x ⊕ z 6= 0n =⇒ ∃i(x ⊕ z)i = 1.

• Åñëè x è z îòëè÷àþòñÿ òîëüêî ïåðâûì áèòîì, òî H(x)îòëè÷àåòñÿ îò H(y) âî âñåõ áèòàõ. Äàëåå i > 1.

• y ∈ {0, 1}s , y (i) � ñòðîêà ñ çàìåíåíûì i-ì áèòîì.(x ⊕ z)� 1y 6= (x ⊕ z)� 1y (i).

• H(x) è H(z) îòëè÷àþòñÿ êàê ìèíèìóì â ïîëîâèíå áèòîâ.

• Êîä Àäàìàðà èìååò ðàññòîÿíèå 12 .

• n = 2s , 2n êîäîâûõ ñëîâ. Äîñòèãàåòñÿ îöåíêà Ïëîòêèíà.

11 / 21

Êîíêàòåíàöèÿ Ðèäà-Ñîëîìîíà è

Óîëøà-Àäàìàðà

• Êîä Àäàìàðà: 2m+1 êîäîâûõ ñëîâ ðàçìåðà 2m

• Ìàêðîñèìâîëû: áèòîâûå ñòðî÷êè ðàçìåðà 2m. Íóæíî 2m

ìàêðîñèìâîëîâ.

• Êîä Ðèäà-Ñîëîìîíà: ε2m ìàêðîñèìâîëîâ ïåðåâîäèò â 2m.

• {0, 1}εm2m → 22m.

• Êîäîâîå ðàññòîÿíèå 12(1− ε)

12 / 21

Ëîêàëüíûé äåêîäåð

Îïðåäåëåíèå. E : {0, 1}n → {0, 1}m � êîä. Ëîêàëüíûìäåêîäåðîì äëÿ E , èñïðàâëÿþùèì ρ îøèáîê, íàçûâàåòñÿâåðîÿòíîñòíûé àëãîðèòì D:

1 Êîòîðûé ïîëó÷àåò îðàêóëüíûé äîñòóï ê áèòàì y , ãäåd(y ,E (x)) < ρ

2 D ðàáîòàåò poly(log m) øàãîâ

3 Pr[Dy = xj ] ≥ 23

13 / 21

Ëîêàëüíûé äåêîäåð äëÿ êîäà Àäàìàðà

• Äàíà òàêàÿ ôóíêöèÿ g : {0, 1}s+1 → {0, 1}, ÷òîPry [g(y) 6= x � 1y ] ≤ ρ < 1

4 äëÿ íåêîòîðîãî x .

• Òðåáóåòñÿ óçíàòü xj ïðè j > 1.

• Ïóñòü e j : âåêòîð ñ e jj = 1, e j

k = 0, k 6= j .

• Âûáåðåì ñëó÷àéíóþ ñòðîêó y ∈ {0, 1}n.• Ñ âåðîÿòíîñòüþ 1− 2ρ > 1

2 âûïîëíÿåòñÿg(y) = x � 1y , g(y + e j) = x � 1(y + e j).

• g(y) + g(y + e j) = x � 1y + x � 1(y + e j) =2(x � 1y) + x � e j = x � e j = xj .

• Ïîâòîðåíèåì ìîæíî ïîíèçèòü âåðîÿòíîñòü îøèáêè.

• Êàê îïðåäåëèòü x1?

• Îïðåäåëèì x2x3 . . . xn, à çàòåì íàéäåì x0 �ãîëîñîâàíèåì�.

14 / 21

Êîä Ðèäà-Ìàëëåðà

• F � êîíå÷íîå ïîëå. `, d � ÷èñëà. d < F.• Âõîäíàÿ ñòðîêà: ìíîãî÷ëåí îò ` ïåðåìåííûõ ñòåïåíè d :

P(x1, x2, . . . , x`) =∑

i1+···+i`≤d

ci1...i`xi11 x i2

2 . . . x i``

• Êîä: çíà÷åíèå P íà âñåõ âîçìîæíûõ çíà÷åíèÿõïåðåìåííûõ.

• RM : FCd`+d → F|F|l

• Ïðè ` = 1 ïîëó÷àåòñÿ êîä Ðèäà-Ñîëîìîíà.

• Ïðè d = 1, F = Z2 ïîëó÷àåòñÿ ïî÷òè êîä Óîëøà-Àäàìàðà:x ∈ {0, 1}n 7→ z ∈ {0, 1}2·2n

, ãäå zy ,a = x � y ⊕ a,y ∈ {0, 1}n, a ∈ {0, 1}

• Ðàññòîÿíèå êîäà 1− d|F| .

15 / 21

Ëåììà Øâàðöà-Çèïïåëÿ

Ëåììà. Åñëè ìíîãî÷ëåí p(x1, x2, . . . , x`) íàä êîíå÷íûì ïîëåì Fíåíóëåâîé ñòåïåíè ≤ d , òîãäà

Pra1,...,al←F

[p(a1, a2, . . . , a`) 6= 0] ≥ 1− d

|F|

Äîêàçàòåëüñòâî.

• l = 1: èçâåñòíîå óòâåðæäåíèå

• p(x1, . . . , x`) =∑d

i=0 x i1pi (x2, . . . , x`)

• Ïóñòü k íàèáîëüøåå ÷èñëî, ÷òî pk 6= 0, deg pk ≤ d − k .

• Pra1,...,a`←F[pk(a2, . . . , a`) 6= 0] ≥ 1− d−k|F|

• Êîãäà pk(a2, . . . , a`) 6= 0, òî p(x1, a2, . . . , ak) èìååò ≤ kêîðíåé.

• Pr[p(a1 . . . am) 6= 0] ≥ (1− k|F|)(1−

d−k|F| ) ≥ 1− d

|F|

16 / 21

Ëîêàëüíûé äåêîäåð äëÿ êîäà

Ðèäà-Ìþëëåðà

• Áóäåì ñ÷èòàòü, ÷òî ìíîãî÷ëåí çàäàí íå ñïèñêîìêîýôôèöåíòîâ, à çíà÷åíèÿìè íà íåêîòîðûõ C `

`+d òî÷êàõ.

• Pry∈F` [P(y) 6= g(y)] < ρ ≤ (1− d|F|)/6, P � ìíîãî÷ëåí

ñòåïåíè d îò ` ïåðåìåííûõ.

• Öåëü: âû÷èñëèòü P(x) (åñòü îðàêóëüíûé äîñòóï ê g !).

• Âûáåðåì ñëó÷àéíóþ ïðÿìóþ, ïðîõîäÿùóþ ÷åðåç òî÷êó x .Lx = {x + ty | t ∈ F}, y ← U(F`)

• Çàïðîñèì g íà âñåõ |F| òî÷êàõ Lx , ïîëó÷èì òî÷êè{(t, g(x + ty))} äëÿ t ∈ F.

• Ñ âåðîÿòíîñòüþ õîòÿ áû 23 íà âûáðàííîé ïðÿìîé áóäåò íå

áîëåå 3ρ|F| < (1− d/|F|)|F|/2 íåïðàâèëüíûõ îòâåòîâ.

• Q(t) = P(x + ty) � ìíîãî÷ëåí ñòåïåíè d . Âîñïîëüçóåìñÿäåêîäåðîì äëÿ êîäà Ðèäà-Ñîëîìîíà.

• Âûäàäèì Q(0).

17 / 21

Êîäû Á×Õ

• Àâòîðû êîäà: Áîóç (R.C. Bose), ×îóäõóðè (D.K.Ray-Chaudhury) è Õîêâèíãåì (A. Hocquenghem)

• Êîä ïîçâîëÿåò èñïðàâëÿòü ëþáîå êîíñòàíòíîå ÷èñëîîøèáîê.

• Îáîáùåíèå êîäà Õýììèíãà.

• F � ïîëå èç n = 2k ýëåìåíòîâ.

• Ìíîãî÷ëåíû ñòåïåíè < n:• A(x) = a0 + a1x + · · ·+ an−1x

n

• Îïðåäåëÿåòñÿ çíà÷åíèÿìè â n òî÷êàõ ïîëÿ• êîýôôèöèåíòû ←→ çíà÷åíèÿ

• Äâà îãðàíè÷åíèÿ:• ñòåïåíü < n − s• Çíà÷åíèÿ òîëüêî 0 èëè 1

18 / 21

Êîäû Á×Õ

• Äâà îãðàíè÷åíèÿ:• ñòåïåíü < n − s• Çíà÷åíèÿ òîëüêî 0 èëè 1

• Çíà÷åíèÿ òàêèõ ìíîãî÷ëåíîâ âî âñåõ òî÷êàõ ïîëÿ � êîäÐèäà-Ñîëîìîíà ñ ðàññòîÿíèåì s + 1

• F2 � ïîäïîëå F.• Ìíîæåñòâî êîäîâ � ëèíåéíîå ïðîñòðàíñòâî íàä F2.

• Áåç îãðàíè÷åíèé íà ê-òû ìíîãî÷ëåíà ðàçìåðíîñòüïðîñòðàíñòâà êîäîâ n

• Îáðàùåíèå â íîëü êàæäîãî ê-òà: k óðàâíåíèé

• F2-ðàçìåðíîñòü ≥ n − sk = n − s log n

• Ïðè s = 2, d = 3, 2 log n ïðîâåðî÷íûõ ñèìâîëîâ

•  êîäå Õýììèíãà áûëî log n ïðîâåðî÷íûõ ñèìâîëîâ

•  Á×Õ ìîæíî ñýêîíîìèòü íà ïðîâåðî÷íûõ ñèìâîëàõ

19 / 21

Êîäû Á×Õ

• A(x) ïðèíèìàåò çíà÷åíèÿ òîëüêî 0 èëè 1:• A(x)2 = A(x), ìíîãî÷ëåí A(x)2 − A(x) îáðàùàåòñÿ â íóëüäëÿ âñåõ x ∈ F.

• A(x)...

∏a∈F(x − a)

•∏

a∈F(x − a) = xn − x

• A(x) = an−1xn−1 + an−2x

n−2 + · · ·+ a1x + a0

• A2(x) = a2n−1x

2n−2 + a2n−2x

2n−4 + · · ·+ a21x

2 + a20

• a2n−1 = an−1

• a2n−2 = an−3

• a2n−3 = an−5

• a2n/2 = a1

• Ýòî ëèíåéíûå ñîîòíîøåíèÿ, òàê êàê(a + b)2 = a2 + b2 + 2ab = a2 + b2

• Èç óñëîâèé an−1 = 0, an−2 = 0, . . . , an−s = 0 ìîæíîîñòàâèòü òîëüêî an−1 = 0, an−2 = 0, an−4 = 0, . . . .

• F2-ðàçìåðíîñòü ≥ n − s2k = n − s log n

2

20 / 21

Á×Õ è ãðàíèöà Õýììèíãà

• Ãðàíèöà Õýììèíãà: 2kV2(e, n) ≤ 2n.

• Øàð ðàäèóñà e = s/2 ñîäåðæèò ïðèìåðíî C en ≈ ne

e!ýëåìåíòîâ

• k ïðèìåðíî îöåíèâàåòñÿ n − e log n + log e!

• Á×Õ: k = n − e log n

21 / 21