Giai Bai Tap Ly Thuyet Thong Tin_PTIT

ĐẶNG QUANG HUY - D09VTH2 GVHD: NGUYỄN THỊ LAN ANH

Chương III: MÃ THỐNG KÊ TỐI ƯU

Bài tập: Lập một bộ mã cho nguồn tin u có sơ đồ thống kê như sau.

Ui U1 U2 U3 U4 U5 U6 U7 U8 U9P(u) 0.34 0.2 0.19 0.1 0.07 0.04 0.03 0.02 0.01Bằng mã nhị phân (m=2)theo phương pháp shannon. Tính độ dài trung bình của từ mã ntb và tính kinh tế của từ mã: p=H(U)/Ntb.

GiảiSơ đồ mã hóa theo phương pháp mã hóa shannon:

Độ dài trung bình từ mã: NTB=

Entropy của tập tin: H(u)=

Chỉ số kinh tế của bộ mã: p= =0,8279

__________________________________________________________________

Chương IV: MÃ CHỐNG NHIỄU: MÃ KHỐI

Bài tập: Ma trận sinh của bộ mã tuyến tính (6,3) trên trường GF(2) là:

14/12/2023

Ui P(ui) Pi ni Dạng mã nhị phân của pi Từ mãU1 0.34 0 2 0 00U2 0.2 0.34 3 0.01010111 010U3 0.19 0.54 3 0.10001010 100U4 0.1 0.73 4 0.10111010 1011U5 0.07 0.83 4 0.11010100 1101U6 0.04 0.9 5 0.11100110 11100U7 0.03 0.94 6 0.11110000 111100U8 0.02 0.97 6 0.11111000 111110U9 0.01 0.99 7 0.11111101 1111110


G=

a. Biểu diễn G dưới dạng chuẩn Gch.

b. Liệt kê các từ mã có được từ G và Gch.

c. Có bao nhiêu từ mã có trọng số hamming là 1,2,3,4,5,6,7.

Giảia. Biểu diễn G dưới dạng chuẩn Gch.

Gch=

b. Liệt kê các từ mã của G và Gch.

Vector mang tin a

v= a.G w(v) v’=a.Gch w(v’)

000 000000 0 000000 0001 110110 4 001111 4010 110001 3 010110 3011 000111 3 011001 3100 011010 3 100011 3101 101100 3 101100 3110 101011 4 110101 4111 011101 4 111010 4

c. Cả hai bộ mã trên đều có 1 từ mã có trọng số là 0

0 từ mã có trọng số là 1



24/12/2023





__________________________________________________________________

Chương V: MÃ VÒNG

Bài tập: Cho mã vòng (n,k)=(7,4)có ma trận sinh là g(x)=x3+x+1. Liệt kê tất cả các từ mã của bộ mã và cho biết bộ mã có khả năng sửa sai bao nhiêu bit?

Giảia. Cho d= (0001) ta tính được:

V1=0001000+dư số

V1=0001000+011=0001011

Quay vòng từ mã v1 ta sẽ được thêm 6 từ mã nữa:V2=1000101

V3=1100010

V4=0110001

V5=1011000

V6=0101100

V7=0010110

Cho d=(0011) ta tính được:

Vδ=0011000+dư số

Vδ=0011000+101=00111101

34/12/2023


Quay vòng từ mã vδ ta sẽ được thêm 6 từ mã nữa:V9 =1001110

V10 =0100111

V11=1010011

V13 =1110100

V14=0111010

Cho d=(1111000) ta tinh được:

V15=1111000+dư số

V15=1111000+111=1111111


V0=0000000 + dư số

b. Ta có thể tính dễ dàng trọng số Hamming của bộ mã là trọng số nhỏ nhất của từ mã khác không : H(V)=3 nên bộ mã có khả năng sửa được tất các mẫu sai 1bít.

BÀI TẬP LÝ THUYẾT THÔNG TIN

Chương 2: Lượng Tin

Trong một trò sổ số vui người ta sổ 10 chữ số từ 0 đến 9.

Xác suất trúng của mỗi nhóm lá như nhau.

a. Tính lượng tin riêng của tin: “số trúng giải là số 9”b. Tính lượng tin tương hỗ giữa tin: “số trúng giải là số 9” so với tin: “số trúng giải là

số chia hết cho 3”.

44/12/2023


c. Trong 10 tin trên gọi U={u1, u2, u3, u4, u5, u6} với ui là tin “số i trung giải” (i=0,1,.....,6).

Tìm lượng tin trung bình của tập tin U.

Giải

a. Gọi p(9) là xác suất số 9 trúng giải ta có:

p(9) = = 0.1

Vậy I(9) =

b. Gọi p(0-3-6-9) là xác suất trúng giải chia hết cho 3.

Ta có p(0-3-6-9) =

Mặc khác I(9/0-3-6-9) = =

=

Vậy: I(9;0-3-6-9) = I(9)-I(9/0-3-6-9)

=

= 1.322c. Lượng tin trung bình của tập tin U:

I(U) = = - = = 2.325

Chương 3: Mã Thống Kê Tối Ưu

Cho nguồn tin U có sơ đồ thống kê như sau:

ui u1 u2 u3 u4 u5-6 u7-9 u10-18 u19

54/12/2023


p(ui) 0.338 0.32 0.13 0.1 0.018 0.01 0.005 0.01

Dùng mã Huffman kết hợp mã đều để mã hóa nguồn tin trên với cơ số mã m=3. Tính n tb

và tính kinh tế của từ mã:

Giải

Sơ đồ mã hóa theo phương pháp mã hóa Huffman:

ui p(ui) ni Từ mãu1 0.338 1 0u2 0.32 1 1u3 0.13 2 20u4 0.1 2 21u5 0.018 4 2210u6 0.018 4 2211u7 0.01 4 2200u8 0.01 4 2201u9 0.01 4 2202u10 0.005 5 22200u11 0.005 5 22201u12 0.005 5 22202u13 0.005 5 22210u14 0.005 5 22211u15 0.005 5 22212u16 0.005 5 22220u17 0.005 5 22221u18 0.005 5 22222u19 0.001 4 2212

Phương pháp mã hóa như sau:

Bước 1: sắp xếp các tin có xác suất theo thứ tự giảm dần. Bước 2: ghép 3 tin có xác suất nhỏ nhất, trở thành tin phụ mới Bước 3: lặp lại giống bước 1( sắp xếp các tin theo xác suất giảm dần Bước 4: ghép 3 tin có xác suất nhỏ nhất trở thành tin phụ mới (cách trình

bày này lập đi lập lại cho đến khi còn 1 tin cuối cùng).

Độ dài trung bình tư mã: ntb =

Entropy của tập tin: H(U) = -

64/12/2023


Chỉ số kinh tế của bộ mã: p = = = 0.9913

Chương 4: Mã Khối Mã Chống Nhiễu

Ma trận sinh của bộ mã tuyến tính (7,3) trên trường GF(2) là:

G =

d. Biểu diễn G dưới dạng chuẩn Gch.

e. Xác định ma trận thử Hch.

f. Liệt kê các từ mã có được từ G và Gch.

g. Xác định khoảng cách Hamming của bộ mã này.

Giải

d.

Gch =

e. Ta có Hch = [-PT.In-k]

1 0 1 1 0 0 0 0 1 1 0 1 0 0 1 1 1 0 0 1 0 1 1 0 0 0 0 1

f. Liệt kê các từ mã của G và Gch.

74/12/2023

Hch =


Vector mang tin a


000 0000000 0 0000000 0001 1011100 4 0011110 4010 0101110 4 0100111 4011 1110010 4 0111001 4100 0010111 4 1001011 4101 1001011 4 1010101 4110 0111001 4 1101100 4111 1100101 4 1110010 4

g. Cả hai bộ mã trên đều có D=4 là trọng số Hamming nhỏ nhất của các từ mã khác không của chúng.

Chương 5: Mã Vòng

Đa thức sinh của bộ mã vòng hamming là: g(x)=1+x3+x4

a. Tìm đa thức thử h(x) của bộ mã này.b. Thiết kế mạch mã hóa thực hiện qua h(x).c. Xác định các bit thử và từ mã nhận được tương ứng với chuỗi bit mang tin

d=(10000001011).

Giải

a. Bộ mã hamming có (n,k) = (2n-k-1,k) nên:n = 2n-k-1 = 24-1 = 15.

Từ công thức: h(x) = (xn+1)/g(x)

Ta tính được: h(x) =

b. Khi d = (10000001011) hay d(x) = thì:

v(x) = d(x).xn-k + dư số của

84/12/2023


= + số dư của

= ( )

Trong đó x3+1 tương ứng với chuỗi bit 1001 là các bit thử và từ mã nhận được

tương ứng với v(x) = ( ) là v = (100000101110010).

BÀI TẬP MÔN LÝ THUYẾT THÔNG TIN.

CHƯƠNG 1: LƯỢNG TIN

ĐỀ BÀI: Xác định entropy khi đổ súc sắc. Giả sử súc sắc được chế tạo sao cho xác xuất suất hiện của bất kỳ mặt nào cũng tỉ lệ với số chấm trên mặt súc sắc.

GIẢI:

Gọi P(xi) là xác suất của các mặt súc sắc. Với i=(1,2,3,4,5,6)

Entropy khi đổ súc sắc:

H(x) = P(xi). I(xi)

= - - - - -

= 0.209 + 0.323 + 0.401 + 0.455 + 0.492 + 0.516

= 2.396 (bit)

CHƯƠNG 2: MÃ THỐNG KÊ TỐI ƯU

ĐỀ BÀI: Lập một bộ mã cho nguồn tin U có sơ đồ thống kê như sau:

Ui U1 U2 U3 U4 U5 U6 U7 U8 U9

P(ui) .34 .2 .19 .1 .07 .04 .03 .02 .01

Bằng mã nhị phân (m = 2) theo phương pháp Shannon. Tính độ dài trung bình của từ mã và tính kinh tế của bộ mã.

94/12/2023


GIẢI:

Sơ đồ mã hóa theo phương pháp Shannon:

ui P(ui) Pi ni Dạng nhị phân của Pi Từ mãU1 .34 0 2 0 00U2 .2 .34 3 0.010 010U3 .19 .54 3 0.100 100U4 .1 .73 4 0.1011 1011U5 .07 .83 4 0.1101 1101U6 .04 .9 5 0.11100 11100U7 .03 .94 6 0.111100 111100U8 .02 .97 6 0.111110 111110U9 .01 .99 7 0.1111110 1111110

Độ dài trung bình của từ mã:

Entropy của tập tin:

Tính kinh tế của bộ mã:


Chương 2: Lượng Tin

104/12/2023


Xem các con bài của bộ bài 52 lá tạo thành 1 nguồn tin rời rạc. Tính entropy của một lá bài rút ngẫu nhiên. Giả sử bỏ qua nước của con bài để bây giờ U={ Ace, 2, 3, 4, 5, 6, 7, 8, 9, 10, Jack, Qeen, King}. Tính entropy của một lá bài rút ngẫu nhiên trong trường hộp này, trong trường hợp U=(bài có hình, bài không hình).

Giải

d. H(U)= với p(ui)= (i=1, 2, 3,.......,52)

=- =-52 =5.700

e. H(U)= với p(ui)= (i=1, 2, 3,.......,13)

=- =-13 =3.700

f. Gọi uh là tin bài có hình thì p(uh)=

Gọi uoh là tin con bài không hình thì p(uoh)=

Vậy H(U)= p(uh)I(uh)+p(uoh)I(uoh)

=- p(uh) )-p( )

=- - = 0.779

114/12/2023


Chương 5: Mã Vons

Đa thức sinh của bộ am vòng hamming là:g(x)=1+x3+x4

d. Tìm đa thức thử h(x) của bộ am này.e. Thiết kế mạch am hóa thực hiện qua h(x).f. Xác định các bit thử và từ am nhận được tương ứng với chuỗi bit mang tin

d=(10000001011).

Giải

c. Bộ am hamming có (n,k)=(2n-k-1,k) nên:n=2n-k-1=24-1=15.

Từ công thức: h(x)=(xn+1)/g(x)

Ta tính được: h(x)=

d. Khi d=(10000001011) hay d(x)= thì:

v(x)=d(x).xn-k+ dư số của

= + số dư của

=( )

Trong đó x3+1 tương ứng với chuỗi bit 1001 là các bit thử và từ am nhận được

tương ứng với v(x)= ( ) là v=(100000101110010).


Chương 2: Lượng Tin.

=

124/12/2023


Chương 3: Mã Thống Kế Tối Ưu.


Ui U1 U2 U3 U4 U5 U6 U7 U8 U9P(u) 0.34 0.2 0.19 0.1 0.07 0.04 0.03 0.02 0.01Bằng mã nhị phân (m=2)theo phương pháp shannon. Tính độ dài trung bình của từ mã ntbvà tính kinh tế của từ mã:p=H(U)/Ntb


Ui P(ui) Pi ni Dạng mạ nhị phân của pi Từ mãU1 0.34 0 2 0 00U2 0.2 0.34 3 0.01010111 010U3 0.19 0.54 3 0.10001010 100U4 0.1 0.73 4 0.10111010 1011U5 0.07 0.83 4 0.11010100 1101U6 0.04 0.9 5 0.11100110 11100U7 0.03 0.94 6 0.11110000 111100U8 0.02 0.97 6 0.11111000 111110U9 0.01 0.99 7 0.11111101 1111110

Độ dài trung bình tư mã: NTB=



Chương 4: Mã Chống Nhiếu : Mã Khối

Chương 5: Mã Vòng.

134/12/2023


Bài tập: cho mã vòng (n,k)=(7,4) có ma trận sinh là g(x)=x3+x+1. Liệt kê tất cả các từ mã của bộ mã và cho biết bộ mã có khả năng sửa sai bao nhiêu bít.

Giải

A.cho d= (0001) ta tính được:

V1=0001000+dư số

V1=0001000+011=0001011

Quay vòng từ mãv1 ta sẽ đượcthêm 6 từ mã nữa:V2=1000101

V3=1100010

V4=0110001

V5=1011000

V6=0101100

V7=0010110

Cho d=(0011)ta tính được:

Vδ=0011000+dư số

Vδ=0011000+101=00111101Quay vòng từ mã vδ ta sẽ đượcthêm 6 từ mã nữa:V9 =1001110

V10 =0100111

V11=1010011

V13 =1110100

V14=0111010


144/12/2023


V15=1111000+dư sô

V15=1111000+111=1111111


V0=0000000+dư số

B. ta có thể tính rễ ràng trọng số hamming của bộ mã là trọng số nhở nhất của từ mã khác không : H(V)=3 nên bộ mã có khả năng sửa được tất các mẫu sai 1bít.

__________________________________________________________________







154/12/2023




__________________________________________________________________


Bài tập: Ma trận sinh của bộ mã tuyến tính (6,3) trên trường GF(2) là:

G=

h. Biểu diễn G dưới dạng chuẩn Gch.

i. Liệt kê các từ mã có được từ G và Gch.

j. Có bao nhiêu từ mã có trọng số hamming là 1,2,3,4,5,6,7.

Giảih. Biểu diễn G dưới dạng chuẩn Gch.

Gch=

i. Liệt kê các từ mã của G và Gch.

Vector mang tin a


000 000000 0 000000 0001 110110 4 001111 4010 110001 3 010110 3011 000111 3 011001 3100 011010 3 100011 3

164/12/2023


101 101100 3 101100 3110 101011 4 110101 4111 011101 4 111010 4

j. Cả hai bộ mã trên đều có 1 từ mã có trọng số là 0







__________________________________________________________________


BÀI T P MÔN LÝ THUY T THÔNG TIN.Ậ Ế

CH NG 1: L NG TIN.ƯƠ ƯỢ

1. Trong m t trò ch i x s vui ng i ta x 10 ch s t 0 đ n 9.ộ ơ ổ ố ườ ổ ữ ố ừ ếXác xu t trúng c a m i s là nh nhau.ấ ủ ỗ ố ưa. Tính l ng tin riêng c a tin : “ s trúng gi i là s 9”.ượ ủ ố ả ốb. Tính l ng tin t ng h gi a tin : “s trúng gi i là 9” so v i tin :”s ượ ươ ỗ ữ ố ả ớ ố

trúng gi i là s chia h t cho 3”.ả ố ếc. Trong 10 tin trên g i U=(uọ 1,u2,u3,u4,u4,u5,u6) v i uớ i là tin “s i trúng ố

gi i” (i=0,1,…,6).ảTìm l ng tin trung bình c a t p tin U.ượ ủ ậ

Bài làma. G i p(9) là xác su t s 9 trúng gi i ta cóọ ấ ố ả

p(9) = 1/10= 0.1

174/12/2023


v y I(9)= -log p(9)= log 10= 3.322ậ

b. G i p(0-3-6-9) là xác su t đ s trúng gi i chia h t cho 3, ta có:ọ ấ ể ố ả ế

p(0-3-6-9) = 4/10= 0.4

M t khác : I (9/0-3-6-9) = - log p(9/0-3-6-9)ặ

V y I(9; 0-3-6-9) = I(9) – I(9/0-3-6-9)ậ

c. L ng tin trung bình c a t p tin U :ượ ủ ậ

CH NG 2: MÃ TH NG KÊ T I ƯƠ Ố Ố

Trong kênh truy n tin nh phân có nhi u ngu n X = {x0,x1} có p(x0) = 0.4 và p(xề ị ễ ồ 1) = 0.6. Xác su t truy n tin sai nh m p(yấ ề ầ 0/x1) = p(y1/x0) = 0.1, xác su tấ truy n ề tin đúng p(y0/x0) = p(y1/x1) = 0.9, v i Y = {yớ 0,y1}

a/ Tính H(Y)

b/ Tính H(Y/X)

c/ Tính I(X;Y)

Bài làm:

184/12/2023


a/ H(Y) = p(y0)I(y0) + p(y1)I(y1)

Áp d ng công th cụ ứ

Ta có: P(y0) = p(y0,x0) + p(y0,x1)

= p(y0) p(y0/x0) + p(x1) p(y0/x1)

= 0,4.0,9 + 0,6.0,1

= 0,42

P(y1) = p(y1,x0) + p(y1,x1)

= p(x0) p(y1/x0) + p(x1) p(y1/x1)

= 0,4.0,1 + 0,6.0,9

= 0,58

H(Y) = -0,42log0,42 – 0,58log0,58

=0,8915

b/

= p(x0,y0) I(y0/x0) + p(x0,y1) I(y1/x0) + p(x1,y0) I(y0/x1) + p(x1,y1) I(y1/x1)

Mà: p(x0,y0) = p(x0) p(y0/x0) = 0,4.0,9 = 0,36

p(x0,y1) = p(x0) p(y1/x0) = 0,4.0,1 = 0,04

p(x1,y0) = p(x1) p(y0/x1) = 0,6.0,1 = 0,06

p(x1,y1) = p(x1) p(y1/x1) = 0,6.0,9 = 0,54

I(y0/x0) = -log p(y0/x0) = -log0,9 = log10/9

I(y1/x0) = -log p(y1/x0) = -log0,1 = log10



Nên: H(Y/X) = 0,36log10/9 + 0,04log10 + 0,06log10 + 0,54log10/9

194/12/2023


= 0.469

c/

= p(x0,y0) I(x0;y0) + p(x0,y1) I(x0;y1) + p(x1,y0) I(x1;y0) + p(x1,y1)I(x1;y1)

Mà: I(x0;y0) = I(y0;x0) = I(y0) - I(y0/x0) = log p(y0/x0)/p(y0) = log0,9/0,42

I(x0;y1) = I(y1;x0) = I(y1) - I(y1/x0) = log p(y1/x0)/ p(y1) = log0,1/0,58



V y I(X;Y) = 0,36log0,9/0,42 + 0.04log0,1/0,58 + 0,06log0,1/0,42 + 0,54log0,9/0,58ậ

= 0,512


__________________________________________________________________





Ui P(ui) Pi ni Dạng mã nhị phân của pi Từ mãU1 0.34 0 2 0 00U2 0.2 0.34 3 0.01010111 010U3 0.19 0.54 3 0.10001010 100U4 0.1 0.73 4 0.10111010 1011U5 0.07 0.83 4 0.11010100 1101U6 0.04 0.9 5 0.11100110 11100U7 0.03 0.94 6 0.11110000 111100

204/12/2023


U8 0.02 0.97 6 0.11111000 111110U9 0.01 0.99 7 0.11111101 1111110




__________________________________________________________________


__________________________________________________________________



Chương II

Xem các con bài của bộ bài 52 lá tạo thành 1 nguồn tin rời rạc, Tính Entropy của 1 lá bài rút ngẫu nhiên. Giả sử bỏ qua nước của con bài để bây giờ U={ Ace, 2,3,4,5,6,7,8,9,10,Jack, Queen, King}. Tính Entropy của 1 lá bài rút ngẫu nhiên trong trường hợp này, trong trường hợp U={ bài có hình, bài ko hình}

Giải:

H(U)=i=152puiIui với p(ui)=1/52 ( i= 1,2,3,….52)

=-i=152p(ui)log pui =-52.1/52 log (1/52)= log52 = 5700

b) H(U)=i=113puiIui với p(ui)=1/13 ( i= 1,2,3,….13)

=-i=113p(ui)Iui =-13.1/13 log (1/13)= log13 = 3700

c) Gọi uh là tin bài có hình thì p(uh)=3/13

Gọi uoh là tin bài có hình thì p(uoh)=10/13

214/12/2023


Vậy H(U)= p(uh)I (uh)+ p(uoh)I (uoh)

=- p(uh)log p(uh)- )- p(uoh)log (uoh)

= 313log 313- 1013log1013

=0,779

Chương III

Lập 1 bộ mã cho nguồn tin U có sơ đồ thống kê như sau:

Ui u1 u2 u3 u4 u5 u6 u7 u8 u9

P(ui) .34 .2 .19 .1 .07 .04 .03 .02 .01

Bằng mã nhị phân the phương pháp shannon. Tính độ dài trung bình của từ mã ntb và tính kinh tế của từ mã p=H(U)/ ntb

Giải:

Sơ đồ mã hóa theo phương pháp mã hóa shannon:

Ui P(ui) Pi ni Dạng nhị phân của Pi Từ Mã

U1

U2

U3

U4

U5

U6

U7

U8

U9

.34

.2

.19

.1

.07

.04

.03

.02

.01

0

.34

.54

.73

.83

.9

.94

.97

.99

2

3

3

4

4

5

6

6

7

0

0,01010111

0,10001010

0,10111010

0,11010100

0,11100110

0,11110000

0,11111000

0,11111101

00

010

100

1011

1101

11100

111100

111110

1111110

224/12/2023


Độ dài trung bình từ mã : ntb= i=19ni pui=3.1

Entropy của tập tin : H(U)=-i=19puilogui=2,5664

Chỉ số kinh tế của bộ mã: ρ= H(U)/ ntb=2.5664/3.1=0,8279

Chương V

Chứng minh rằng trong 1 bộ mã vòng khi sai E(x) có thể dò được thì mẫu sai Ei(x) chuyển dịch vòng I bit so với E(x) cũng có thể dò được

Giải:

Nếu Ei(x) là 1 mẫu sai ko phát hiện được thì Ei(x) là 1 từ mã. Từ đây theo đn của mã vòng thì E(x) cũng là 1 từ mã.Khi đó vì mã vòng là mã tuyến tính nên 1 từ mã v(x) bất kỳ sau khi chịu tác động sai của E(x) sẽ biến thành 1 từ mã v’(x) và không phát hiện sai được. Điều này mâu thuẫn với giả thiết là E(x) là mẫu sai phát hiện được.


Bài 8 : chứng minh rằng

Bài giải :

234/12/2023


= H(X) + H(Y/X) (đpcm)

Bài 9 : Giả sử có một nguồn tin rời rạc xuất hiện p(u) khi u U. Với mỗi tin u chọn 1 từ mã có

độ dài l(u) thỏa :

Chứng minh rằng độ dài trung bình

Thỏa

Bài giải:

Theo đề bài với mọi u ta có:

Vì p(u)>0 nên bất đẳng thức trên tương đương với:

Cộng tất cả các bất đẳng thức của từng tin u theo vế:

244/12/2023


Hay

Chương III :MÃ THỐNG KÊ TỐI ƯU

BÀI 1: cho bộ mã có cơ số mã m = 4 như sau:

U={3,23,11,123,10}

a. Vẽ cây mã và đồ hình kết cấu của bộ mã Ub. Vẽ mặt tọa độ mãc. Lập 1 bộ mã hệ thống 6 từ mã có các tổ hợp sơ đẳng. Vẽ đồ hình kết cấu của bộ mã vừa

lặp

Bài giải:

a. Cây mã :----------------------------------------------------------------------------------------------------Mức 0

2 1---------------------------------------------------------------------------------------------------Mức 1

3 1 2 0--------------------------------------------------------------------------------------------------Mức 2

3---------------------------------------------------------------------------------------------------Mức 3Đồ hình kết cấu :

3

b. Mặt tọa độ mã:

ui ni pi

3 1 3

23 2 14

11 2 5

123 3 57

10 2 1

254/12/2023

0

01

0


c. Tổ hợp sơ đẳng : 23,123,10Tổ hợp cuối : 3,11Bộ mã hệ thống có 6 từ mã :u1 =233, u2=1233, u3=101011, u4=2311, u5=12311, u6=102311

Bài 5 : lập 1 bộ mã cho nguồn tin U có sơ đồ thống kê như sau:

ui u1 u2 u3 u4 u5 u6 u7 u8 u9

P(ui) .34 .2 .19 .1 .07 .04 .03 .02 .01

Bằng mã nhị phân m=2, theo phương pháp Shannon,tính đọ dài trung bình của từ mã ntb và tính theo kinh tế của từ mã :

Bài giải :


ui P(ui) Pi ni Dạng nhị phân của Pi Từ Mã

u1 .34 0 2 0 00

u2 .2 .34 3 0.01010111 010

u3 .19 .54 3 0.10001010 100

u4 .1 .73 4 0.1011010 1011

u5 .07 .83 4 0.11010100 11 01

u6 .04 .9 5 0.11100110 11100

u7 .03 .94 6 0.11110000 111100

u8 .02 .97 6 0.11111000 111110

u9 .01 .99 1 0.11111101 1111110

264/12/2023


Đọ dài trung bình từ mã :

Etropy của tập tin:

Chỉ số kinh tế của bộ mã :

Bài 7 : cho nguồn tin U có sơ đồ thống kê như sau:

ui u1 u2 u3 u14

P(ui) .5 .25 .315 .31 . 0157 .0156

Dung mã Huffman kết hợp mã đều để mã hóa nguồn tin trên với cơ số mã m=2

Bài giải:

P(ui) Sơ đồ mã hóa Từ mã

.5 0

.25 10

.315 11000

.31 11001

.31 11010

.31 11011

. 0157 111000

. 0157 111001

. 0157 111010

. 0157 111011

. 0157 111100

274/12/2023


. 0157 111101

. 0157 111110

.0156 111111

Chương IV : MÃ CHỒNG NHIỄU: MÃ KHỐI

Bài 3 : ma trận Sinh của bộ mã tuyến tính (7,3) trên đường GF (2) là :

a.Biểu diễn G dưới dạng chuẩn Gch

b.Xác định ma trận thử Hch

c. Liệt kê các từ mã có được từ G và Gch

d. Xác định khoảng cách Hamming của bộ mã này

bài giải:a.Lấy cột 7 làm cột 1,cột 1 làm cột 3 ta có ma trận Sinh Gch:

b.Ta có :Hch [-PTIn-k] =

284/12/2023


c.Liệt kê các từ mã của G và Gch:

Vector mang tin a

V=a.G w(v) v’=a.Gch W(v’)

000 0000000 0 0000000 0

001 1011100 4 0011110 4

010 0101110 4 0100111 4

011 1110010 4 0111001 4

100 0010111 4 1001011 4

101 1001011 4 1010101 4

110 0111001 4 1101100 4

111 1100101 4 1110010 4

a. Cả 2 bộ mã trên đều có D=4 là trọng số Hamming nhỏ nhất của các từ mã khác không của chúng

Chương 5 : MÃ VÒNG

Bài 1: chứng minh rằng đa thức sinh g(x) của 1 bộ mã vòng là ước số của xn+1

Bài giải:

Giả sử

cũng là 1 đa thức mã.Khi đó:

Và

Từ đây :

294/12/2023


Hay

Tức là (đpcm)

Bài 5 : chứng minh rằng trong 1 bộ mã vòng khi mẫu sai E(x) có thể dò được thì mẫu sai E(i)(x) chuyển dịch vòng i bit so với E(x) cũng có thể dò được

Bài giải:

Ta chứng minh bằng phản chứng.

Nếu E(i)(x) là 1 mẫu sai không phát hiện được thì E(i)(x) là 1 từ mã. Từ đây theo định nghĩa của mã vòng thì E(x) cũng là 1 từ mã. Khi đó vì mã vòng là mã tuyến tính nên 1 từ mã v(x) bất kỳ sau khi chịu tác động sai của E(x) sẽ biến thành 1 từ mã v’(x) và không phát hiện sai được. Điều nay mẫu thuẫn với giả thiết là E(x) là mẫu sai phát hiện được.


Bài tập: Xem các con bài của bộ bài 52 lá tạo thành một nguồn tin rời rạc. Tính entropy của một lá bài rút ngẫu nhiên. Giả sử bỏ qua nước của con bài để bây giờ U={Ace,2,3,4,5,6,7,8,9,10, Jack, Queen, King}. Tính entropy của một lá bài rút ngẫu nhiên trong trường hợp này, trong trường hợp U={bài có hình, bài không có hình}

Giải:

Câu a:

H(U)= với = (i= 1,2,…,52)

304/12/2023


=

=-52

= 52

=5.7

Câu b:

H(U)= với = (i= 1,2,…,13)

=

=-13

= 13

=3.7

Câu c:

Gọi =

Gọi là tin bài không có hình =

314/12/2023


Vậy: H(U) = +

=

=

= 0.779

CHƯƠNG III: MÃ THỐNG KÊ TỐI ƯU

Bài tập: Lập một bộ mã cho nguồn tin U có sơ đồ thống kê:

0.34 0.2 0.19 0.1 0.07 0.04 0.03 0.02 0.01

Bằng mã nhị phân (m=2)theo phương pháp Fano. Tính độ dài trung bình của từ mã ntbvà tính kinh tế của từ mã: =H(U)

324/12/2023


Giải:


Từ mã0.34 0 0 00 20.2 0 1 01 20.19 1 0 0 100 30.1 1 0 1 101 30.07 1 1 0 110 30.04 1 1 1 0 1110 40.03 1 1 1 1 0 11110 50.02 1 1 1 1 1 0 111110 60.01 1 1 1 1 1 1 111111 6

Độ dài trung bình tư mã: =

Entropy của tập tin: H(U)= =2.5664

Chỉ số kinh tế của bộ mã: = = 0.9685

334/12/2023


CHƯƠNG IV: MÃ CHỐNG NHIỄU – MÃ KHỐI

Bài tập: Một không gian vector được tạo bởi mọi tổ hợp tuyến tính của tập hợp các vector:

= 1101000

= 0110100

= 0100011

= 1110010

= 1010001

a. Các vector b có độc lập tuyến tính không?b. Tìm số chiều và cơ hệ của không gian vector này

Giải:

Câu a: Các vector phụ thuộc tuyến tính vì:

= 0

344/12/2023


Câu b:

Gọi là hệ số

Giả sử tồn tại sao cho:

= 0

1101000)+ (0110100)+ 0100011) + (1110010) = (0000000)

= 0

= 0

= 0

= 0

= 0

= 0

= 0

354/12/2023


= = = = 0

Vậy độc lập tuyến tính, có thể biểu diễn tuyến tính theo

nên không gian vector có 4 chiều và một cơ hệ của nó là

< >.

CHƯƠNG V: MÃ VÒNG

Bài tập:Xét bộ mã vọng (7,3) có đa thức sinh g(x)= 1+ + + . Cho v =

(0011101) là một từ mã của bộ mã (7,3). Tìm tất cả các từ mã bằng cách

dùng đẳng thức sau:

[v(i)T]=S[v(i-1)]T, i= 1,n-1

Với v(k) là từ mã thứ k và:

364/12/2023


S =

Giải:

Trước hết đặt : v(1)= (0011101)

[v(2)]T= [v(1)]T

374/12/2023


=

=

Vậy v(2)= (1001110). Tương tự ta xác định được:

v(3)= (0100111)

v(4)= (1010011)

v(5)= (1101001)

v(7)= (1110100)

v(8)= (0111010)

Cuối cùng bộ mã có từ mã tầm thường:

384/12/2023


v(0)= (0000000)

394/12/2023


404/12/2023



Chương II: LƯỢNG TIN









__________________________________________________________________


414/12/2023


__________________________________________________________________



Chương 2 lượng tin

Chương 3:Mã thống kê tối ưu:





Độ dài trung bình tư mã:NTB=

Entropy của tập tin:H(u)=

424/12/2023


Chỉ số kinh tế của bộ mã:p= =0,8279

Chương 4:mã chống nhiếu:mã khối

Bài tập ma trận sinh của bộ mã tuyến tính (6,3)có dạng chuẩ1n là

a.tìm ma trận thử hch của bộ mã.b.liệt kê tất cả các từ mã của bộ mã trên và xác định khoảng cách hamming của bộ mã.c.xác định hàm cấu trúc trọng số mã A(z) và xác định hàm số cấu trủ trọng số mã của bộ mã trực giao sinh ra từ ma trận HCH làB (z) bằng hai phương pháp:trực tiếp và gian tiếp qua A(z).d.lập bảng sắp chuẩncủa bộ mã này với chú ý rằng bảng có chứa mấu sai 2 bít và tính syndrome của tất cả các mẫu sai có thể sửa sai được.e,thiết lập mạch mã hõa,mạch tinhsyndrome và mạch sửa sai của bộ mã.

GIẢI

a Hch=(-pT,IN-K)=

HTch=

b liệt kê các từ mã:

Vector mang tin a V= aGch W(v)000 000 000 0001 001 010 2010 010 111 4011 011 101 4100 100 100 2101 101 110 4110 110 011 4

434/12/2023


111 111 001 4Vậy khoảng cách hamming của bộ mã D=2 là trọng số hamming nhở nhất của các từ mã khác không.

C: Dựa vào bảng liệt kê ta có:A(z)=1+2z2=5z4

Xác định trực tiếp b(z):Ta liẹt kê các tu8ừ mã của5 bộ mã sinh ra bởi hch

Vector mang tin a V= aGch W(v)000 000 000 0001 010 001 2010 011 010 3011 001 011 3100 110 100 3101 100 101 3110 101 110 4111 111 111 6

Vậy B(z)=1+z2+4z3+z4+z6

Chương 5:mã vòng:

Bài tập:cho mã vòng (n,k)=(7,4)có ma trận sinh là g(x)=x3+x+1. Liệt kê tất cả các từ mã của bộ mã và cho biết bộ mã có khả năng sửa sai bao nhiêu bít.

GIẢIA.cho d= (0001) tatính được:

V1=0001000+dư số

V1=0001000+011=0001011Quay vòng từ mãv1 ta sẽ đượcthêm 6 từ mã nữa:V2=1000101

V3=1100010

V4=0110001

V5=1011000

V6=0101100

V7=0010110


Vδ=0011000+dư số


444/12/2023


V10 =0100111

V11=1010011

V13 =1110100

V14=0111010


V15=1111000+dư sô

V15=1111000+111=1111111


V0=0000000+dư số

b,ta có thể tính rễ ràng trọng số hamming của bộ mã là trọng số nhở nhất của từ mã khác không : H(V)=3 nên bộ mã có khả năng sửa được tất các mẫu sai 1bít



Chương 5: Mã Vons

Đa thức sinh của bộ am vòng hamming là:g(x)=1+x3+x4

g. Tìm đa thức thử h(x) của bộ am này.

454/12/2023


h. Thiết kế mạch am hóa thực hiện qua h(x).i. Xác định các bit thử và từ am nhận được tương ứng với chuỗi bit mang tin

d=(10000001011).

Giải

e. Bộ am hamming có (n,k)=(2n-k-1,k) nên:n=2n-k-1=24-1=15.

Từ công thức: h(x)=(xn+1)/g(x)

Ta tính được: h(x)=

f. Khi d=(10000001011) hay d(x)= thì:

v(x)=d(x).xn-k+ dư số của

= + số dư của

=( )

Trong đó x3+1 tương ứng với chuỗi bit 1001 là các bit thử và từ am nhận được

tương ứng với v(x)= ( ) là v=(100000101110010).

BÀI TẬP MÔN LÝ THUYẾT THÔNG TIN



Chương 3: Mã Thống Kê Tối Ưu

464/12/2023


Lập một bộ mã cho nguồn tin U có sơ đồ thống kê như sau:

ui u1 u2 u3 u4 u5 u6 u7 u8 u9

P(ui) 0.34 0.2 0.19 0.1 0.07 0.04 0.03 0.02 0.01Bằng mã nhị phân (m=2) theo phương pháp shannon. Tính độ dài trung bình của từ mã ntbvà tính kinh tế của từ mã: p=H(U)/ntb

Giải

Sơ đồ mã hóa theo phương pháp mã hóa shannon:ui p(ui) Pi ni Dạng mạ nhị phân của Pi Từ mãu1 0.34 0 2 0 00u2 0.2 0.34 3 0.01010111 010u3 0.19 0.54 3 0.10001010 100u4 0.1 0.73 4 0.10111010 1011u5 0.07 0.83 4 0.11010100 1101u6 0.04 0.9 5 0.11100110 11100u7 0.03 0.94 6 0.11110000 111100u8 0.02 0.97 6 0.11111000 111110u9 0.01 0.99 7 0.11111101 1111110 Chọn ni thỏa điều kiện 2-ni<p(ui)<21-ni

Độ dài trung bình tư mã: ntb=

entropy của tập tin: H(U)=-

Chỉ số kinh tế của bộ mã: p= = =0.8279


Chương 1 : Tin và lượng tin

Bài 2.9 / tr 36

Cho tập tin U={ ui } với ui=xiyizi ( i = 1,2,3,4,5)

474/12/2023


i 1 2 3 4 5 6Ui 010 011 100 101 110 111P(ui) 0.25 0.25 0.125 0.125 0.125 0.125

Gọi tin a là tin ui= u3 = 100, gọi tin b là tin xi=1 ,gọi tin c là tin yi=0 . Tính I(a) , I(a;b) , I(a;c)

Giải

I(a) = - log 2 0.125

>> I(a) = - log(0.125)/log(2)

= 3

I(a;b) = I (a) – I(a/b)

= -log p(u3) + log p( u3/ u3,u4,u5,u6)

= 3 + log 2 0.125/0.125*4

>> I= 3+log(0.125/4/0.125)/log(2)

= 1

I(a;c) = I (a) – I(a/c)

= -log p(u3) + log p( u3/ u3,u4)

= 3 + log 2 0.125/0.125*2

>> I= 3+log(0.125/2/0.125)/log(2)

= 2

Chương 2 : Mã hóa nguồn tin

Bài 5 / tr


ui U1 U2 U3 U4 U5 U6 U7 U8 U9

P(ui) 0.34 0.2 0.19 0.1 0.07 0.04 0.03 0.02 0.01

484/12/2023


Bằng mã nhị phân (m=2) theo phương pháp Fano . Tính độ dài trung bình của từ mã ntb và tính kinh tế của từ mã p=H(u)/ ntb

Giải

Ui P(ui) Lần 1 Lần 2 Lần 3 Lần 4 Lần 5 Lần 6 ni Từ mã

U1 0.34 0 0 2 00

U2 0.2 0 1 2 01

U3 0.19 1 0 0 3 100

U4 0.1 1 0 1 3 101

U5 0.07 1 1 0 3 110

U6 0.04 1 1 1 0 4 1110

U7 0.03 1 1 1 1 0 5 11110

U8 0.02 1 1 1 1 1 0 6 111110

U9 0.01 1 1 1 1 1 1 6 111111

Độ dài trung bình của từ mã ntb là:

ntb = ∑ ni pi

= (0.34*2) + (0.2*2) + (0.19*3) + (0.1*3) + (0.07*3) +(0.04*4) +(0.03*5) +(0.02*6) + (0.01*6)

= 2.65

H(u) = - ∑ pi log2 pi

= - [ (0.34*log2 0.34)+(0.2*log2 0.2)+(0.19*log2 0.19)+(0.1*log2 0.1)+(0.07*log2 0.07)+(0.04*log2 0.04)+(0.03*log2 0.03)+(0.02*log2 0.03)+(0.01*log2 0.01) ]

H(u) = 2.5664

Chỉ số kinh tế của bộ mã : p = H(u) / ntb = 2.5664 / 2.65 = 0.9684

494/12/2023


Chương 3 : Mã hóa kênh truyền ( mã khối Hamming)

Bài 2 / tr

Cho ma trân sinh của bộ mã tuyến tính C (6,3) trên trường Galois

G = 0 1 1 0 1 0

1 1 0 0 0 1

1 1 0 1 1 0

Tính Gch

Có bao nhiêu từ mã có trọng số Hamming 0,1,2,3,4,5,6,7

Giải

Lấy cột 3 làm cột 1, cột 6 làm cột 2 và cột 4 làm cột 3 ta có ma trận sinh Gch như sau :

Gch = 1 0 0 0 1 1

0 1 0 1 1 0

0 0 1 1 1 1

Liệt kê các từ mã có được từ ma trận sinh G và ma trận sinh chuẩn tắc Gch

Vector mang tin a

V=aG W(v) V’ = a Gch W(v’)

000 000000 0 000000 0

001 110110 4 001111 4

010 110001 3 010110 3

011 000111 3 011001 3

100 011010 3 100011 3

101 101100 3 101100 3

110 101011 4 110101 4

111 011101 4 111010 4

504/12/2023


Vậy bộ mã có









Chương 3 : Mã vòng

Bài 2 / tr

Cho bộ mã vòng (7,4) có đa thức sinh là :

G(x) = x3+x2+1

a. Tìm đa thức thử h(x) của bộ mã này

b. Giả sử nhận được tổ hợp u(x) = x6+x5+x2+1 . Xác định đa thức syndrome của u(x)

Giải

a.Ta có công thức h(x) = xn+1 / g(x) và ta tính được

h(x) = x7+1 / x3+x2+1 = x4+ x3+x2+1

vậy h(x) = x4+ x3+x2+1

b.Già sử nhận được đa thức u(x) = x6+x5+x2+1 , khi đó đa thức syndrome của nó :

Su(x) = số dư của ( u(x) / g(x) ) = số dư của (x6+x5+x2+1 / x3+x2+1) = 0

Vậy đa thức syndrome của u(x) là su(x) = 0

514/12/2023



Chương 1 : Tin và lượng tin

Bài 2.9 / tr 36

Cho tập tin U={ ui } với ui=xiyizi ( i = 1,2,3,4,5)

i 1 2 3 4 5 6Ui 010 011 100 101 110 111P(ui) 0.25 0.25 0.125 0.125 0.125 0.125

Gọi tin a là tin ui= u3 = 100, gọi tin b là tin xi=1 ,gọi tin c là tin yi=0 . Tính I(a) , I(a;b) , I(a;c)

524/12/2023


Giải

I(a) = - log 2 0.125

>> I(a) = - log(0.125)/log(2)

= 3

I(a;b) = I (a) – I(a/b)

= -log p(u3) + log p( u3/ u3,u4,u5,u6)

= 3 + log 2 0.125/0.125*4

>> I= 3+log(0.125/4/0.125)/log(2)

= 1

I(a;c) = I (a) – I(a/c)

= -log p(u3) + log p( u3/ u3,u4)

= 3 + log 2 0.125/0.125*2

>> I= 3+log(0.125/2/0.125)/log(2)

= 2

Chương 2 : Mã hóa nguồn tin

Bài 5 / tr


ui U1 U2 U3 U4 U5 U6 U7 U8 U9

P(ui) 0.34 0.2 0.19 0.1 0.07 0.04 0.03 0.02 0.01

Bằng mã nhị phân (m=2) theo phương pháp Fano . Tính độ dài trung bình của từ mã ntb và tính kinh tế của từ mã p=H(u)/ ntb

Giải

Ui P(ui) Lần 1 Lần 2 Lần 3 Lần 4 Lần 5 Lần 6 ni Từ mã

534/12/2023


U1 0.34 0 0 2 00

U2 0.2 0 1 2 01

U3 0.19 1 0 0 3 100

U4 0.1 1 0 1 3 101

U5 0.07 1 1 0 3 110

U6 0.04 1 1 1 0 4 1110

U7 0.03 1 1 1 1 0 5 11110

U8 0.02 1 1 1 1 1 0 6 111110

U9 0.01 1 1 1 1 1 1 6 111111

Độ dài trung bình của từ mã ntb là:

ntb = ∑ ni pi

= (0.34*2) + (0.2*2) + (0.19*3) + (0.1*3) + (0.07*3) +(0.04*4) +(0.03*5) +(0.02*6) + (0.01*6)

= 2.65

H(u) = - ∑ pi log2 pi

= - [ (0.34*log2 0.34)+(0.2*log2 0.2)+(0.19*log2 0.19)+(0.1*log2 0.1)+(0.07*log2 0.07)+(0.04*log2 0.04)+(0.03*log2 0.03)+(0.02*log2 0.03)+(0.01*log2 0.01) ]

H(u) = 2.5664

Chỉ số kinh tế của bộ mã : p = H(u) / ntb = 2.5664 / 2.65 = 0.9684

Chương 3 : Mã hóa kênh truyền ( mã khối Hamming)

Bài 2 / tr

Cho ma trân sinh của bộ mã tuyến tính C (6,3) trên trường Galois

G = 0 1 1 0 1 0

544/12/2023


1 1 0 0 0 1

1 1 0 1 1 0

Tính Gch

Có bao nhiêu từ mã có trọng số Hamming 0,1,2,3,4,5,6,7

Giải

Lấy cột 3 làm cột 1, cột 6 làm cột 2 và cột 4 làm cột 3 ta có ma trận sinh Gch như sau :

Gch = 1 0 0 0 1 1

0 1 0 1 1 0

0 0 1 1 1 1

Liệt kê các từ mã có được từ ma trận sinh G và ma trận sinh chuẩn tắc Gch

Vector mang tin a

V=aG W(v) V’ = a Gch W(v’)

000 000000 0 000000 0

001 110110 4 001111 4

010 110001 3 010110 3

011 000111 3 011001 3

100 011010 3 100011 3

101 101100 3 101100 3

110 101011 4 110101 4

111 011101 4 111010 4

Vậy bộ mã có




554/12/2023







Chương 3 : Mã vòng

Bài 2 / tr

Cho bộ mã vòng (7,4) có đa thức sinh là :

G(x) = x3+x2+1

c. Tìm đa thức thử h(x) của bộ mã này

d. Giả sử nhận được tổ hợp u(x) = x6+x5+x2+1 . Xác định đa thức syndrome của u(x)

Giải

a.Ta có công thức h(x) = xn+1 / g(x) và ta tính được

h(x) = x7+1 / x3+x2+1 = x4+ x3+x2+1

vậy h(x) = x4+ x3+x2+1

b.Già sử nhận được đa thức u(x) = x6+x5+x2+1 , khi đó đa thức syndrome của nó :

Su(x) = số dư của ( u(x) / g(x) ) = số dư của (x6+x5+x2+1 / x3+x2+1) = 0

Vậy đa thức syndrome của u(x) là su(x) = 0

564/12/2023




Bài tập: Giả sử có một nguồn tin rời rạc với xác suất xuất hiện p<u> khi u thuộc U, với mỗi tin u, chọn một từ mã có dộ dài 1(u) thỏa:

Log(1/p(u))<l(u)<log(1/p(u))+1Chứng minh rằng độ dài trung bình:

<1(u)>=

Thỏa H(u)<<1(u)><H(u)+1Giải


Ví p(u) nên bất đẳng thức trên tương đương với:

P(u)

Cộng tất cả các bất đẳng thức của trường tin u vế theo vế:

574/12/2023


Hay H(u) l(u) H(u)+1

__________________________________________________________________









__________________________________________________________________


584/12/2023


__________________________________________________________________


Chương II : LƯỢNG TIN

Bài 8 : Chứng minh rằng

Bài giải :


CHƯƠNG III: MÃ THỐNG KÊ TỐI ƯU

Bài tập: Lập một bộ mã cho nguồn tin U có sơ đồ thống kê:

0.34 0.2 0.19 0.1 0.07 0.04 0.03 0.02 0.01

594/12/2023


Bằng mã nhị phân (m=2)theo phương pháp Fano. Tính độ dài trung bình của từ mã ntbvà tính kinh tế của từ mã: =H(U)

Giải:


Từ mã0.34 0 0 00 20.2 0 1 01 20.19 1 0 0 100 30.1 1 0 1 101 30.07 1 1 0 110 30.04 1 1 1 0 1110 40.03 1 1 1 1 0 11110 50.02 1 1 1 1 1 0 111110 60.01 1 1 1 1 1 1 111111 6

Độ dài trung bình tư mã: =


H(U)= =2.5664

604/12/2023


Chỉ số kinh tế của bộ mã: = = 0.9685

CHƯƠNG IV : MÃ CHỒNG NHIỄU: MÃ KHỐI

CHƯƠNG V: MÃ VÒNG

Bài tập:Xét bộ mã vọng (7,3) có đa thức sinh g(x)= 1+ + + . Cho v =

(0011101) là một từ mã của bộ mã (7,3). Tìm tất cả các từ mã bằng cách

dùng đẳng thức sau:

[v(i)T]=S[v(i-1)]T, i= 1,n-1

Với v(k) là từ mã thứ k và:

S =

614/12/2023


Giải:

Trước hết đặt : v(1)= (0011101)

[v(2)]T= [v(1)]T

=

624/12/2023


=

Vậy v(2)= (1001110). Tương tự ta xác định được:

v(3)= (0100111)

v(4)= (1010011)

v(5)= (1101001)

v(7)= (1110100)

v(8)= (0111010)

Cuối cùng bộ mã có từ mã tầm thường:

v(0)= (0000000)



CHƯƠNG 3: MÃ KHỐI

634/12/2023




Bài giải :




ui u1 u2 u3 u4 u5 u6 u7 u8 u9

P(ui) .34 .2 .19 .1 .07 .04 .03 .02 .01


Bài giải :

644/12/2023




u1 .34 0 2 0 00

u2 .2 .34 3 0.01010111 010

u3 .19 .54 3 0.10001010 100

u4 .1 .73 4 0.1011010 1011

u5 .07 .83 4 0.11010100 11 01

u6 .04 .9 5 0.11100110 11100

u7 .03 .94 6 0.11110000 111100

u8 .02 .97 6 0.11111000 111110

u9 .01 .99 1 0.11111101 1111110

Độ dài trung bình từ mã :







654/12/2023







Vector mang tin a


000 0000000 0 0000000 0

001 1011100 4 0011110 4

010 0101110 4 0100111 4

011 1110010 4 0111001 4

100 0010111 4 1001011 4

101 1001011 4 1010101 4

110 0111001 4 1101100 4

111 1100101 4 1110010 4

b. Cả 2 bộ mã trên đều có D=4 là trọng số Hamming nhỏ nhất của các từ mã khác không của chúng

664/12/2023




Bài giải:




Bài 6: Trong kênh truyền tin nhị phân có nhiễu nguồn X =

{x0,x1} có p(x0) = 0.4 và p(x1) = 0.6. Xác suất truyền tin sai nhầm p(y0/x1) = p(y1/x0) = 0.1, xác suất truyền tin đúng p(y0/x0) = p(y1/x1) = 0.9, với Y = {y0,y1}

a/ Tính H(Y)

b/ Tính H(Y/X)

c/ Tính I(X;Y)

Bài làm:

a/ H(Y) = p(y0)I(y0) + p(y1)I(y1)

Áp dụng công thức

Ta có: P(y0) = p(y0,x0) + p(y0,x1)

= p(y0) p(y0/x0) + p(x1) p(y0/x1)

674/12/2023


= 0,4.0,9 + 0,6.0,1

= 0,42

P(y1) = p(y1,x0) + p(y1,x1)

= p(x0) p(y1/x0) + p(x1) p(y1/x1)

= 0,4.0,1 + 0,6.0,9

= 0,58

H(Y) = -0,42log0,42 – 0,58log0,58

=0,8915

b/

= p(x0,y0) I(y0/x0) + p(x0,y1) I(y1/x0) + p(x1,y0) I(y0/x1) + p(x1,y1) I(y1/x1)

Mà: p(x0,y0) = p(x0) p(y0/x0) = 0,4.0,9 = 0,36

p(x0,y1) = p(x0) p(y1/x0) = 0,4.0,1 = 0,04

p(x1,y0) = p(x1) p(y0/x1) = 0,6.0,1 = 0,06

p(x1,y1) = p(x1) p(y1/x1) = 0,6.0,9 = 0,54





Nên: H(Y/X) = 0,36log10/9 + 0,04log10 + 0,06log10 + 0,54log10/9

= 0.469

c/

= p(x0,y0) I(x0;y0) + p(x0,y1) I(x0;y1) + p(x1,y0) I(x1;y0) + p(x1,y1)I(x1;y1)

Mà: I(x0;y0) = I(y0;x0) = I(y0) - I(y0/x0) = log p(y0/x0)/p(y0) = log0,9/0,42

684/12/2023





Vậy I(X;Y) = 0,36log0,9/0,42 + 0.04log0,1/0,58 + 0,06log0,1/0,42 + 0,54log0,9/0,58

= 0,512


Bài 5: Lập một bộ mã cho nguồn tin U có sơ đồ thống kê như sau:

ui u1 u2 u3 u4 u5 u6 u7 u8 u9

P(ui) .34 .2 .19 .1 .07 .04 .03 .02 .01

Bằng mã nhị phân(m = 2)theo phương pháp Shannon. Tính độ dài trung binh2cua3 từ mã ntbvà tính kinh tế của từ mã.

Bài làm:

Sơ đồ mã hóa theo phương pháp mã hóa Shannon:

ui P(ui) Pi ni Dạng nhị phân của pi Từ mã

u1 .34 0 2 0 00

u2 .2 .34 3 0,01010111 010

u3 .19 .54 3 0,10001010 100

694/12/2023


u4 .1 .73 4 0,10111010 1011

u5 .07 .83 4 0,11010100 1101

u6 .04 .9 5 0,11100110 11100

u7 .03 .94 6 0,11110000 111100

u8 .02 .97 6 0,11111000 111110

u9 .01 .99 7 0,11111101 1111110

Độ dài trung bình từ mã:


Chỉ số kinh tế của bộ mã:


Bài 2: Ma trận của bộ mã tuyến tính (6,3) trên trường GF (2) được cho bởi:

a/ Hãy biểu diễn G dưới dạng chuẩnGch

b/ Liệt kê các từ mã có được từ 2 ma trận sinh G và Gch

c/ Co1bao nhiêu từ mã có trọng số hamming là 0,1,2,3,4,5,6?

Bài làm:

704/12/2023


a/ Lấy cột 3 làm cột 1, cột 6 làm cột 2 và cột 4 làm cột 3 ta có ma trận sinh Gch

b/ Liệt kê các từ mã có được từ ma trận sinh G và ma trận sinh Gch

Vector mang tin a V = aG W(v) V’ = aGch W(v’)

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

0 0 1 1 1 0 1 1 0 4 0 0 1 1 1 1 4

0 1 0 1 1 0 0 0 1 3 0 1 0 1 1 0 3

0 1 1 0 0 0 1 1 1 3 0 1 1 0 0 1 3

1 0 0 0 1 1 0 1 0 3 0 1 1 0 0 1 3

1 0 1 1 0 1 1 0 0 3 1 0 1 1 0 0 3

1 1 0 1 0 1 0 1 1 4 1 1 0 1 0 1 4

1 1 1 0 1 1 1 0 1 4 1 1 1 0 1 0 4

c/ Cả 2 bộ mã đều có:








714/12/2023



Bài 2: Chứng minh rằng trong 1 bộ mã vòng khi mẫu sai E(x) có thể dò được thì mẫu sai E(i)(x) chuyển dịch vòng I bit so với E(x) cũng có thể dò được.

Bài làm:

Chứng minh bằng phản chứng.

724/12/2023


Nếu E(i)(x)là một mẫu sai không phát hiện được thì E(i)(x) là một từ mã. Từ đây theo định nghĩa của mã vòng thì E(x) cũng là một từ mã. Khi đó vì mã vòng là mã tuyến tính nên một từ mã v(x) bất kỳ sau khi chịu tác động sai của E(x) sẽ biến thành một từ mã v’(x) và không phát hiện sai được. Điều này mâu thuẫn với giả thiết là E(x) là mẫu sai phát hiện được.



CHƯƠNG 3: MÃ KHỐI

=

734/12/2023



BÀI 2: Với nguồn tin rời rạc gồm 2 ký tự U = {a1,a2} và p(a1) = p

Chứng minh rằng H(U) = H(p) = p log (1/p) + log 1/(1-p) lớn nhất khi p= ½

Bài giải:

Xét hàm số : f(x) = log = - log

Có f’( ) = -log e (ln ) = -log e (ln )

f ’’( ) =

trong khoảng (0,1] có f’’( .

Vậy với a,b

Dấu đẳng thức xảy ra khi và chỉ khi a = b

Cho a = p và b = 1-p ta được :

=

744/12/2023


Vậy H(U) =


Bài giải :




754/12/2023



Thỏa

Bài giải:




Hay



U={3,23,11,123,10}

d. Vẽ cây mã và đồ hình kết cấu của bộ mã Ue. Vẽ mặt tọa độ mãf. Lập 1 bộ mã hệ thống 6 từ mã có các tổ hợp sơ đẳng. Vẽ đồ hình kết cấu của bộ mã vừa

lặp

Bài giải:

d. Cây mã :

764/12/2023


----------------------------------------------------------------------------------------------------Mức 02 1

---------------------------------------------------------------------------------------------------Mức 13 1 2 0

--------------------------------------------------------------------------------------------------Mức 23

---------------------------------------------------------------------------------------------------Mức 3Đồ hình kết cấu :

3

e. Mặt tọa độ mã:

ui ni pi

3 1 3

23 2 14

11 2 5

123 3 57

10 2 1

f. Tổ hợp sơ đẳng : 23,123,10Tổ hợp cuối : 3,11Bộ mã hệ thống có 6 từ mã :u1 =233, u2=1233, u3=101011, u4=2311, u5=12311, u6=102311


ui u1 u2 u3 u4 u5 u6 u7 u8 u9

P(ui) .34 .2 .19 .1 .07 .04 .03 .02 .01


774/12/2023

0

01

0


Bài giải :



u1 .34 0 2 0 00

u2 .2 .34 3 0.01010111 010

u3 .19 .54 3 0.10001010 100

u4 .1 .73 4 0.1011010 1011

u5 .07 .83 4 0.11010100 11 01

u6 .04 .9 5 0.11100110 11100

u7 .03 .94 6 0.11110000 111100

u8 .02 .97 6 0.11111000 111110

u9 .01 .99 1 0.11111101 1111110





ui u1 u2 u3 u14

P(ui) .5 .25 .315 .31 . 0157 .0156


Bài giải:

784/12/2023



.5 0

.25 10

.315 11000

.31 11001

.31 11010

.31 11011

. 0157 111000

. 0157 111001

. 0157 111010

. 0157 111011

. 0157 111100

. 0157 111101

. 0157 111110

.0156 111111





794/12/2023







Vector mang tin a


000 0000000 0 0000000 0

001 1011100 4 0011110 4

010 0101110 4 0100111 4

011 1110010 4 0111001 4

100 0010111 4 1001011 4

101 1001011 4 1010101 4

110 0111001 4 1101100 4

804/12/2023


111 1100101 4 1110010 4

c. Cả 2 bộ mã trên đều có D=4 là trọng số Hamming nhỏ nhất của các từ mã khác không của chúng



Bài giải:

Giả sử


Và

Từ đây :

Hay

Tức là (đpcm)


Bài giải:



814/12/2023



Chương III


Ui u1 u2 u3 u4 u5 u6 u7 u8 u9

P(ui) .34 .2 .19 .1 .07 .04 .03 .02 .01

Bằng mã nhị phân the phương pháp shannon. Tính độ dài trung bình của từ mã ntb

và tính kinh tế của từ mã p=H(U)/ntb

Giải:



U1

U2

U3

U4

U5

U6

U7

U8

U9

.34

.2

.19

.1

.07

.04

.03

.02

.01

0

.34

.54

.73

.83

.9

.94

.97

.99

2

3

3

4

4

5

6

6

7

0

0,01010111

0,10001010

0,10111010

0,11010100

0,11100110

0,11110000

0,11111000

0,11111101

00

010

100

1011

1101

11100

111100

111110

1111110

Độ dài trung bình từ mã :ntb= =3.1

824/12/2023


Entropy của tập tin : H(U)= =2,5664

Chỉ số kinh tế của bộ mã: ᵨ= H(U)/ntb=2.5664/3.1=0,8279

Chương IV

Chương V

Chứng minh rằng trong 1 bộ mã vòng khi sai E(x) có thể dò được thì mẫu sai Ei(x) chuyển dịch vòng I bit so với E(x) cũng có thể dò được

Giải:

Nếu Ei(x) là 1 mẫu sai ko phát hiện được thì Ei(x) là 1 từ mã. Từ đây theo đn của mã vòng thì E(x) cũng là 1 từ mã.Khi đó vì mã vòng là mã tuyến tính nên 1 từ mã v(x) bất kỳ sau khi chịu tác động sai của E(x) sẽ biến thành 1 từ mã v’(x) và không phát hiện sai được. Điều này mâu thuẫn với giả thiết là E(x) là mẫu sai phát hiện được.


BÀI 2:

Với nguồn tin rời rạc gồm 2 ký tự U = {a1,a2} và p(a1) = p


Bài giải:



834/12/2023


f ’’( ) =


Vậy với a,b



=

Vậy H(U) =


BÀI 1:

cho bộ mã có cơ số mã m = 4 như sau:

U={3,23,11,123,10}

g. Vẽ cây mã và đồ hình kết cấu của bộ mã Uh. Vẽ mặt tọa độ mãi. Lập 1 bộ mã hệ thống 6 từ mã có các tổ hợp sơ đẳng. Vẽ đồ hình kết cấu của bộ mã vừa

lặp

Bài giải:

g. Cây mã :

844/12/2023


----------------------------------------------------------------------------------------------------Mức 02 1

---------------------------------------------------------------------------------------------------Mức 13 1 2 0

--------------------------------------------------------------------------------------------------Mức 23

---------------------------------------------------------------------------------------------------Mức 3Đồ hình kết cấu :

3

h. Mặt tọa độ mã:

ui ni pi

3 1 3

23 2 14

11 2 5

123 3 57

10 2 1

i. Tổ hợp sơ đẳng : 23,123,10Tổ hợp cuối : 3,11Bộ mã hệ thống có 6 từ mã :u1 =233, u2=1233, u3=101011, u4=2311, u5=12311, u6=102311


Chương V : MÃ VÒNG


Bài giải:

Giả sử

854/12/2023

0

01

0



Và

Từ đây :

Hay

Tức là (đpcm)








Ui P(ui) Pi ni Dạng mã nhị phân của pi Từ mã

864/12/2023


U1 0.34 0 2 0 00U2 0.2 0.34 3 0.01010111 010U3 0.19 0.54 3 0.10001010 100U4 0.1 0.73 4 0.10111010 1011U5 0.07 0.83 4 0.11010100 1101U6 0.04 0.9 5 0.11100110 11100U7 0.03 0.94 6 0.11110000 111100U8 0.02 0.97 6 0.11111000 111110U9 0.01 0.99 7 0.11111101 1111110




__________________________________________________________________


__________________________________________________________________



Chương II

Chương III


Ui u1 u2 u3 u4 u5 u6 u7 u8 u9

P(ui) .34 .2 .19 .1 .07 .04 .03 .02 .01

874/12/2023


Bằng mã nhị phân the phương pháp shannon. Tính độ dài trung bình của từ mã ntb

và tính kinh tế của từ mã p=H(U)/ntb

Giải:



U1

U2

U3

U4

U5

U6

U7

U8

U9

.34

.2

.19

.1

.07

.04

.03

.02

.01

0

.34

.54

.73

.83

.9

.94

.97

.99

2

3

3

4

4

5

6

6

7

0

0,01010111

0,10001010

0,10111010

0,11010100

0,11100110

0,11110000

0,11111000

0,11111101

00

010

100

1011

1101

11100

111100

111110

1111110

Độ dài trung bình từ mã :ntb= =3.1

Entropy của tập tin : H(U)= =2,5664

Chỉ số kinh tế của bộ mã: ᵨ= H(U)/ntb=2.5664/3.1=0,8279

BÀI TẬP LÝ THUYẾT THÔNG TIN-----------------o0o-----------------

884/12/2023


CHƯƠNG I:

HỆ THỐNG THÔNG TIN

CHƯƠNG II:

LƯỢNG TIN

BÀI 6: Trong kênh truyền tin nhị phân có nhiễu nguồn X={x0,x1} có p(x0)=0.4 và

p(x1)=0.6. Xác suất truyền tin sai nhầm p(y0, x1)=p(y1, x0)=0.1, Xác suất truyền tin đúng p(y0, x0)= p(y1, x1)=0.9 với Y= (y0, y1).a.Tính H(Y).b.Tính H(Y/X).c.Tính I(X;Y).

Giải.

a. H(Y) = p(y0)I(y0) + p(y1)I(y1)

Áp dụng công thức :Ta có p(y0)= p(y0, x0)+ p(y0, x1) = p( x0) p(y0 /x0)+ p( x1) p(y0 /x1)=0.4*0.9+0.6*0.1=0.42

p(y1)= p(y1, x0)+ p(y1, x1)= p( x0) p(y1 /x0)+ p( x1) p(y1 /x1)=0.4*0.1+0.6*0.9=0.58

H(Y)=-0.42log0.42-0.58log0.58=0.8915

b. H(Y/X) =

= p(x0, y0) I(y0 / x0) + p(x0, y1) I(y1 / x0)+ p(x1, y0) I(y0 / x1)+ p(x1, y1) I(y1 /x1)Mà

894/12/2023


p(x0, y0)= p(x0 ) p(y0 /x0)=0.4*0.9=0.36p(x0, y1)= p(x0 ) p(y1 / x0)=0.4*0.1=0.04p(x1, y0)= p(x1 ) p(y0 /x1)=0.6*0.1=0.06p(x1, y1)= p(x1 ) p(y1 / x1)=0.6*0.9=0.54

I(y0 /x0)= - log p(y0 /x0)= - log 0.9 = log (10/9)I(y1 /x0)= - log p(y1 /x0)= - log 0.1 = log 10I(y0 /x1)= - log p(y0 /x1)= - log 0.1 = log 10I(y01/x1)= - log p(y1 /x1)= - log 0.9 = log (10/9)

Nên H(Y/X) = 0.36log (10/9) + 0.04*log10 + 0.06*log10 + 0.54*log(10/9) = 0.469

c. I(X/Y) =

= p(x0, y0) I(x0 ;y0) + p(x0, y1) I(x0 ;y1) + p(x1, y0) I(x1 ;y0) + p(x1, y1) I(x1;y1)Mà I(x0 ;y0) = I(y0 ;x0)= I(y0)- I(y0 ;x0) = log (p(y0 ;x0)/ p(y0))=log(0.9/0.42) I(x0 ;y1) = I(y1 ;x0)= I(y1)- I(y1 ;x0) = log (p(y1 ;x0)/ p(y1))=log(0.1/0.58)I(x1 ;y0) = I(y0 ;x1)= I(y0)- I(y0 ;x1) = log (p(y0 ;x1)/ p(y0))=log(0.1/0.42)I(x1;y1) = I(y1 ;x1)= I(y1)- I(y1 ;x1) = log (p(y1 ;x1)/ p(y1))=log(0.9/0.58)

Vậy I(X;Y) = 0.36*log(0.9/0.42) + 0.04*log(0.1/0.58) + 0.06*log(0.1/042) + 0.54*log(0.9/0.58) = 0.512

CHƯƠNG III:

MÃ THỐNG KÊ TỐI ƯU90

4/12/2023


Câu 2: Với bộ mã gốc {00,01,100,1010,10110} phân thành 3 tổ hợp sơ đẳng 00,01,100

và hai tổ hợp cuối 1010 và 10110 để thành lập mã hệ thống có tính prefix. Hãy xác định G(nj) với nj = 1,2,3,……,9.

Giải:

Theo đề bài:

n1=2, n2=2, n3=3, i=3

λ1 =4, λ2 =4, k=2.

Áp dụng công thức:

G(nj)= g(nj- λ1) + g(nj- λ2)+…..+ g(nj- λ1)+ g(nj- λk)

Ta được: G(nj)= g(nj- 4) + g(nj- 5) (1)

Mặc khác: g(nj)= g(nj- n1) + g(nj- n2) + g(nj- n3)

Hay g(nj)= g(nj- 2) + g(nj- 2) + g(nj- 3)

g(nj)= 2*g(nj- 2) + g(nj- 3) (2)

Vậy

g(1)=2g(-1)+g(-2)=0

g(2)=2g(0)+g(-1)=2

g(3)=2g(1)+g(0)=1

g(4)=2g(2)+g(1)=4

g(5)=2g(3)+g(2)=4

Từ đây theo (1):

G(1)= g(-3) + g(-4)=0

G(2)= g(-2) + g(-3)=0

G(3)= g(-1) + g(-2)=0

G(4)= g(0) + g(-1)=1

914/12/2023


G(5)= g(1) + g(0)=1

G(6)= g(2) + g(1)=2

G(7)= g(3) + g(2)=3

G(8)= g(4) + g(3)=5

G(9)= g(5) + g(4)=8

CHƯƠNG IV:

MÃ CHỐNG NHIỄU (MÃ KHỐI)

924/12/2023


Câu 1: Một không gian vectơ được tạo bởi mọi tổ hợp tuyến tính của tập hợp các

vectơ sau:

b0=1101000

b1=0110100

b2=0100011

b3=1110010

b4=1010001

a. Các vêctơ b ở trên có độc lập tuyến tính hay không?b. Tìm số chiều và cơ hệ của không gian vectơ này.

Giải:

1. a. Các vectơ b0, b1, b2, b3, b4 phụ thuộc tuyến tính vì dễ thấy:0 b0 +0b1 + b2+b3+b4=0b.Bây giờ giả sử tồn tại λ0 ,λ1, λ2, λ3 sao cho:λ0b0 + λ1b1+ λ2b2+ λ3b3=0

↔ λ0(1101000)+ λ1(0110100)+ λ2(0100011)+ λ3(1110010)=(0000000)

→ λ0+ λ3=0

λ0+ λ1 + λ2+ λ3=0λ0+ λ3=0λ0=0λ1=0λ2+ λ3=0λ2=0

→ λ0= λ1= λ2= λ3=0

Vậy b0, b1, b2 ,b3 độc lập tuyến tính, b4 có thể biểu diễn tuyến tính theo b0, b1, b2, b3 nên không gian vectơ có 4 chiều dài và một cơ hệ của nó là < b0, b1,b2, b3>.

934/12/2023


CHƯƠNG V:

MÃ VÒNG

944/12/2023


Câu 8: Cho bộ mã vòng (n,k)=(7,4) có ma trận sinh là g(x)=x3+x+1. Liệt kê tất

cả các từ mã của bộ mã và cho biết bộ mã có khả năng sửa được các mẫu sai bao nhiêu bit.

Giải:

8. a. Cho d=(0001) ta tính được:v1=0001000 + dư số (0001000/1011)v1=0001000 + 011=0001011Quay vòng từ mã v1 ta sẽ được them 6 từ mã nữa:v2=1000101v3=1100010v4=0110001v5=1011000v6=0101100v7=0010110Cho d=(0011) ta tính được:v8=0011000 + dư số(0011000/1011)v8=0011000 + 101=0011101Quay vòng từ mã v8 ta sẽ được thêm 6 từ mã nữa;v9=1001110v10=0100111v11=1010011v12=1101001v13=1110100v14=0111010Cho d=(11110) ta tính được.V15=1111000 + dư số(1111000/1011)

V15=1111000 + 111=1111111

Cho d=(0000) ta tính được:V0=0000000 + dư số(1111000/1011)

V0=0000000 + 000=0000000

b.Ta có thể tính được dễ dàng trọng số Hamming của bộ mã là trọng số nhỏ nhất của các từ mã khác không: H(V) = 3 nên bộ mã có khả năng sửa được tất cả các mẫu sai 1 bit.

954/12/2023


BÀI TẬP96

4/12/2023


LÝ THUYẾT THÔNG TIN


974/12/2023


1. Cho tập tin U = {ui} với ui = xi yi zi

i 1 2 3 4 5 6 7 8

ui 000 001 010 011 100 101 110 111

p(ui) 0.25 0.25 0.125 0.0625 0.0625 0.0625 0.0625 0.0625

Gọi tin ui = u6 = 101 là tin a

xi = 1 là tin b

xi = 1 , xi = 0 là tin c

xi = 1 , yi = 0 , zi = 1 là tin d

Tính I(a) , I(a,b) , I(a,c) , I(a,d).

Bài làm:

I(a) = I(u6) = - log p(u6)

= - log 1/16 = log 1/16

I(a,b) = I(u6 ; xi=1)

= I(u6) - I(u6/ xi=1)

= log

= log

984/12/2023


= log

= log

= log

= log

= log

= log 4

I(a,c) = I(u6 ; xi=1,yi=0)

= I(u6) - I(u6/ xi=1,yi=0)

= log

= log

994/12/2023


= log

= log

= log

= log 8

I(a,d) = I(u6) - I(u6) = 0

CHƯƠNG 3: MÃ THỐNG KÊ TỐI ƯU

1. Lập một bộ mã cho nguồn tin U có thống kê như sau:

ui u1 u2 u3 u4 u5 u6 u7 u8 u9

1004/12/2023


p(ui) 0.34 0.2 0.19 0.1 0.07 0.04 0.03 0.02 0.01

Bằng mã nhị phân (m=2) theo phương pháp Shannon. Tính độ dài trung bình của từ mã ntb và tính kinh tế của từ mã:

ρ = H(U)/ ntb

Bài làm:

Sơ đồ mã hóa theo phương pháp mã hóa Shannon:

ui p(ui) pi ni Dạng nhị phân của pi Từ mã

u1 0.34 0 2 0 00

u2 0.2 0.34 3 0,01010111 010

u3 0.19 0.54 3 0,10001010 100

u4 0.1 0.73 4 0,10111010 1011

u5 0.07 0.83 4 0,11010100 1101

u6 0.04 0.9 5 0,11100110 11100

u7 0.03 0.94 6 0,11110000 111100

u8 0.02 0.97 6 0,11111000 111110

u9 0.01 0.99 7 0,11111101 1111110

Độ dài trung bình của từ mã: ntb =


Chỉ số kinh tế của bộ mã: ρ =

1014/12/2023


2. Cho nguồn tin U có sơ đồ thống kê như sau:

ui u1 u2 u3 u4+ u6 u7+ u13 U14

p(ui) 0.5 0.25 0.315 0.31 0.0157 0.0156

Dùng mã Huffman kết hợp mã đều để mã hóa nguồn tin trên với cơ số mã m = 2.

Bài làm:

Sơ đồ mã hóa theo phương pháp mã hóa Fano:

ui p(ui) Từ mã ni

u1 0.34 0

0

0 2

u2 0.2 1 2

u3 0.19 1

1

1

1

1

1

1

0

0

0 3

u4 0.1 1 3

u5 0.07 1

1

1

1

1

0 3

u6 0.04 1

1

1

1

0 4

u7 0.03 1

1

1

0 5

u8 0.02 1

1

0 6

u9 0.01 1 6

Độ dài trung bình của từ mã: ntb =


1024/12/2023


Chỉ số kinh tế của bộ mã: ρ =

CHƯƠNG 5: MÃ VÒNG

1. Cho bộ mã vòng (7,4) có đa thức sinh là:

g(x) = x3+ x2+ 1

a. Tìm đa thức thử H(x) của bộ mã này.b. Giả sử nhận được tổ hợp u(x) = x6+ x5+ x2+ 1. Xác định đa thức syndrome của u(x).

Bài làm:

a. Từ công thức:

h(x) =

1034/12/2023


ta tính được h(x) = = x4+ x3 +x2+ 1

b. Giả sử nhận được đa thức u(x) = x6+ x5+ x2+ 1, khi đó đa thức syndrome của nó :

Su(x) = số dư của = số dư của = 0

Vậy đa thức syndrome của u(x) là Su(x) = 0.


Chương 3:Mã thống kê tối ưu:





Độ dài trung bình tư mã:NTB=

1044/12/2023


Entropy của tập tin:H(u)=

Chỉ số kinh tế của bộ mã:p= =0,8279

Chương 5:mã vòng:Bài tập:cho mã vòng (n,k)=(7,4)có ma trận sinh là g(x)=x3+x+1. Liệt kê tất cả các từ mã của bộ mã và cho biết bộ mã có khả năng sửa sai bao nhiêu bít.

GIẢIA.cho d= (0001) tatính được:

V1=0001000+dư số

V1=0001000+011=0001011

Quay vòng từ mãv1 ta sẽ đượcthêm 6 từ mã nữa:V2=1000101

V3=1100010

V4=0110001

V5=1011000

V6=0101100

V7=0010110


Vδ=0011000+dư số


V10 =0100111

V11=1010011

V13 =1110100

V14=0111010


1054/12/2023


V15=1111000+dư sô

V15=1111000+111=1111111


V0=0000000+dư số

b,ta có thể tính rễ ràng trọng số hamming của bộ mã là trọng số nhở nhất của từ mã khác không : H(V)=3 nên bộ mã có khả năng sửa được tất các mẫu sai 1bít

Trong các bài tập logarit được tính theo cơ số 2.

Bài 1-Chương LƯỢNG TIN

1. Trong một trò chơi xổ số vui người ta xổ 10 chữ số từ 0 đến 9.Xác xuất trúng của mỗi số là như nhau.a. Tính lượng tin riêng của tin : “ số trúng giải là số 9”.b. Tính lượng tin tương hỗ giữa tin : “số trúng giải là 9” so với tin :”số

trúng giải là số chia hết cho 3”.c. Trong 10 tin trên gọi U=(u1,u2,u3,u4,u4,u5,u6) với ui là tin “số i trúng

giải” (i=0,1,…,6).Tìm lượng tin trung bình của tập tin U.

Bài làma. Gọi p(9) là xác suất số 9 trúng giải ta có

p(9) = 1/10= 0.1

vậy I(9)= -log p(9)= log 10= 3.322

b. Gọi p(0-3-6-9) là xác suất để số trúng giải chia hết cho 3, ta có:

p(0-3-6-9) = 4/10= 0.4

Mặt khác : I (9/0-3-6-9) = - log p(9/0-3-6-9)

1064/12/2023


Vậy I(9; 0-3-6-9) = I(9) – I(9/0-3-6-9)

c. Lượng tin trung bình của tập tin U :

Bài 2 – Chương MÃ CHỐNG NHIỄU

1074/12/2023


2. Ma trận sinh của bộ giải mã tuyến tính (6,3) trên đường GF (2) được cho bởi :

a. Hãy biểu diễn G dưới dạng chuẩn Gch.b. Liệt kê các từ mã có được từ 2 ma trận sinh G và Gch .c. Có bao nhiêu từ mã có trọng số Hamming là 0,1,2,3,4,5,6,7

Bài làm

a. Lấy cột 3 làm cột 1,cột 6 làm cột 2 và cột 4 làm cột 3 ta có ma trận sinh Gch :

b. Liệt kê các từ mã có được từ ma trận sinh G và ma trận sinh Gch :

Vector mang tin a

V=aG w(v) v’= a.Gch w(v’)

000

001

000000

110110

0

4

000000

001111

0

4

1084/12/2023


010

011

100

101

110

111

110001

000111

011010

101100

101011

011101

3

3

3

3

4

4

010110

011001

100011

101100

110101

111010

3

3

3

3

4

4

c. Cả 2 bộ mã đều có :







0 từ mã có trọng số là 6.

1094/12/2023


1104/12/2023


Bài 9 –Chương MÃ THỐNG KÊ TỐI ƯU

3. Cho nguồn tin có sơ đồ thống kê như sau :

Dùng mã Fano để mã hóa nguồn tin trên với cơ số mã m = 3. Tính ntb và tính kinh tế từ mã :

P = H(U) / ntb

Bài làm

Sơ đồ mã hóa bằng bộ mã Fano :

1114/12/2023


Độ dài trung bình từ mã :

1124/12/2023


Entropy của tập tin :


1134/12/2023


Bài 1 – Chương MÃ VÒNG

4. Chứng minh rằng đa thức sinh g(x) của một mã vòng là ước số của xn +1

Giả sử v(x) = v1xn-1 + v2xn-2 + … +vn-1x + vn là một đa thức mã khi đó v’(x) = vnxn-

1 + v1xn-2 + … +vn-2x + vn-1 cũng là một đa thức mã . Khi đó :

v(x) = v1xn-1 + v2xn-2 + … +vn-1x + vn g(x)

và v’(x) = vnxn-1 + v1xn-2 + … +vn-2x + vn-1 g(x)

1144/12/2023


Từ đây : xv’(x) – v(x) = vnxn – vn g(x)

Hay : xn – 1 g(x)

Đây là điều cần chứng minh.


BÀI 2: Với nguồn tin rời rạc gồm 2 ký tự U = {a1,a2} và p(a1) = p


Bài giải:



f ’’( ) =


Vậy với a,b



1154/12/2023


=

Vậy H(U) =


Bài giải :


1164/12/2023





Thỏa

Bài giải:




Hay



U={3,23,11,123,10}

j. Vẽ cây mã và đồ hình kết cấu của bộ mã Uk. Vẽ mặt tọa độ mã

1174/12/2023


l. Lập 1 bộ mã hệ thống 6 từ mã có các tổ hợp sơ đẳng. Vẽ đồ hình kết cấu của bộ mã vừa lặp

Bài giải:

j. Cây mã :----------------------------------------------------------------------------------------------------Mức 0

2 1---------------------------------------------------------------------------------------------------Mức 1

3 1 2 0--------------------------------------------------------------------------------------------------Mức 2

3---------------------------------------------------------------------------------------------------Mức 3Đồ hình kết cấu :

3

k. Mặt tọa độ mã:

ui ni pi

3 1 3

23 2 14

11 2 5

123 3 57

10 2 1

l. Tổ hợp sơ đẳng : 23,123,10Tổ hợp cuối : 3,11Bộ mã hệ thống có 6 từ mã :u1 =233, u2=1233, u3=101011, u4=2311, u5=12311, u6=102311


ui u1 u2 u3 u4 u5 u6 u7 u8 u9

P(ui) .34 .2 .19 .1 .07 .04 .03 .02 .01

1184/12/2023

0

01

0



Bài giải :



u1 .34 0 2 0 00

u2 .2 .34 3 0.01010111 010

u3 .19 .54 3 0.10001010 100

u4 .1 .73 4 0.1011010 1011

u5 .07 .83 4 0.11010100 11 01

u6 .04 .9 5 0.11100110 11100

u7 .03 .94 6 0.11110000 111100

u8 .02 .97 6 0.11111000 111110

u9 .01 .99 1 0.11111101 1111110





1194/12/2023


ui u1 u2 u3 u14

P(ui) .5 .25 .315 .31 . 0157 .0156


Bài giải:


.5 0

.25 10

.315 11000

.31 11001

.31 11010

.31 11011

. 0157 111000

. 0157 111001

. 0157 111010

. 0157 111011

. 0157 111100

. 0157 111101

. 0157 111110

.0156 111111


1204/12/2023










Vector mang tin a


000 0000000 0 0000000 0

001 1011100 4 0011110 4

1214/12/2023


010 0101110 4 0100111 4

011 1110010 4 0111001 4

100 0010111 4 1001011 4

101 1001011 4 1010101 4

110 0111001 4 1101100 4

111 1100101 4 1110010 4

d. Cả 2 bộ mã trên đều có D=4 là trọng số Hamming nhỏ nhất của các từ mã khác không của chúng



Bài giải:

Giả sử


Và

Từ đây :

Hay

Tức là (đpcm)

1224/12/2023



Bài giải:




Chương 5: Mã Vòng

Gỉa sử g(x) là đa thức sinh của một bộ mã vòng có độ dài từ mã n.Chứng minh rằng nếu n là số nguyên nhỏ nhất sao cho xn + 1 chia hết cho g(x) thì trọng số Hamming của bộ mã không nhỏ hơn 3.

GIẢI

Ta chứng minh bài toán bằng phương pháp chứng minh phàn chứng.Giả sử bộ mã như vậy có trọng số Hamming nhỏ hơn 3,tức là bằng 1 hoặc 2.a. Trường hợp trọng số Hamming bằng 1 thì tồn tại một từ mã v(x) sao cho

w(v)=1.Khi đó trong từ mã v chỉ có duy nhất một ký tự bằng 1,giả sử đó là vi. Vậy:

Vi(x) = vixn-i : g(x)Khi đó g(x) không thể là ước số của xn + 1

b. Trường hợp trọng số Hamming bằng 2 thì tồn tại một từ mã v(x) sao cho w(v) = 2. Khi đó trong từ mã v có 2 ký tự bằng 1, giả sử đó là vi và vj. Có thể giả sử i > j và dĩ nhiên n > i > j.Vậy:

vi(x)= vixn-i + vjxn-j = xn-i + xn-j : g(x)

1234/12/2023


Hay: xn-i (xi-j + 1) : g(x)

Từ đây: xi-j + 1 : g(x) trong khi i-j < n mâu thuẫn với giả thiết ban đầu n là số nhỏ nhất sao cho xn + 1 : g(x).

Vậy trọng số Hamming của bộ mã phải luôn lớn hơn hoặc bằng 3.

1244/12/2023

Documents

Giai Bai Tap Ly Thuyet Thong Tin_PTIT