Bài giảng Lý thuyết thông tin - Nguyễn Bình
MỤC LỤC
LỜI NÓI ĐẦU .1
CHƯƠNG I: NHỮNG VẤN ĐỀCHUNG VÀ NHỮNG KHÁI NIỆM CƠBẢN.3
1.1. VỊTRÍ, VAI TRÒ VÀ SƠLƯỢC LỊCH SỬPHÁT TRIỂN CỦA “LÝ THUYẾT THÔNG TIN”
.3
1.1.1. Vịtrí, vai trò của Lý thuyết thông tin .3
1.1.2. Sơlược lịch sửphát triển .4
1.2. NHỮNG KHÁI NIỆM CƠBẢN - SƠ ĐỒHỆTRUYỀN TIN VÀ NHIỆM VỤCỦA NÓ.5
1.2.1. Các định nghĩa cơbản.5
1.2.2. Sơ đồkhối của hệthống truyền tin số(Hình 1.2) .5
1.2.3. Những chỉtiêu chất lượng cơbản của một hệtruyền tin .10
CHƯƠNG II: TÍN HIỆU VÀ NHIỄU.11
2.1. TÍN HIỆU XÁC ĐỊNH VÀ CÁC ĐẶC TRƯNG VẬT LÝ CỦA CHÚNG .11
2.2. TÍN HIỆU VÀ NHIỄU LÀ CÁC QUÁ TRÌNH NGẪU NHIÊN.11
2.2.1. Bản chất ngẫu nhiên của tín hiệu và nhiễu.11
2.2.2. Định nghĩa và phân loại nhiễu .12
2.3. CÁC ĐẶC TRƯNG THỐNG KÊ CỦA TÍN HIỆU NGẪU NHIÊN VÀ NHIỄU.13
2.3.1. Các đặc trưng thống kê .13
2.3.2. Khoảng tương quan.15
2.4. CÁC ĐẶC TRƯNG VẬT LÝ CỦA TÍN HIỆU NGẪU NHIÊN VÀ NHIỄU. BIẾN ĐỔI
WIENER – KHINCHIN .16
2.4.1. Những khái niệm xây dựng lý thuyết phổcủa quá trình ngẫu nhiên - mật độphổcông suất16
2.4.2. Cặp biến đổi Wiener – Khinchin .18
2.4.3. Bềrộng phổcông suất.19
2.4.4. Mởrộng cặp biến đổi Wiener – Khinchin cho trường hợp R()τ không khảtích tuyệt đối
.20
2.5. TRUYỀN CÁC TÍN HIỆU NGẪU NHIÊN QUA CÁC MẠCH VÔ TUYẾN ĐIỆN TUYẾN
TÍNH .21
2.5.1. Bài toán tối thiểu .21
2.5.2. Bài toán tối đa .26
2.6. BIỂU DIỄN PHỨC CHO THỂHIỆN CỦA TÍN HIỆU NGẪU NHIÊN – TÍN HIỆU GIẢI HẸP
.31
2.6.1. Cặp biến đổi Hilbert và tín hiệu giải tích .31
2.6.2. Tín hiệu giải rộng và giải hẹp .35
Mục lục
221
2.7. BIỂU DIỄN HÌNH HỌC CHO THỂHIỆN CỦA TÍN HIỆU NGẪU NHIÊN .37
2.7.1. Khai triển trực giao và biểu diễn vecteur của tín hiệu.37
2.7.2. Mật độxác suất của vecteur ngẫu nhiên - Khoảng cách giữa hai vecteur tín hiệu.39
2.7.3. Khái niệm vềmáy thu tối ưu .43
BÀI TẬP .45
CHƯƠNG 3 - CƠSỞLÝ THUYẾT THÔNG TIN THỐNG KÊ .47
3.1. THÔNG TIN - LƯỢNG THÔNG TIN – XÁC SUẤT VÀ THÔNG TIN – ĐƠN VỊ ĐO THÔNG
TIN .47
3.1.1. Định nghĩa định tính thông tin và lượng thông tin.47
3.1.2. Quan hệgiữa độbất định và xác suất.48
3.1.3. Xác định lượng thông tin.50
3.2. ENTROPIE VÀ CÁC TÍNH CHẤT CỦA ENTROPIE .52
3.2.1. Tính chất thống kê của nguồn rời rạc và sựra đời của khái niệm entropie.52
3.2.2. Định nghĩa entropie của nguồn rời rạc.52
3.2.3. Các tính chất của entropie một chiều của nguồn rời rạc .53
3.2.4. Entropie của nguồn rời rạc, nhịphân .55
3.2.5. Entropie của trường sựkiện đồng thời.56
3.3. ENTROPIE CÓ ĐIỀU KIỆN. LƯỢNG THÔNG TIN CHÉO TRUNG BÌNH.57
3.3.1. Entropie có điều kiện vềmột trường tin này khi đã rõ một tin nhất định của trường tin kia57
3.3.2. Entropie có điều kiện vềtrường tin này khi đã rõ trường tin kia .58
3.3.3. Hai trạng thái cực đoan của kênh truyền tin.60
3.3.4. Các tính chất của entropie có điều kiện.61
3.3.5. Lượng thông tin chéo trung bình.63
3.3.6. Tính chất của I(A,B) .63
3.3.7. Mô hình của kênh truyền tin có nhiễu.64
3.4. TỐC ĐỘPHÁT. KHẢNĂNG PHÁT. ĐỘTHỪA. KHẢNĂNG THÔNG QUA CỦA KÊNH
RỜI RẠC.65
3.4.1. Tốc độphát của nguồn rời rạc.65
3.4.2. Khảnăng phát của nguồn rời rạc .65
3.4.3. Độthừa của nguồn rời rạc.65
3.4.4. Các đặc trưng của kênh rời rạc và các loại kênh rời rạc.66
3.4.5. Lượng thông tin truyền qua kênh trong một đơn vịthời gian .67
3.4.6. Khảnăng thông qua của kênh rời rạc.67
3.4.7. Tính khảnăng thông qua của kênh nhịphân đối xứng không nhớ, đồng nhất .68
3.4.8. Định lý mã hoá thứhai của Shannon .69
Mục lục
222
3.4.9. Khảnăng thông qua của kênh nhịphân đối xứng có xoá .70
3.5. ENTROPIE CỦA NGUỒN LIÊN TỤC. LƯỢNG THÔNG TIN CHÉO TRUNG BÌNH TRUYỀN
QUA KÊNH LIÊN TỤC KHÔNG NHỚ.71
3.5.1. Các dạng tín hiệu liên tục.71
3.5.2. Các đặc trưng và tham sốcủa kênh liên tục.71
3.5.3. Kênh liên tục chứa trong kênh rời rạc.72
3.5.4. Entropie của nguồn tin liên tục (của một quá trình ngẫu nhiên liên tục) .73
3.5.5. Mẫu vật lý minh hoạsựlớn vô hạn của entropie của nguồn liên tục.74
3.5.6. Lượng thông tin chéo trung bình truyền theo kênh liên tục không nhớ.75
3.6. ENTROPIE VI PHÂN CÓ ĐIỀU KIỆN. TÍNH CHẤT CỦA CÁC TÍN HIỆU GAUSSE.76
3.6.1. Entropie vi phân có điều kiện .76
3.6.2. Entropie vi phân của nhiễu Gausse .77
3.6.3. Lượng thông tin chéo trung bình truyền theo kênh Gausse .78
3.6.4. Tính chất của các tín hiệu có phân bốchuẩn .80
3.7. KHẢNĂNG THÔNG QUA CỦA KÊNH GAUSSE.82
3.7.1. Khảnăng thông qua của kênh Gausse với thời gian rời rạc.82
3.7.2. Khảnăng thông qua của kênh Gausse với thời gian liên tục trong một giải tần hạn chế.83
3.7.3. Khảnăng thông qua của kênh Gausse với thời gian liên tục trong giải tần vô hạn .84
3.7.4. Định lý mã hoá thứhai của Shannon đối với kênh liên tục .85
3.7.5. Ví dụ: Khảnăng thông qua của một sốkênh thực tế.85
BÀI TẬP .86
CHƯƠNG IV – CƠSỞLÝ THUYẾT MÃ HÓA.90
4.1. CÁC ĐỊNH NGHĨA VÀ KHÁI NIỆM CƠBẢN.90
4.1.1. Các định nghĩa cơbản.90
4.1.2. Các khái niệm cơbản.91
4.1.3. Khảnăng khống chếsai của một bộmã đều nhịphân .93
4.1.4. Mã đều nhịphân không có độthừa.94
4.2. MÃ THỐNG KÊ TỐI ƯU .94
4.2.1. Độdài trung bình của từmã và mã hóa tối ưu.95
4.2.2. Yêu cầu của một phép mã hóa tối ưu.95
4.2.3. Định lý mã hóa thứnhất của Shannon (đối với mã nhịphân).95
4.2.4. Thuật toán Huffman .96
4.3. CÁC CẤU TRÚC ĐẠI SỐVÀ MÃ TUYẾN TÍNH.99
4.3.1. Một sốcấu trúc đại sốcơbản.99
4.3.2. Các dạng tuyến tính và mã tuyến tính.101
Mục lục
223
4.3.3. Các bài toán tối ưu của mã tuyến tính nhịphân .104
4.4. VÀNH ĐA THỨC VÀ MÃ XYCLIC .105
4.4.1. Vành đa thức .105
4.4.2. Ideal của vành đa thức.107
4.4.3. Định nghĩa mã xyclic .109
4.4.4. Ma trận sinh của mã xyclic.110
4.4.5. Ma trận kiểm tra của mã xyclic .110
4.5. MÃ HÓA CHO CÁC MÃ XYCLIC.111
4.5.1. Mô tảtừmã của mã xyclic hệthống .111
4.5.2. Thuật toán mã hóa hệthống .112
4.5.3. Thiết bịmã hóa.112
4.5.4. Tạo các dấu kiểm tra của mã xyclic .114
4.5.5. Thuật toán thiết lập từmã hệthống theo phương pháp nhân .116
4.6. GIẢI MÃ NGƯỠNG .117
4.6.1. Hai thủtục giải mã .117
4.6.2. Giải mã theo Syndrom.117
4.6.3. Hệtổng kiểm tra trực giao và có khảnăng trực giao .118
4.6.4. Giải mã ngưỡng dựa trên hệtổng kiểm tra trực giao .119
4.6.5. Giải mã ngưỡng dựa trên hệtổng kiểm tra có khảnăng trực giao .122
4.7. GIẢI MÃ THEO THUẬT TOÁN MEGGIT .123
4.8. GIẢI MÃ XYCLIC THEO THUẬT TOÁN CHIA DỊCH VÒNG.126
4.8.1. Nhiệm vụcủa thuật toán giải mã.126
4.8.2. Giải mã theo thuật toán chia dịch vòng.127
4.8.3. Ví dụ.127
4.9. GIẢI MÃ LƯỚI. .128
4.9.1. Trạng thái và giản đồlưới .128
4.9.2. Giải mã lưới.132
4.10. MÃ HAMMING VÀ MÃ CÓ ĐỘDÀI CỰC ĐẠI .138
4.11. CÁC MÃ KHỐI DỰA TRÊN SỐHỌC CỦA TRƯỜNG HỮU HẠN.139
4.11.1. Trường hữu hạn cỡnguyên tốGF(p) .139
4.11.2. Các trường mởrộng của trường nhịphân. Trường hữu hạn GF(2
m
).140
4.11.3. Biểu diễn đa thức cho trường hữu hạn GF(2
m
) .141
4.11.4. Các tính chất của đa thức và các phần tửcủa trường hữu hạn .142
4.11.5. Xác định các mã bằng các nghiệm .145
4.11.6. Mã Hamming.146
Mục lục
224
4.11.7. Mã BCH.146
4.11.8. Các mã Reed –Solomon (RS) .149
4.12. CÁC MÃ CHẬP .150
4.12.1. Mở đầu và một sốkhái niệm cơbản. .150
4.12.2. Các mã Turbo.154
BÀI TẬP .156
CHƯƠNG V – LÝ THUYẾT THU TỐI ƯU .160
5.1. ĐẶT BÀI TOÁN VÀ CÁC VẤN ĐỀCƠBẢN .160
5.1.1. Thu tín hiệu khi có nhiễu là một bài toán thống kê.160
5.1.2. Máy thu tối ưu.161
5.1.3. Thếchống nhiễu.161
5.1.4. Hai loại sai lầm khi chọn giảthuyết.161
5.1.5. Tiêu chuẩn Kachennhicov.161
5.1.6. Việc xửlý tối ưu các tín hiệu .161
5.1.7. Xác suất giải sai và quy tắc giải tối ưu.162
5.1.8. Hàm hợp lý.163
5.1.9. Quy tắc hợp lý tối đa.163
5.2. XỬLÝ TỐI ƯU CÁC TÍN HIỆU CÓ THAM SỐ ĐÃ BIẾT. KHÁI NIỆM VỀTHU KẾT HỢP
VÀ THU KHÔNG KẾT HỢP.164
5.2.1. Đặt bài toán .164
5.2.2. Giải bài toán.164
5.2.3. Khái niệm vềthu kết hợp và thu không kết hợp .168
5.3. PHÁT TÍN HIỆU TRONG NHIỄU NHỜBỘLỌC PHỐI HỢP TUYẾN TÍNH THỤ ĐỘNG.169
5.3.1. Định nghĩa bộlọc phối hợp tuyến tính thụ động .169
5.3.2. Bài toán vềbộlọc phối hợp .169
5.3.3. Đặc tính biên tần và đặc tính pha tần của bộlọc phối hợp .172
5.3.4. Phản ứng xung của mạch lọc phối hợp .173
5.3.5. Hưởng ứng ra của mạch lọc phối hợp.174
5.4. LÝ LUẬN CHUNG VỀTHU KẾT HỢP CÁC TÍN HIỆU NHỊPHÂN .175
5.4.1. Lập sơ đồgiải tối ưu một tuyến .175
5.4.2. Xác suất sai khi thu kết hợp tín hiệu nhịphân .176
5.5. XỬLÝ TỐI ƯU CÁC TÍN HIỆU CÓ THAM SỐNGẪU NHIÊN – THU KHÔNG KẾT HỢP
.182
5.5.1. Các tham sốcủa tín hiệu là các tham sốngẫu nhiên .182
5.5.2. Xửlý tối ưu các tín hiệu có tham sốngẫu nhiên biến thiên chậm .183
Mục lục
225
5.5.3. Xác suất hậu nghiệm của tín hiệu có các tham sốthay đổi ngẫu nhiên.183
5.5.4. Xửlý tối ưu các tín hiệu có pha ngẫu nhiên.184
5.5.5. So sánh thu kết hợp với thu không kết hợp.187
5.5.6. Chú thích .188
5.6. MÃ KHỐI KHÔNG GIAN , THỜI GIAN (STBC).188
5.6.1. Kỹthuật thu phân tập. .188
5.6.2. Mã khối không gian – thời gian dựa trên hai máy phát.190
BÀI TẬP .193
PHỤLỤC.196
BẤT ĐẲNG THỨC BUNHIACOVSKI-SCHWAZT .196
BIẾN ĐỔI HILBERT .197
ĐỊNH LÝ KACHENNHICOV .198
LUẬT PHÂN BỐCHUẨN .201
LOGARIT CƠSỐHAI CỦA CÁC SỐNGUYÊN TỪ1 ĐẾN 100 .202
HÀM VÀ ENTROPIE CỦA NGUỒN NHỊPHÂN.203
ENTROPIE H(X) CỦA CÁC LUẬT PHÂN BỐRỜI RẠC. .204
ENTRIPIE VI PHÂN H(X) CỦA CÁC LUẬT PHÂN BỐLIÊN TỤC.207
CÁC ĐA THỨC TỐI TIỂU CỦA CÁC PHẦN TỬTRONG TRƯỜNG . .214
TÀI LIỆU THAM KHẢO .219
MỤC LỤC.220
..........................................................117 4.6.1. Hai thủ tục giải mã ..............................................................................................................117 4.6.2. Giải mã theo Syndrom.........................................................................................................117 4.6.3. Hệ tổng kiểm tra trực giao và có khả năng trực giao ..........................................................118 4.6.4. Giải mã ngưỡng dựa trên hệ tổng kiểm tra trực giao ..........................................................119 4.6.5. Giải mã ngưỡng dựa trên hệ tổng kiểm tra có khả năng trực giao ......................................122 4.7. GIẢI MÃ THEO THUẬT TOÁN MEGGIT ...............................................................................123 4.8. GIẢI MÃ XYCLIC THEO THUẬT TOÁN CHIA DỊCH VÒNG..............................................126 4.8.1. Nhiệm vụ của thuật toán giải mã.........................................................................................126 4.8.2. Giải mã theo thuật toán chia dịch vòng...............................................................................127 4.8.3. Ví dụ....................................................................................................................................127 4.9. GIẢI MÃ LƯỚI. ..........................................................................................................................128 4.9.1. Trạng thái và giản đồ lưới ...................................................................................................128 4.9.2. Giải mã lưới.........................................................................................................................132 4.10. MÃ HAMMING VÀ MÃ CÓ ĐỘ DÀI CỰC ĐẠI ...................................................................138 4.11. CÁC MÃ KHỐI DỰA TRÊN SỐ HỌC CỦA TRƯỜNG HỮU HẠN......................................139 4.11.1. Trường hữu hạn cỡ nguyên tố GF(p) ...............................................................................139 4.11.2. Các trường mở rộng của trường nhị phân. Trường hữu hạn GF(2m).................................140 4.11.3. Biểu diễn đa thức cho trường hữu hạn GF(2m) .................................................................141 4.11.4. Các tính chất của đa thức và các phần tử của trường hữu hạn ..........................................142 4.11.5. Xác định các mã bằng các nghiệm ....................................................................................145 4.11.6. Mã Hamming.....................................................................................................................146 Mục lục 224 4.11.7. Mã BCH............................................................................................................................ 146 4.11.8. Các mã Reed –Solomon (RS) ........................................................................................... 149 4.12. CÁC MÃ CHẬP ........................................................................................................................ 150 4.12.1. Mở đầu và một số khái niệm cơ bản. ................................................................................ 150 4.12.2. Các mã Turbo.................................................................................................................... 154 BÀI TẬP............................................................................................................................................. 156 CHƯƠNG V – LÝ THUYẾT THU TỐI ƯU ....................................................................................... 160 5.1. ĐẶT BÀI TOÁN VÀ CÁC VẤN ĐỀ CƠ BẢN ......................................................................... 160 5.1.1. Thu tín hiệu khi có nhiễu là một bài toán thống kê............................................................. 160 5.1.2. Máy thu tối ưu..................................................................................................................... 161 5.1.3. Thế chống nhiễu.................................................................................................................. 161 5.1.4. Hai loại sai lầm khi chọn giả thuyết.................................................................................... 161 5.1.5. Tiêu chuẩn Kachennhicov................................................................................................... 161 5.1.6. Việc xử lý tối ưu các tín hiệu .............................................................................................. 161 5.1.7. Xác suất giải sai và quy tắc giải tối ưu................................................................................ 162 5.1.8. Hàm hợp lý.......................................................................................................................... 163 5.1.9. Quy tắc hợp lý tối đa........................................................................................................... 163 5.2. XỬ LÝ TỐI ƯU CÁC TÍN HIỆU CÓ THAM SỐ ĐÃ BIẾT. KHÁI NIỆM VỀ THU KẾT HỢP VÀ THU KHÔNG KẾT HỢP........................................................................................................................ 164 5.2.1. Đặt bài toán ......................................................................................................................... 164 5.2.2. Giải bài toán........................................................................................................................ 164 5.2.3. Khái niệm về thu kết hợp và thu không kết hợp ................................................................. 168 5.3. PHÁT TÍN HIỆU TRONG NHIỄU NHỜ BỘ LỌC PHỐI HỢP TUYẾN TÍNH THỤ ĐỘNG.. 169 5.3.1. Định nghĩa bộ lọc phối hợp tuyến tính thụ động ................................................................ 169 5.3.2. Bài toán về bộ lọc phối hợp ................................................................................................ 169 5.3.3. Đặc tính biên tần và đặc tính pha tần của bộ lọc phối hợp ................................................. 172 5.3.4. Phản ứng xung của mạch lọc phối hợp .............................................................................. 173 5.3.5. Hưởng ứng ra của mạch lọc phối hợp................................................................................. 174 5.4. LÝ LUẬN CHUNG VỀ THU KẾT HỢP CÁC TÍN HIỆU NHỊ PHÂN .................................... 175 5.4.1. Lập sơ đồ giải tối ưu một tuyến .......................................................................................... 175 5.4.2. Xác suất sai khi thu kết hợp tín hiệu nhị phân .................................................................... 176 5.5. XỬ LÝ TỐI ƯU CÁC TÍN HIỆU CÓ THAM SỐ NGẪU NHIÊN – THU KHÔNG KẾT HỢP ........................................................................................................................................................................ 182 5.5.1. Các tham số của tín hiệu là các tham số ngẫu nhiên ........................................................... 182 5.5.2. Xử lý tối ưu các tín hiệu có tham số ngẫu nhiên biến thiên chậm ...................................... 183 Mục lục 225 5.5.3. Xác suất hậu nghiệm của tín hiệu có các tham số thay đổi ngẫu nhiên...............................183 5.5.4. Xử lý tối ưu các tín hiệu có pha ngẫu nhiên........................................................................184 5.5.5. So sánh thu kết hợp với thu không kết hợp.........................................................................187 5.5.6. Chú thích .............................................................................................................................188 5.6. MÃ KHỐI KHÔNG GIAN , THỜI GIAN (STBC).....................................................................188 5.6.1. Kỹ thuật thu phân tập. .........................................................................................................188 5.6.2. Mã khối không gian – thời gian dựa trên hai máy phát.......................................................190 BÀI TẬP .............................................................................................................................................193 PHỤ LỤC................................................................................................................................................196 BẤT ĐẲNG THỨC BUNHIACOVSKI-SCHWAZT ........................................................................196 BIẾN ĐỔI HILBERT .........................................................................................................................197 ĐỊNH LÝ KACHENNHICOV ..........................................................................................................198 LUẬT PHÂN BỐ CHUẨN ................................................................................................................201 LOGARIT CƠ SỐ HAI CỦA CÁC SỐ NGUYÊN TỪ 1 ĐẾN 100 ..................................................202 HÀM VÀ ENTROPIE CỦA NGUỒN NHỊ PHÂN............................................................................203 ENTROPIE H(X) CỦA CÁC LUẬT PHÂN BỐ RỜI RẠC. .............................................................204 ENTRIPIE VI PHÂN H(X) CỦA CÁC LUẬT PHÂN BỐ LIÊN TỤC............................................207 CÁC ĐA THỨC TỐI TIỂU CỦA CÁC PHẦN TỬ TRONG TRƯỜNG . .......................................214 TÀI LIỆU THAM KHẢO .....................................................................................................................219 MỤC LỤC...............................................................................................................................................220 BÀI GIẢNG LÝ THUYẾT THÔNG TIN Mã số : 492LTT340 Chịu trách nhiệm bản thảo TRUNG TÂM ÐÀO TẠO BƯU CHÍNH VIỄN THÔNG 1
File đính kèm:
LTTT.pdf
