Bài giảng Công cụ Multimedia - Phần 3: Các kỹ thuật trong đa phương tiện - Trần Nguyên Ngọc
Quá trình Multimedia thực hiện thao tác trên các đổi
tượng Multimedia:
Văn bản, các số
Âm thanh: tiếng ồn, tiếng nói, âm nhạc
Hình ảnh tính: đồ họa, ảnh tĩnh
Hình ảnh động: video, animation
Quá trình xử lý thông tin Multimedia
Thu nhận thông tin: thông qua các thiết bị đầu vào
Xử lý thông tin: thông qua bộ xử lý
Lưu trữ thông tin: các thiết bị lưu trữ
Hiển thị thông tin: các thiết bị ra
Trao đổi thông tin: các thiết bị truyền thông
rí xuất hiện. Để mã hoá một câu mới ta chỉ vị trí của câu trong từ điển và chèn thêm ký hiệu mới vào cuối. 145 Các phương pháp nén không mất thông tin Ví dụ: Chuỗi ký tự: PQPQPQRPQRPQRPQRPQR Từ điển: 256 PQ 257 QR 258 PQP 259 PQR 260 PQRPQR Kết quả mã hoá: 256 256 260 260 259 Tỷ lệ nén: 2 x 5 / 1 x 19 = 53% Để giải mã ta cũng phải lập có từ điển và tra cứu ngược lại trong từ điển 146 Các phương pháp nén mất thông tin Nhận xét về các phương pháp nén không mất thông tin: Tỷ lệ nén trung bình của các phương pháp nén không mất thông tin khoảng 40%. Các phương pháp này không thích hợp với thông tin Multimedia. Nguyên lý nén mất thông tin. Dựa vào khả năng cảm nhận của thị giác và thính giác. Giữ những thông tin quan trọng trong cảm nhận bằng thị giác và thính giác. Loại bỏ những thông tin dư thừa đối với cảm nhận. Nén âm thanh. Dựa vào khả năng cảm nhận âm thanh của thính giác: Từ 20Hz đến 20KHz. Cảm nhận cực đại trong khoảng: từ 2 KHz – 5KHz Các phương pháp DPCM, ADPCM, LPC. 147 Nén âm thanh Một số phương pháp nén âm thanh PCM (Pulse-Code Modulation) DPCM (differential pulse-code modulation) ADPCM (Adaptive Differential PCM) PASC (Perceptual Audio Sub-band Coding) LPC (Linear predictive coding) 148 Các phương pháp nén mất thông tin Phương pháp PCM PCM(Pulse Code Modulation). Biểu diễn các tín hiệu số bằng chuỗi các xung. Dùng để mã hóa tương tự - số Tuân theo định lý Nyquist-Shannon 149 Nén âm thanh Phương pháp DPCM Giảm tỷ lệ dữ liệu của PCM bằng cách mã hoá sự khác biệt giữa giá trị các mẫu. Mã hoá dự đoán: dự đoán mẫu thứ n+1 theo tổ hợp tuyến tính của n mẫu tín hiệu trước đó. ai là n hệ số dự đoán 1 0 )()(~ n i i isans 150 Nén âm thanh 151 Nén âm thanh Phương pháp DM (Delta Modulation) : Là trường hợp riêng của phương pháp DPCM Mã hóa sai khác chỉ dùng 1 bit Mã hóa 0 hoặc 1 tùy thuộc vào cường độ tín hiệu xung hiện tại so với xung trước đó Ưu nhược điểm Đơn giản Mã hóa ít bit Độ chính xác không cao, sai số lớn Tỉ lệ SNR thấp Phương pháp tăng cường hiệu năng Tăng tần số mã hóa 152 Phương pháp DM (tiếp) 153 Nén âm thanh ADPCM(Adaptive Differential PCM): Phương pháp DPCM có hạn chế là : bộ dự đoán và lượng tử hóa là cố định hiệu năng thay đổi tùy vào dữ liệu đầu vào ADPCM sử dụng các bộ dự đoán và lượng tử hóa thích nghi dựa vào các dữ liệu đã nhận được trước đó tối thiểu hóa sự sai khác giữa mẫu dự đoán và mẫu thực tế Bộ dự đoán thích nghi : thay đổi tham số tùy thuộc đầu vào trước đó Lượng tử thích nghi : thay đổi các bước lượng tử hóa khác nhau ADPCM sử dụng trong các thiết bị CD-i và DVI. Chuẩn ADPCM: CCITT G.721. Tỷ lệ nén: 4:1 đến 2:1 154 Nén âm thanh 155 Nén âm thanh Phương pháp PASC (Perceptual Audio Sub-band Coding) Là phương pháp dựa trên SBD (Sub-band Coding) : chia một tín hiệu thành nhiều dải tần con mã hóa mỗi dải tần riêng biệt Mã hóa dự vào cảm nhận âm thanh của con người Cảm nhận từ 20Hz – 20kHz Nhưng cảm nhận âm thanh không đồng đều ở các tần số khác nhau Hiệu ứng che tần số : âm thanh tần số mạnh che âm thanh tần số yếu Được sử dụng trong mã hóa âm thanh chuẩn MPEG 1,2,4 MP3 : MPEG-1 or MPEG-2 Audio Layer III Mã hóa dùng 32 băng tần con, mã hóa cảm nhận và Entropy 156 Nén âm thanh 157 Nén âm thanh Phương pháp LPC (Linear Predictive Coding) Mã hóa tiếng nói dựa vào các tham số tổng hợp giọng nói Dựa vào cấu tạo hình thành âm thanh con người Dây thanh quản Vòng họng Miệng+mũi Phân tích và tổng hợp lại các âm con người phát ra Ứng dụng : Phân tích và tái tạo tiếng nói Sử dụng trong việc truyền âm thanh số, mã hóa trong điều kiện tốc độ thấp Sử dụng kết hợp với các kỹ thuật khác 158 159 Nén mất Thông tin: nén ảnh và video Ảnh được khôi phục không giống hoàn toàn với ảnh gốc Thích hợp cho việc lưu trữ và truyền ảnh tĩnh, video qua một mạng có băng thông hạn chế Differential Encoding, Discrete Cosine Transform(DCT), Vector Quantization, JPEG (Joint Photographic Experts Group) và MPEG (Motion Picture Experts Group) 160 Nén ảnh Các phương pháp nén ảnh có mất tín hiệu gồm có 4 bước như hình . Sơ đồ cơ bản của bộ mã hoá Các bộ mã hoá khối có thể dựa trên hai nguyên tắc biến đổi cơ bản: Discrete Cosine Transform (DCT) và Vector Quantization (VQ) 161 Nén ảnh 162 Nén ảnh Phương pháp nén ảnh JPG: Nguyên lý: 4 bước thực hiện Biến đổi hệ toạ độ màu. Thay đổi các bước lấy mẫu: các điểm được nhóm theo các thông tin về màu thành các nhóm 2 điểm hoặc 4 điểm. Thực hiện phép biến đổi từ miền không gian về miền tần số không gian. Lượng tử hóa không đều các hệ số biến đổi Sử dụng các thuật toán nén RLE và Huffman. 163 Biến đổi hệ màu RGB YCbCr Do mắt người nhạy với thành phần Y hơn so với Cb, Cr nên giảm số bit lưu trữ Cb, Cr 164 Nén ảnh 165 Nén ảnh Ta có thể xác định 64 giá trị chỉ bằng 5 số ngyên nếu ta ap dụng công thức discrete cosine transform (DCT) Bộ giải mã có thể tái tạo lại giá trị của các pixel thông qua công thức inverse discrete cosine transform (IDCT) c 166 Nén ảnh 167 Nén ảnh – ví dụ DCT Tru 128 168 Nén ảnh – ví dụ 169 170 171 Nén ảnh Chuẩn JPEG 2000 JPEG đã đưa ra một chuẩn nén ảnh mới là JPEG2000. JPEG2000 sử dụng biến đổi Wavelet và các phương pháp mã hoá đặc biệt để có được ảnh nén ưu việt hơn hẳn JPEG. JPEG2000 có nhiều chức năng đặc biệt hơn các chuẩn nén ảnh tĩnh khác như JPEG hay GIF. Dưới đây là các chức năng ưu việt của JPEG2000 so với các chuẩn nén ảnh tĩnh khác Cho chất lượng ảnh tốt nhất khi áp dụng nén ảnh tĩnh có tổn thất. Sử dụng được với truyền dẫn và hiển thị luỹ tiến về chất lượng, độ phân giải, các thành phần màu và có tính định vị không gian. Sử dụng cùng một cơ chế nén ảnh cho cả hai dạng thức nén. Truy nhập và giải nén tại mọi thời điểm trong khi nhận dữ liệu. Giải nén từng vùng trong ảnh mà không cần giải nén toàn bộ ảnh Có khả năng mã hoá ảnh với tỷ lệ nén theo từng vùng khác nhau Nén một lần nhưng có thể giải nén với nhiều cấp chất lượng tuỳ theo yêu cầu của người sử dụng 172 Nén ảnh 173 Nén ảnh 174 Nén ảnh 175 Nén ảnh So sánh chuẩn JPEG và JPEG2000 với tỉ lệ 0.25 bpp, CR = 32 176 Nén video Đối với tín hiệu video số, số lượng bit được sử dụng để truyền tải thông tin đối với mỗi miền tần số khác nhau, có nghĩa là: miền tần số thấp, nơi chứa đựng nhiều thông tin, được sử dụng số lượng bít lớn hơn và miền tần số cao, nơi chứa đựng ít thông tin, được sử dụng số lượng bít ít hơn. Thực chất của kỹ thuật “nén video số” là loại bỏ đi các thông tin dư thừa. Các thông tin dư thừa trong nén video số thường là: Độ dư thừa không gian giữa các pixel; Độ dư thừa thời gian do các ảnh liên tiếp nhau; Độ dư thừa do các thành phần màu biểu diễn từng pixel có độ tương quan cao; Độ dư thừa thống kê do các kí hiệu xuất hiện trong dòng bít với xác suất xuất hiện không đều nhau; Độ dư thừa tâm lý thị giác (các thông tin nằm ngoài khả năng cảm nhận của mắt).vv 177 Nén video MJPEG (Motion JPEG) – là việc sử dụng chuẩn mã hóa video sử dụng các frame được mã hóa bằng chuẩn nén ảnh JPEG Đơn giản – các frame độc lập với nhau Giới hạn mã hóa 1:20 MJPEG được phát triển cho các máy tính cá nhân, hiện nay dùng các thiết bị khác. Hiện nay MJPEG được ứng dụng cho Máy quay số Thu nhận và chỉnh sửa video IP Camera Sử dụng cho các thiết bị hiển thị video 178 Nén video MPEG (Moving Picture Expert Group) là nhóm chuyên gia về hình ảnh, được thành lập từ tháng 2 năm 1988 với nhiệm vụ xây dựng tiêu chuẩn cho tín hiệu Audio và Video số. Ngày nay, MPEG đã trở thành một kỹ thuật nén Audio và Video phổ biến nhất MPEG-1, mã hoá tín hiệu Audio-Video với tốc độ khoảng 1.5Mb/s và lưu trữ trong đĩa CD. MPEG-2 (1990) : MPEG-2 với “công cụ ” mã hoá khác nhau đã được phát triển. (3-15Mbps) MPEG-4 (10/1998), Là chuẩn cho nén ảnh kỹ thuật truyền hình số, các ứng dụng về đồ hoạ và video tương tác hai chiều (games, videoconferencing) và các ứng dụng multimedia tương tác hai chiều (World Wide Web, Internet video...) MPEG-7: là một chuẩn dùng để mô tả các nội dung Multimedia, chứ không phải là một chuẩn cho nén và mã hoá audio/ảnh động như MPEG-1, MPEG-2 hay MPEG-4. MPEG-7 sử dụng ngôn ngữ đánh dấu mở rộng XML(Extansible Markup Language) để lưu trữ các siêu dữ liệu Metadata, đính kèm timecode để gắn thẻ cho các sự kiện, hay đồng bộ các dữ liệu. 179 180 Nén video Các cấu trúc lấymẫu vỡ số hoá tín hiệu video Đối với truyền hình số NTSC vỡ PAL, chuỗi video gồm các khung hình (frame ảnh) có độ phân giải 576 x 720, các dòng video chứa 720 điểm ảnh đ−ợc lấy mẫu vỡ số hoá theo các cấu trúc sau : 181 Nén video 182 Nén video 183 Nén video Các chuẩn nén video hầu hết đều sử dụng 2 kỹ thuật chính là : Nén video không dùng kỹ thuật phát hiện và bù chuyển động - MJPEG Nén video dùng kỹ thuật phát hiện và bù chuyển động Nén ảnh tĩnh để giảm độ dư thừa không gian Đánh giá, ước lượng chuyển động để giảm độ dư thừa về mặt thời gian 184 Nén video Phân loại các frame video Frame I : là frame đầu tiên trong chuỗi video Frame P : (predicted frame) – frame được dự đoán tiếp theo Frame B (Bi-directional interpolated prediction frame) - frame được dự đoán nội suy 2 chiều 185 Nén video Cấu trúc dòng bit MPEG 186 187 Cấu trúc dòng bit MPEG 188 Nén video Mô hình mã hóa MPEG 189 Nén video Đánh giá chuyển động (Motion Estimation) : xác định vector chuyển động Bù chuyển động (Motion Compensation) : khôi phục ảnh bằng cách sử dụng vector chuyển động và sai số chuyển động (phần sai lệch giữa 2 frame) 190 Nén video Quá trình nén frame I 191 Nén video Quá trình nén frame P Frame B ? 192 Giải thuật đối sánh, xác định vector chuyển động
File đính kèm:
- bai_giang_cong_cu_multimedia_phan_3_cac_ky_thuat_trong_da_ph.pdf