Bài giảng Phân tích và thiết kế thuật toán - Phạm Thế Bảo - Chương 1: Tổng quan về thuật toán

PHÂN TÍCH VÀ THIẾT KẾ 
THUẬT TOÁN
Phạm Thế Bảo
ptbao@math.hcmuns.edu.vn
Nội dung
• Tổng quan về thuật toán và độ phức tạp của thuật toán
• Đánh giá thuật toán bằng:
– Công cụ toán học sơ cấp
– Thực nghiệm
– Hàm sinh
– Hoán vị
• Đệ quy và phương pháp đánh giá
• Đánh giá một số thuật toán thông dụng
• Các phương pháp giải quyết bài toán trên máy tính: 
– Trực tiếp
– Gián tiếp
• Kỹ thuật thiết kế thuật toán:
– Chia để trị
– Greedy
– Quy hoạch động
– Tìm kiếm cục bộ (địa phương)
Phạm Thế Bảo
Hình thức kiểm tra
• Thực hành (4 điểm):
– Làm việc theo nhóm
– Mỗi nhóm sẽ đánh giá một thuật toán:
• Chạy 20 loại bộ dữ liệu: 50*i phần tử, với i=1..20
• Mỗi loại bộ dữ liệu chạy 300*k lần, với k=1..10
• Mội lần chạy dữ liệu được phát sinh ngẫu nhiên
– Vẽ đồ thị, tính phương sai độ lệch chuNn
– Ước lượng độ phức tạp
– Viết báo cáo
• Lý thuyết (6 điểm)
Phạm Thế Bảo
Tài liệu tham khảo
1. Cẩm nang thuật toán – cuốn 1 – Robert Sedgewich –
Trần Đan Thư.
2. Lập trình = Thuật toán + CTDL, N. Wirth
3. Algorithm Complexity & Communication Problems,
J.P. Barthélemy, G. Cohen & a. Lobstein, UCL Press,
London 1996.
4. Elementary Introduction to new Generalized
Functions, Jean Francois Colombeau, 1991.
5. Algorithm and Complexity, Herbert S.Wilf, 1994.
6. Giải một bài toán trên máy tính như thế nào, Hoàng
Kiếm, 2003.
7. The Art of Computer Vol. 1, 2, 3, Donald Knuth,
Addison-Wesley
Phạm Thế Bảo
Tổng quan về thuật toán
1. Thuật toán là gì?
Tập hợp hữu hạn các hướng dẫn rõ ràng để giải
quyết một bài toán (vấn đề).
• Mở rộng (máy tính): một dãy hữu hạn các
bước không mập mờ và có thể thực thi được,
quá trình hành động theo các bước này phải
dừng và cho được kết quả như mong muốn.
2. Tính chất cơ bản của thuật toán:
– Xác định = không mập mờ + thực thi được
– Hữu hạn
– Đúng
Phạm Thế Bảo
3. Ví dụ: 
– Một lớp học cần chọn lớp trưởng theo các
bước:
1. Lập danh sách sinh viên
2. Sắp thứ tự
3. Chọn người đứng đầu làm lớp trưởng
– Danh sách cần gì?
– Sắp theo thứ tự nào? (tăng giảm, tiêu chí
nào)
– Nếu trùng tiêu chí thì giải quyết ra sao?
Phạm Thế Bảo
Sửa lại:
a) Lập danh sách theo: họ tên, ngày tháng năm sinh,
điểm các môn, điểm trung bình cuối năm.
b) Sắp xếp theo ĐTB giảm. Nếu ĐTB bằng nhau Æ
cùng hạng.
c) Nếu có 01 HS đứng đầu Æ chọn, ngược lại chọn
người có điểm toán cao nhất, nếu không chọn được
Æ bốc thăm.
• Phân biệt mập mờ và lựa chọn có quyết định:
– Mập mờ là thiếu thông tin hoặc có nhiều lựa chọn
nhưng không đủ điều kiện quyết định, ví dụ: bước 1,
2.
– Lựa chọn có quyết định là hoàn toàn xác định duy
nhất trong điều kiện cụ thể của vấn đề, ví dụ bước c.
Phạm Thế Bảo
• Tính thực thi được, ví dụ:
– Tính ?
– Chạy xe thẳng từ nhà hát lớn đến nhà thờ đức bà
theo đường Đồng Khởi?
• Tính dừng, ví dụ:
– B1: nhập n;
– B2: s=0;
– B3 i=1;
– B4 nếu i=n+1 sang B8, ngược lại sang B5
– B5 cộng i vào s
– B6 cộng 2 vào i
– B7 quay lại B4
– B8 Tổng cần tính là s
1−
Phạm Thế Bảo
• Đặc trưng khác của thuật toán:
– Xác định đầu vào/ra
– Tính hiệu quả: khối lượng tính toán, không gian, 
thời gian.
– Tính tổng quát
Ví dụ: 
– giải ax2 + bx + c = 0
– Cho mảng các số nguyên A, tìm phần tử lớn nhất.
• Các phương pháp biểu diễn thuật toán:
– Ngôn ngữ tự nhiên
– Sơ đồ (lưu đồ) khối
– Mã giả (Pseudo-code)
Phạm Thế Bảo
Khái niệm thuật giải
1. Thuật giải là gì?
Các cách giải chấp nhận được nhưng không
hoàn toàn đáp ứng đầy đủ các tiêu chuẩn
của thuật toán thường được gọi là các thuật
giải.
Đây là khái niệm mở rộng của thuật toán dựa
trên tính xác định và tính đúng đắn.
Ví dụ thuật giải Heuristic:
– Nguyên lý vét cạn thông minh
– Nguyên lý Greedy (tham lam)
– Nguyên lý thứ tự
Phạm Thế Bảo
Độ phức tạp của thuật toán
1. Giới thiệu
Bài toán
Kích thước n {thuật toán giải quyết}
?
Cái nào tốt?
Làm sao chọn?
Ví dụ:
• Tìm số nhỏ nhất trong n số cho trước
• Xác định số nguyên dương m có phải là
số nguyên tố?
• Cho một số nguyên dương gồm n chữ số
khác không trong hệ 10, hãy xáo trộn
các số để có số lớn nhất?
Dựa trên cái gì?
“Thời gian thực hiện” Æ f(n)
1. Xáo trộn tổ hợp 2. Sắp xếp giảm dần
Phạm Thế Bảo
Làm sao xác định “thời gian thực hiện” f(n)?
1. Hướng tiệm cận:
– Lý thuyết
– Thực nghiệm
2. Công cụ toán học:
– Kỹ thuật sơ cấp
– Hàm sinh
– Hoán vị và nghịch thế
Phạm Thế Bảo
Höôùng tieáp caän thöïc nghieäm
ƒ Caùc böôùc thöïc hieän:
1. Vieát chöông trình caøi ñaët
2. Thöïc thi chöông trình vôùi nhieàu boä döõ lieäu
3. Ño vaø thoáng keâ thôøi gian
4. Xaáp xæ bieåu ñoà
ƒ Haïn cheá:
1. Caàn phaûi caøi ñaët CT vaø ño thôøi gian
2. Boä döõ lieäu khoâng theå ñaëc tröng heát
3. Khoù so saùnh 02 thuaät giaûi
Phạm Thế Bảo
Ước lượng tiệm cận
1. Ý nghĩa: 
Phân lớp cấp độ lớn của các hàm f(n) khi n
đủ lớn.
Ký hiệu O (big O – O lớn)
2. Định nghĩa:
Cho 2 hàm f,g : NÆR, ta nói f = O(g) nếu
∃n0∈N và M>0, sao cho ⏐f(n)⏐≤M⏐g(n)⏐,∀n≥n0.
Phạm Thế Bảo
Phạm Thế Bảo
n0
R
u
n
n
i
n
g
T
i
m
e
f(n)
M*g(n)
Ước lượng tiệm cận
ƒ Mục đích:
Tìm f(n) được ước lượng dựa trên những hàm
g(n) đã biết
Ví duï: 
1,000,001 ≈ 1,000,000
3n2 ≈ n2
ƒ Ví dụ:
• Xem f(n)=n và g(n)=n2, ta có f=O(g), vì với
M=1 và n0=1. Ta có ⏐f(n)⏐≤1.⏐g(n)⏐, ∀n≥1.
Phạm Thế Bảo
• Xét f(n)=10000n và g(n)=n2 ta vẫn có f=O(g) 
vì
– ⏐f(n)⏐≤10000⏐g(n)⏐, ∀n≥1
– Hay ⏐f(n)⏐≤1.⏐g(n)⏐, ∀n≥10000
• Câu hỏi: g=O(f) ?
Giả sử g=O(f) thì có M và n0 sao cho
n2 ≤ M (10000n), ∀n≥ n0 ⇒ n≤ 10000 M ), ∀n≥ n0 ⇒ vô lý.
• Xét f(n)=10n thì ta thấy
™ f = O(n)
™ f = O(n2)
™ f = O(n3)
Phạm Thế Bảo
• Cách viết khác: f∈ O(g)
Ví dụ: 10n ∈ O(n) ∈ O(n2)
• Tránh lý luận ngụy biện:
• Thực chất
Tránh viết: O(n2) = n2+1
Viết hợp lệ:
n2+1 = O(n2)
n2+1 ∈ O(n2)
2 2 2
2 2
1 ( ) 1
2
1 1 
2
S a i
n O n n
n n
= = +
⇒ = + ⇒
2 2 2 21 ( ) 1 ( )
2
n O n n O n∈ + ∈ v a ø 
Phạm Thế Bảo
• Thuật toán T có thời gian thực hiện là f(n) 
và f = O(g). Ta nói thuật tóan T có độ
phức tạp g.
(hàm g chỉ là một chặn trên của f, vẫn có
thể có cách ước lượng chặt hơn)
Định nghĩa:
Ta nói f tương đương g nếu f=O(g) và
g=O(f), ta viết f ∼ g.
Ví dụ: Thuật toán T, kích thước n, có thời
gian chạy 31( ) 100
10
f n n n= +
Phạm Thế Bảo
• Ta có thể chứng minh:
f=O(n3) và n3=O(f)
Chọn M=1, n0=100 ⇒ f ∼ n3
Ta nói “T có độ phức tạp tương đương n3”
3 3
3 3
3
2
1 1 0 0
1 0
1 0 0 0 1 0
1 0 0 0 (1 0 1 )
1 0 0 0 (1 0 1 )
n n M n
n n M n
n M n
M n
+ ≤
⇒ + ≤
⇒ ≤ −
⇒ ≤ −
Phạm Thế Bảo
• Một số tính chất: xét hai hàm f(n) và g(n)
a) Nếu g(n) ≠ 0 khi n đủ lớn và tồn tại thì
f=O(g).
• Nếu khi n đủ lớn thì f∼g
• Nếu thì f=O(g) nhưng g≠O(f)
Ví dụ: f(n) = (-1)n n và g(n)=n+7, không tồn tại
do n chẵn hay lẻ.
Tuy nhiên ⇒ f∼g
( )lim
( )n
f n
g n→∞
( )lim 0
( )n
f n
g n→∞
≠
( )lim 0
( )n
f n
g n→∞
=
( )lim
( )n
f n
g n→∞
( )lim 1
( )n
f n
g n→∞
=
Phạm Thế Bảo
b) Nếu f là đa thức bậc ≤ m thì f=O(nm)
c) Nếu f=O(g) và g=O(h) thì f=O(h)
d) Một số công thức:
với C=0.577216 (hằng số Euler)
2
2 2
1 1 11 ... ln( ) ( )
2
1 11 ...
2
?
n C O
n n
n
+ + + = + +
+ + + =
Phạm Thế Bảo
Phân lớp các hàm
Dạng O Tên Phân loại
O(1) Hằng
O(log2 (n)) logarit
O( )
Căn thức
O( )
…
O( )
O(n) Tuyến tính
Đa thức
O(n2) Bình phương
O(n3) Bậc ba
…
O(nm) Đa thức
O(cn), với c>1 Mũ
Độ phức tạp lớn
O(n!) Giai thừa
n
3 n
m n
Phạm Thế Bảo
O(1)
O(n)O(n lg n)O(nc )O(Cn )
O(lgn)
O(n!)
• Ví dụ: xét độ phức tạp khi xét một số nguyên
dương n có phải là số nguyên tố hay không?
– Kiểm tra các ước từ 2 đến n-1 ⇒ độ phức tạp là
O(n)
– Nếu kiểm tra từ 2 đến ⇒ độ phức tạp là O( )
– Nếu n khoảng vài tỷ và n=2m với m là số bit lưu
trữ, nếu chọn m là kích thước thuật toán thay cho n
⇒ độ phức tạp của thuật toán trên trong hai trường
hợp là O(2m) và O(2m/2) là hàm mũ.
n n
Phạm Thế Bảo
Vai trò của hằng số trong phân tích
• Thuật toán A và B có độ phức tạp
• Lý thuyết: do n khá lớn nên không đáng kể
• Thực nghiệm: đôi khi rất quan trọng⇒ cNn
thận
12 ( )
1( )
n n O
n
n O
n
α
β
+ +
+
α Và β có vai trò như thế nào?
Phạm Thế Bảo
Sự phụ thuộc/không phụ thuộc vào
phân bố dữ liệu
• Xét bài toán A có thuật toán T có kích thước n
• Độ phức tạp của T:
1. Hoàn toàn xác định theo n.
Ví dụ: Tìm số lớn nhất của mảng các số nguyên.
2. Ngẫu nhiên tùy theo phân bố của dữ liệu nhập.
Ví dụ: Tìm phần tử x có hay không có trong tập dữ liệu.
• Cách giải quyết:
1. Vận dụng các phép toán cơ bản để giải quyết.
2. Ta phải xét :
a. Trường hợp xấu nhất (chậm nhất): chận trên
b. Trường hợp tốt nhất (nhanh nhất): chận dưới
c. Trung bình: vận dụng toán học (xác suất thống kê)
Ví dụ: QuickSort
Phạm Thế Bảo
Cách tính O
• Quy tắc cộng: Nếu K(n) và H(n) là thời gian thực
hiện hai đọan chương trình P và Q liên tiếp, với
K(n)=O(f(n)) và H(n)=O(g(n)) thì thời gian thực
hiện hai đoạn này là T(n)=O(max(f(n),g(n))).
• Quy tắc nhân: Nếu K(n) và H(n) là thời gian thực
hiện hai đọan chương trình P và Q lồng vào nhau,
với K(n)=O(f(n)) và H(n)=O(g(n)) thì thời gian
thực hiện hai đoạn này là T(n)=O(f(n).g(n)).
Phạm Thế Bảo