Luận án tóm tắt Luyện mạng nơron bằng thuật toán vượt khe có sự kết hợp với giải thuật di truyền

GA BP 
0.1 16 14 
0.001 4 13 
Nhận xét 1: Nhờ cơ chế tìm kiếm trải rộng, ngẫu nghiên và mang 
tính chọn lọc tự nhiên nên: GA thường tìm ra được vùng chứa cực trị 
toàn cục, nhưng khó đạt được cực trị toàn cục. Một mặt ta muốn GA 
duy trì sự đa dạng quần thể để tránh hội tụ sớm đến cực trị cục bộ; 
mặt khác, khi “đã khoanh vùng được cực trị toàn cục”, ta muốn GA 
thu hẹp vùng tìm kiếm để “chỉ ra được cực trị toàn cục”. Mục tiêu 
thứ nhất thường dễ đạt được bằng cách chọn hàm thích nghi và 
phương pháp tái tạo quần thể phù hợp. Để đạt được mục tiêu thứ hai 
đòi hỏi chúng ta phải chia quá trình tiến hóa thành hai giai đoạn, 
trong giai đoạn hai ta phải chỉnh lại: các toán tử lai, đột biến, tái tạo; 
phương pháp chọn lọc; đánh giá độ thích nghi; cũng như chỉnh sửa 
lại các tham số của quá trình tiến hóa để có thể đến cực trị toàn cục. 
Việc thực thi một mô hình như thế sẽ rất phức tạp. Do đó, cần phải 
kết hợp GA với các phương pháp tối ưu cục bộ khác. 
Nhận xét 2: Các phương pháp học trong ANN thực hiện việc “tìm 
kiếm cục bộ” trong không gian trọng số (dựa trên thông tin về đạo 
hàm của lỗi) nên có hai nhược điểm. Thứ nhất bộ trọng số thu được 
23 
thường không là tối ưu toàn cục. Thứ hai quá trình học có thể không 
hội tụ hoặc hội tụ rất chậm. Do đó, cần phải kết hợp các phương 
pháp học “mang tính cục bộ” của ANN với các thuật giải “mang 
tính toàn cục” như thuật giải di truyền. 
Từ nhận xét 1 và 2, ta thấy rằng có thể kết hợp GA và ANN nhằm 
nâng cao hiệu quả của ANN. GA sẽ khoanh vùng chứa cực tiểu toàn 
cục của hàm lỗi, sau đó ANN xuất phát từ bộ trọng số này để tiến 
đến cực tiểu toàn cục. 
Trong phần này sẽ trình bày về giải thuật di truyền (GA) kết hợp với 
thuật toán “vượt khe” để chế ngự quỹ đạo và rút ngắn thời gian của 
quá trình tìm kiếm tối ưu với mặt sai số phức tạp dạng lòng khe. 
3.2.2. Thuật toán 
Có nhiều cách để kết hợp giải thuật di truyền vào mạng nơron nhưng 
cách đơn giản và khá hiệu quả là ta thực hiện lai ghép hai giải thuật 
nối tiếp nhau. 
Với một cấu trúc mạng cho trước, ta xuất phát bằng giải thuật di 
truyền, đi tìm tập các trọng số tốt nhất đối với mạng. Một quần thể N 
chuỗi được khởi tạo ngẫu nhiên. Mỗi chuỗi là một bản mã hoá của 
một tập trọng số của mạng. Sau G thế hệ tiến hoá, 5% các cá thể tốt 
nhất trong G thế hệ sẽ được lưu giữ lại. Các cá thể này sau đó sẽ 
được giải mã và được đưa vào mạng nơron xây nên các mô hình để 
học. Sau quá trình học, tập trọng số nào cho kết quả dự báo tốt nhất 
sẽ được giữ lại làm thông số của mạng nơron cho việc dự báo đó. 
Thuật toán kết hợp giải thuật vượt khe và giải thuật di truyền cho 
mạng MLP được đề xuất trong hình 3.1. 
Nó bao gồm hai giai đoạn luyện mạng. Giai đoạn đầu tiên sử dụng 
thuật toán di truyền với bước truyền thẳng nhằm đẩy nhanh toàn bộ 
quá trình luyện mạng. Thuật toán di truyền thực hiện tìm kiếm toàn 
cục và tìm kiếm tối ưu gần điểm ban đầu (trọng lượng vec-tơ) cho 
24 
giai đoạn thứ hai. Trong đó, mỗi nhiễm sắc thể được sử dụng để mã 
hóa các trọng số của mạng nơron. Hàm thích nghi (hàm mục tiêu) 
cho các thuật toán di truyền được xác định là tổng bình phương lỗi 
(TSSE) của mạng nơron tương ứng. Do đó, bài toán sẽ trở thành tối 
ưu hóa không giới hạn nhằm tìm một tập hợp các biến quyết định 
giảm thiểu hàm mục tiêu. Trong giai đoạn thứ 2 sẽ sử dụng kỹ thuật 
lan truyền ngược với các bước học được thay đổi theo thuật toán 
vượt khe đã được đề xuất ở hình 2.4. 
Hình 3.1: Sơ đồ thuật toán kết hợp giải thuật vượt khe và di truyền 
cho luyện mạng MP 
3.3. Áp dụng mô hình kết hợp giải thuật di truyền và thuật 
toán vƣợt khe trong quá trình luyện mạng nơron vào bài 
toán nhận dạng 
25 
Trở lại ví dụ về nhận dạng chữ viết tay 0,1,2,… 9. 
Cài đặt thuật toán được thực hiện trên Matlab. 
Các kết quả thực nghiệm khi luyện mạng MLP kết hợp giải 
thuật vƣợt khe và di truyền. 
Mạng MLP được luyện với bộ các ký tự mẫu chữ với kích thước 7 x 
5. Các giá trị ban đầu như số đầu vào (35), số lượng lớp ẩn (1), số 
nơron lớp ẩn (5), các kỹ thuật luyện mạng khác nhau, mã hóa đầu 
vào và đầu ra nhằm khởi tạo các trọng số đã được đề cập ở trên. 
Các tham số luyện mạng: 
Kích thước quần thể = 20 Xác suất lai tạo = 0.46 
Mã hóa bằng số thực 
Độ dài nhiễm sắc thể = 225 Độ chính xác mong muốn = 90% 
Số thế hệ: 20 Lỗi hệ thống mong muốn=0.06 
Kết quả luyện mạng như sau: 
Số thế hệ 1 5 10 15 20 
Tổng thích nghi 9.5563 8.1638 6.1383 5.724 5.697 
Số chu kỳ 
luyện 
5 10 15 20 33 
Tỷ lệ lỗi 93.33% 60.33% 40.67% 37.33% 0% 
TSSE 0.4956 0.3274 0.1387 0.0864 0.0589
 Như vậy, sau 20 thế hệ đã đạt đến 
yêu cầu của bài toán. Giá trị thích 
nghi trung bình đạt được là 5.679. 
Kết quả của giai đoạn 1 được sử 
dụng để khởi tạo trọng số cho giai 
đoạn 2. Với sự thay đổi bước học 
theo giải thuật vượt khe, sau 33 
Hình 3.2: Hoạt động của mạng MLP cải tiến 
26 
chu kỳ luyện mạng lỗi hệ thống đã đạt đến mục đích 0.0589 và độ 
chính xác của quá trình nhận dạng là 100%. Hoạt động của mạng 
MLP có kết hợp giải thuật vượt khe và di truyền cho nhận dạng chữ 
được thể hiện trên hình 3.2 
3.4. Kết luận chƣơng 3 
Trong chương này, tác giả đề xuất việc sử dụng giải thuật di truyền 
kết hợp với thuật toán “vượt khe” để cải tiến quá trình luyện mạng 
nơron có mặt lỗi đặc biệt và minh họa thông qua ứng dụng nhận 
dạng chữ. Có thể đánh giá được rằng phương pháp này đã tăng khả 
năng và tốc độ hội tụ của mạng nơron có mặt lỗi dạng “lòng khe”. 
KẾT LUẬN CHUNG VÀ ĐỀ XUẤT HƢỚNG NGHIÊN CỨU 
* So sánh luyện mạng nơron có mặt lỗi đặc biệt với các phƣơng 
pháp khác nhau 
Qua việc nghiên cứu và thực nghiệm trên máy tính cho ta thấy: với 
những cấu trúc mạng nơ ron mà mặt lỗi có dạng lòng khe, vẫn sử 
dụng kỹ thuật lan truyền ngược nhưng việc áp dụng giải thuật di 
truyền kết hợp với thuật toán “vượt khe” để luyện mạng sẽ cho ta độ 
chính xác và tốc độ hội tụ nhanh hơn nhiều so với phương pháp 
gradient. 
Kết quả nghiên cứu này được giải thích như sau: 
- Kết quả luyện mạng nơron phụ thuộc rất lớn vào giá trị ban đầu của 
vec-tơ trọng số. Việc sử dụng giải thuật di truyền thực hiện quá trình 
tìm kiếm toàn cục cho phép có được vec-tơ trọng số ban đầu tốt cho 
giai đoạn sau của quá trình luyện mạng. 
- Khi mặt lỗi đặc biệt có dạng lòng khe, nếu luyện mạng bằng thuật 
toán gradien liên hợp hay thuật toán Levenberg – Marquardt sẽ chậm 
hội tụ và gặp phải vấn đề cực trị địa phương. Thuật toán “vượt khe” 
nhằm tìm kiếm các bước học tối ưu trong giai đoạn 2 của quá trình 
27 
luyện mạng nên đã khắc phục các nhược điểm này và do đó làm tăng 
tốc độ hội tụ cũng như độ chính xác của quá trình luyện mạng. 
Việc sử dụng giải thuật di truyền kết hợp với thuật toán “vượt khe” 
có thể ứng dụng để luyện một số cấu trúc mạng nơ ron mà có mặt lỗi 
đặc biệt khác. Vì vậy, kết quả nghiên cứu này có thể ứng dụng cho 
nhiều bài toán khác trong lĩnh vực viễn thông, điều khiển, và công 
nghệ thông tin. 
* Những đóng góp chính của luận án 
- Đề xuất một dạng thuật toán vượt khe để giải bài toán tối ưu với 
hàm mục tiêu có dạng đặc biệt, dạng lòng khe. 
- Phân tích, đánh giá độ hội tụ của quá trình luyện mạng nơron phụ 
thuộc vào bộ trọng số khởi tạo ban đầu và bước học. 
- Đề xuất mô hình kết hợp giải thuật di truyền và thuật toán vượt khe 
trong quá trình luyện mạng nơron có mặt lỗi đặc biệt. Trong đó giải 
thuật di truyền có vai trò thực hiện quá trình tìm kiếm toàn cục để có 
được vec-tơ trọng số ban đầu tốt cho giai đoạn sau của quá trình 
luyện mạng. Còn thuật toán vượt khe là để tìm bước học tối ưu, làm 
tăng tốc độ hội tụ cũng như độ chính xác của quá trình luyện mạng. 
- Để kiểm chứng kết quả nghiên cứu, một ví dụ về nhận dạng chữ 
viết tay đã được đưa ra để luyện mạng với những phương pháp khác 
nhau. 
* Đề xuất hƣớng nghiên cứu 
- Bổ sung vào Toolbox Matlab một lựa chọn tính bước học mới: 
bước học vượt khe. 
- Ứng dụng thuật toán này cho một số bài toán trong lĩnh vực điều 
khiển, tự động hóa và kỹ thuật điện tử. 
- Phát triển mô hình kết hợp cho các bài toán tối ưu có hàm mục tiêu 
phức tạp khác. 
28 
CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ 
1. “Reseach and Development of an adaptive control system for extremal 
systems”; Cong Nguyen Huu, Dung Nguyen Tien, Nga Nguyen Thi Thanh, The 
2009 international forum on strategic technologies (IFOST 2009), October 21-23, 
2009, Ho Chi Minh city, Vietnam; page 235-238. 
2. “Nghiên cứu ứng dụng mạng hồi quy thời gian liên tục trong nhận dạng và 
điều khiển hệ thống xử lý nước thải”; Nguyễn Hữu Công, Nguyễn Thị Thanh 
Nga, Phạm Văn Hưng; Tạp chí khoa học công nghệ Đại học Thái Nguyên số 12 
tập 74 năm 2010; trang 4-8. 
3. Research on the application of genetic algorithm combined with the “cleft-
overstep” algorithm for improving learning process of MLP neural network with 
special error surface.; Cong Nguyen Huu, Nga Nguyen Thi Thanh, Huy Nguyen 
Phương; The 7th International Conference on Natural Computation (ICNC'11) and 
the 8th International Conference on Fuzzy Systems and Knowledge Discovery 
(FSKD'11), 26-28 July, Shanghai, China, 2011; page 222-227. 
4. Đề tài nghiên cứu khoa học cấp bộ “Nghiên cứu thuật toán tìm nghiệm tối ưu 
toàn cục trong quá trình luyện mạng nơron - ứng dụng để nhận dạng, điều 
khiển đối tượng động học phi tuyến”. Chủ nhiệm đề tài: Nguyễn Thị Thanh Nga, 
Nghiệm thu chính thức năm 2011. 
5. “Research to improve a learning algorithm of neural networks”; Cong Nguyen 
Huu, Nga Nguyen Thi Thanh,Ngoc Van Dong; Tạp chí Khoa học Công nghệ - Đại 
học Thái Nguyên, tháng 5 năm 2012; page 53-58. 
6. “The Influence of Initial Weights During Neural Network Training”; Cong 
Nguyen Huu, Nga Nguyen Thi Thanh, Huy Vu Ngoc, Anh Bui Tuan; Tạp chí 
Khoa học Công nghệ các Trường Đại học Kỹ thuật, No.95 (2013); page 18-25. 
Trong tổng số 06 công trình tác giả đã công bố, tiêu biểu có: bài 
báo số 03 được nằm trong danh sách ISI, và đề tài NCKH cấp bộ số 
04 mà tác giả làm chủ nhiệm đề tài.