Bài giảng Hệ chuyên gia - Phan Huy Khánh - Chương 1: Mở đầu về hệ chuyên gia

arts
Knowledge Base
 (rules)
Inference Engine
Working Memory
 (facts)
U
s
e
r
I
n
t
e
r
f
a
c
e
Knowledge 
Acquisition 
Facility
Explanation 
Facility
Agenda
35/57
User
User
interface
Instructions &
information
Solutions &
explanations Knowledge
Inference
engine
Problem
Domain
Expert and knowledge 
engineer
Expert
system An Expert 
System Model
Know-
ledge
base
Development
engine
36/57
Một số
mô hình khác
Inference 
Engine 
I
i
World 
Model
l
l
Knowledge 
Base
l
User
Knowledge 
Base editor
l
i
Preceptors
Explanation 
Subsystem
l i
37/57
Mô hình J. L. Ermine
Giao 
diện
Hệ
thống
 thu nhận
 tri thức
Cơ sở
tri thức 
Bộ
nhớ
 làm việc
Người sử
dụng 
yêu cầu
Dữ
liệu vấn đề
 cần giải quyết
Tri thức mới
38/57
Mô hình C. Ernest
Cơ sở
 tri thức
Máy
 suy diễn
Tri thức
Cấu trúc
 máy suy diễn
Chuyên 
gia
Dữ
liệu
Người 
sử
 dụng •Lời giải
•Giải thích
•Theo dõi
i i t í
 i
39/57
Mô hình E. V. Popov
Giao diện
 người
 sử
dụng
i i
 i
Chuyên 
gia
i
Người
 sử
dụng
i
Khả năng
 giải thích
 i i t í
Diễn dịchi ị
Sở
hữu
 tri thức
 t i t
Cơ sở
 tri thức
 t i t
Bộ
nhớ
 làm việc
 l i
40/57
Tri thức và Cơ sở
tri thức
a Tri thức trong HCG :
V Phản ánh sự tinh thông được tích tụ từ sách vở, tạp chí,
từ các chuyên gia hay các nhà bác học
a Cơ sở tri thức gồm :
V Các phần tử (hay đơn vị) tri thức được tổ chức như một CSDL
V Tuỳ theo phương pháp phát triển HCG mà các phần tử có đặc 
trưng, tính chất khác nhau
V Chẳng hạn trong các HCG dựa theo luật (Rules-Based ES) :
™ Mỗi phần tử tri thức là một luật
™ Cơ sở tri thức như vậy còn được gọi là bộ nhớ sản xuất 
(Production Memeory)
41/57
Phân loại tri thức
a Người ta thường phân loại tri thức theo nhiều cách
a Theo phân loại chức năng, có hai loại tri thức :
V Tri thức phán đoán (Assertion Knowledge) :
mô tả các tình huống đã được thiết lập hoặc sẽ được thiết lập
V Tri thức thực hành (Operating Knowledge)
thể hiện những hậu quả rút ra hay những thao tác cần phải hoàn 
thiện khi một tình huống đã được thiết lập hoặc sẽ được thiết lập 
trong lĩnh vực đang xét
a Tri thức thực hành :
V Thường được thể hiện bởi các biểu thức Toán học+Lôgic
dễ hiểu, dễ triển khai 
V NSD có thể thao tác với tri thức như khai thác một CSDL
42/57
Phân loại tri thức theo biểu hiện
aTheo phân loại theo biểu hiện, cũng có hai loại :
aTri thức hiện, rõ (explicit knowledge)
V Diễn đạt bằng ngôn ngữ hình thức, dễ trao đổi giữa các cá nhân
V Có thể biểu diễn bằng các công thức khoa học, các thủ tục tường 
minh, hoặc nhiều cách khác
V Bao gồm thông tin, dữ liệu, sách báo, văn bản, tài liệu đã được hệ
thống bằng nhiều phương tiện
aTri thức ngầm, ẩn (tacit knowledge) 
V Có được và ẩn chứa trong kinh nghiệm của từng cá nhân, mang tính 
chủ quan, bao gồm những hiểu biết riêng thấu đáo, trực giác, linh 
cảm, kỹ năng, …
V Khó trao đổi hoặc chia sẻ với người khác
V Chỉ có thể học được từ người khác nhờ quan hệ gần gũi trong một 
khoảng thời gian nào đó
43/57
Knowledge-base may really include many things
Knowledge
Base
Heuristicsri ti
Factst
Hypothesis t i 
Rulesl
Processesr
Eventst
Definitionsfi iti
Relationshipsl ti i
Attributesttri t
Objectsj t
44/57
Khái niệm về
Quản trị
tri thức
a Người ta thường nói : 
V Tri thức là sức mạnh
V Tri thức là của cải 
a Các tổ chức của LHQ rút ra kết luận rằng :
V Kinh tế thế giới phát triển mạnh mẽ do biết dựa vào tri thức
a Làm thế nào để sáng tạo và sử dụng đúng đắn các tri thức
a Quản trị tri thức (Knowledge Management) 
45/57
ES Elements: Máy duy diễn
a Máy duy diễn (inference engine) :
V Công cụ (chương trình, hay bộ xử lý) tạo ra sự suy luận bằng 
cách quyết định xem những luật nào sẽ làm thỏa mãn các sự
kiện, các đối tượng
V Chọn ưu tiên các luật thỏa mãn
V Thực hiện các luật có tính ưu tiên cao nhất
46/57
ES Elements : Giao diện người sử
dụng
a Giao diện người sử dụng (user interface) :
V Là nơi người sử dụng và hệ chuyên gia trao đổi với nhau
47/57
ES Elements : Các thành phần khác
a Lịch công việc (agenda) :
V Danh sách các luật ưu tiên do máy suy diễn tạo ra thoả mãn 
các sự kiện, các đối tượng có mặt trong bộ nhớ làm việc.
a Bộ nhớ làm việc (working memory) :
V Cơ sở dữ liệu toàn cục chứa các sự kiện phục vụ cho các luật
a Khả năng giải thích (explanation facility) :
V Giải nghĩa cách lập luận của hệ thống cho người sử dụng
a Khả năng thu nhận tri thức (explanation facility) :
V Cho phép NSD bổ sung tri thức vào hệ thống
V Khả năng thu nhận tri thức là yếu tố mặc nhiên của nhiều hệ
chuyên gia
48/57
Phát hiện tri thức và
khai phá
dữ
liệu
a Phát hiện tri thức (PHTT) và khai phá dữ liệu (KPDL)
a Bối cảnh :
V Sự phát triển nhanh chóng của lĩnh vực CNTT và ứng dụng CNTT trong đời 
sống, kinh tế, xã hội, quốc phòng… hiện nay
V Khối lượng dữ liệu thu thập, xử lý, khai thác và lưu trữ ngày càng tích luỹ
nhiều lên
V Tuy nhiên, chỉ có khoảng từ 5% đến 10% lượng dữ liệu có ý nghĩa sử dụng 
theo thống kê
V Rất nhiều dữ liệu chưa được sử dụng hiệu quả nhưng vẫn phải tiếp tục thu 
thập rất tốn kém (nỗi lo sợ bỏ sót dữ liệu quan trọng có thể cần đến sau này)
V Trong môi trường cạnh tranh, nhu cầu có nhiều thông tin với tốc độ nhanh 
để trợ giúp ra quyết định và ngày càng có nhiều câu hỏi mang tính chất định 
tính cần phải trả lời dựa trên một khối lượng dữ liệu khổng lồ đã có
V Các phương pháp quản trị và khai thác cơ sở dữ liệu truyền thống ngày càng 
không đáp ứng được thực tế
a Sự ra đời kỹ thuật “Phát hiện tri thức và khai phá dữ liệu”
49/57
Tình hình nghiên cứu PHTT và
KPDL
a Thuật ngữ :
V Phát hiện tri thức (Knowledge Discovery)
V Khai phá dữ liệu (Data Mining)
a Đã và đang được nghiên cứu, ứng dụng trong nhiều lĩnh 
vực khác nhau ở các nước trên thế giới
a Tại Việt Nam :
VKỹ thuật này vẫn còn tương đối mới mẻ 
VĐang được nghiên cứu 
VĐang dần đưa vào ứng dụng thực tiễn
50/57
Khái niệm “Khai phá
dữ
liệu”
a Khai phá dữ liệu (Data Mining) :
quá trình trích xuất các thông tin có giá trị tiềm ẩn bên 
trong lượng lớn dữ liệu được lưu trữ trong các CSDL,
kho dữ liệu…
a Hiện nay, ngoài thuật ngữ khai phá dữ liệu, người ta còn 
dùng một số thuật ngữ khác có ý nghĩa tương tự như :
V Khai phá tri thức từ CSDL
(Knowlegde Mining From Databases)
V Trích lọc dữ liệu (Knowlegde Extraction)
V Phân tích dữ liệu/mẫu (Data/Pattern Analysis)
V Khảo cổ dữ liệu (Data Archaeology)
V Nạo vét dữ liệu (Data Dredging)
51/57
Qui trình 5 bước PHTT và
KPDL
1.
Tìm hiểu lĩnh vực ứng dụng và
hình thành bài toán
Đây là bước quyết định cho phép chọn các phương pháp khai phá
dữ
liệu thích 
hợp với mục đích ứng dụng và
bản chất của dữ
liệu
2.
Thu thập và
xử
lý thô (hay tiền xử
lý dữ
liệu)
Bước này thường chiếm dụng nhiều thời gian trong toàn bộ
qui trình 
3.
Khai phá
dữ
liệu, hay nói cách khác là
trích ra các mẫu và/hoặc các mô 
hình ẩn dưới các dữ
liệu
Đây là giai đoạn thiết yếu, trong đó
các phương pháp thông minh sẽ được áp 
dụng để
trích xuất ra các mẫu dữ
liệu
hay tri thức hữu ích
4.
Đánh giá
mẫu (pattern evaluation)
:
Hiểu tri thức đã tìm được, đặc biệt là
làm sáng tỏ
các mô tả
và
dự đoán, đánh 
giá
sự
hữu ích của các mẫu biểu diễn tri thức dựa vào một số
phép đo
5.
Trình diễn dữ
liệu (knowlegde presentation): 
sử
dụng các kĩ
thuật trình diễn và
trực quan hoá
dữ
liệu để
biểu diễn tri thức 
khai phá được cho người sử
dụng
52/57
Xử
lý thô dữ
liệu
a Làm sạch dữ liệu (data cleaning) :
loại bỏ
nhiễu hoặc các dữ
liệu không thích hợp
a Tích hợp dữ liệu (data integration) :
tích hợp dữ
liệu từ
các nguồn khác nhau như
:
CSDL, Kho dữ
liệu, các loại văn bản khác nhau...
a Chọn dữ liệu (data selection) :
ở bước này, những dữ
liệu liên quan trực tiếp đến nhiệm vụ
sẽ 
được thu thập từ
các nguồn dữ
liệu ban đầu
a Chuyển đổi dữ liệu (data transformation) :
trong bước này, dữ
liệu sẽ được chuyển đổi về
dạng phù
hợp 
cho việc khai phá
bằng cách thực hiện các thao tác nhóm hoặc 
tập hợp
53/57
Qui trình PHTT và
KPDL
a Các bước trong quy trình có thể lặp đi lặp lại một số lần
a Kết quả thu được có thể được lấy trung bình từ số lần thực hiện
54/57
Các phương pháp PHTT và
KPDL
a Nhằm hai mục đích chính :
V Dự đoán (Prediction)
V Mô tả (Description)
a Thường sử dụng các phương pháp sau :
V Phân loại (Classification)
V Hồi qui (Regression)
V Phân nhóm (Clustering)
V Tổng hợp (Summarization)
V Mô hình ràng buộc (Dependency modeling)
V Dò tìm biến đổi và độ lệch (Change and Deviation Dectection)
V Biểu diễn mô hình (Model Representation)
V Kiểm định mô hình (Model Evaluation)
V Phương pháp tìm kiếm (Search Method)
55/57
Các lĩnh vực liên quan đến PHTT và
KPDL
a PHTT và KPD liên quan đến nhiều ngành, nhiều lĩnh vực :
V Thống kê
V Trí tuệ nhân tạo
V Cơ sở dữ liệu
V Thuật toán học
V Tính toán song song và tốc độ cao
V Thu thập tri thức cho các hệ chuyên gia
V Quan sát dữ liệu... 
a PHTT và KPD rất gần gũi với các lĩnh vực :
V Thống kê, sử dụng các phương pháp thống kê để mô hình dữ liệu 
và phát hiện các mẫu, luật...
V Ngân hàng dữ liệu (Data Warehousing) và các công cụ phân tích 
trực tuyến (OLAP)
56/57
Ứng dụng PHTT và
KPDL
a Thông tin thương mại :
V Phân tích dữ liệu marketing, khách hàng
V Phân tích đầu tư
V Phê duyệt cho vay vốn
V Phát hiện gian lận…
a Thông tin kỹ thuật :
V Điều khiển và lập lịch trình
V Quản trị mạng
V Phân tích các kết quả thí nghiệm…
a Thông tin khoa học
a Thông tin cá nhân...
57/57
Các thách thức của PHTT và
KPDL
a Các CSDL thường rất lớn, thường xuyên biến đổi
và phát triển không ngừng
a Đặc điểm :
V Các CSDL thường có số chiều lớn 
V Thay đổi dữ liệu và tri thức có thể làm cho các mẫu đã phát 
hiện không còn phù hợp
V Dữ liệu bị thiếu hoặc nhiễu
V Quan hệ giữa các trường dữ liệu phức tạp
a Vấn đề giao tiếp với người sử dụng
và kết hợp với các tri thức đã có
a Khả năng tích hợp với các hệ thống khác...