Bài giảng Giao diện người máy - Vũ Đức Huy

 đề 
 Việc lựa chọn chủ đề là quyết định tới thành công của đánh giá 
 Chủ đề chọn phải sánh được với kỳ vọng của lớp ND. Lý tưởng là 
kiểm tra với sự hiện diện của ND. Tuy nhiên không phải luôn có 
thể. Nếu ND không phải là ND thực sự thì phải chọn lớp tương tự: 
độ tuổi, tri thức, . . . 
 Mẫu chọn phải đủ lớn và đặc trưng (ít nhất là 10). 
436 
11.2. Các kiểu đánh giá 
 Đánh giá trong giai đoạn cài đặt 
 Đánh giá thực nghiệm – Biến 
 Thực nghiệm quản lý và đo các đại lượng dưới điều kiện được 
kiểm soát nhằm kiểm tra giả thiết. 
 Hai loại biến: loại quản lý và loại đo. Loại thứ nhất gọi là biến độc 
lập, loại thứ hai là phụ thuộc 
 Biến độc lập: là các đặc trưng của thực nghiệm, nhằm tạo ra các 
đ/k so sánh như: kiểu giao tiếp, mức độ trợ giúp, số mức menu, . . . 
 Với các test phức tạp => cần nhiều biến độc lập. 
 Thí dụ: đưa ra 2 sơ đồ kiểm tra để đánh giá việc chọn 1 đoạn VB 
trong mét hệ STVB: định vị, chọn, mở rộng => trên cơ sở đó đánh 
giá. 
 Biến phụ thuộc: Là các biến có thể đo đếm được theo nhiều 
cách. Thí dụ tốc độ lựa chọn menu 
437 
11.2. Các kiểu đánh giá 
 Đánh giá trong giai đoạn cài đặt 
 Đánh giá thực nghiệm – Giả thiết 
 Giả thiết là một số dự đoán kết quả của thực nghiệm được hình 
thành từ biÕn độc lập và biến phụ thuộc: thí dụ như thay đổi giá trị 
biến độc lập sẽ tạo nên sự thay đổi trong biến độc lập 
 Mục đích của thực nghiệm là chỉ ra rằng các dự đoán là chính 
xác. Người ta thường dùng các số đo thống kê để so sánh với 
các các mức độ có nghĩa khác nhau 
438 
11.2. Các kiểu đánh giá 
 Đánh giá trong giai đoạn cài đặt 
 Đánh giá thực nghiệm – Phương pháp giữa các nhóm 
 Mỗi một chủ đề được gán cho một điều kiện khác nhau. Phải có ít 
nhất 2 điều kiện: điều kiện thực nghiệm (các biến được điều khiển) 
và điều kiện kiểm tra. Việc kiểm tra này dùng để khẳng định rằng 
điều khiển sẽ chịu trách nhiệm về những cái khác nhau sẽ được đo 
đếm. 
 Số lượng nhóm (>=2) phụ thuộc số lượng biến độc lập 
 Ưu điểm: tác động của việc học thu được từ kết quả thực hiện của 
ND trong 1 đ/k. Mỗi ND thực hiện trong 1 đ/k 
 Nhược điểm: đòi hỏi nhiều chủ đề => sự khác nhau giữa các nhóm 
có thể phủ nhận bất cứ kết quả nào. 
439 
11.2. Các kiểu đánh giá 
 Đánh giá trong giai đoạn cài đặt 
 Đánh giá thực nghiệm – Thiết kế thực nghiệm 
 Để tạo ra kết quả tin cậy được và có tính khái quát, một thực 
nghiệm phải được thiết kế cẩn thận 
 Qui trình: 
 1. Xem xét các yếu tố mà thực nghiệm phải xem xét như chủ đề, 
biến và giả thiết 
 2. Lựa chọn phương pháp: giữa các nhóm và trong nội bộ nhóm 
440 
11.2. Các kiểu đánh giá 
 Đánh giá trong giai đoạn cài đặt 
 Đánh giá thực nghiệm – Phương pháp trong nhóm 
 Mỗi ND sẽ thực hiện trong điều kiện khác nhau. Thiết kế này có 
thể phải chịu đựng từ việc truyền tác động học. Tuy nhiên có thể 
hạn chế được nếu thứ tự trong đó điều kiện được ND xem xét bị 
thay đổi. 
 Ưu điểm: chi phí thấp do cần ít ND và sẽ hiệu quả nếu có đào tạo. 
 Việc lựa chọn phương pháp phụ thuộc vào tài nguyên, chủ đề tiêu 
biểu,. . . 
 Các test khác nhau sẽ tạo nên các khẳng định khác nhau về dữ liệu 
và nếu như test lựa chọn không đúng, thì kết quả có thể không hợp 
lý. 
441 
11.2. Các kiểu đánh giá 
 Đánh giá trong giai đoạn cài đặt 
 Kỹ thuật quan sát 
 Kỹ thuật không hình thức, có thể quan sát hay dùng video 
 Quan sát trực tiếp: quan sát ND ở trạng thái đang làm việc => hiệu 
quả, thời gian. Nhược điểm: ND có thể mất tập trung 
 Quan sát gián tiếp: Quay video => phân tích kết quả thu nhận được. 
 Hay sử dụng kỹ thuật “think aloud” và đánh giá tập thể 
(cooperative evaluation) 
442 
11.2. Các kiểu đánh giá 
 Đánh giá trong giai đoạn cài đặt 
 Kỹ thuật quan sát – Think aloud 
 Kỹ thuật nhằm mô tả cái ND tin sẽ xảy ra, tại sao lại hành động 
như vậy và họ sẽ cố làm cái gì? 
 Ưu điểm của kỹ thuật này là đơn giản, đòi hỏi ít tri thức để thực 
hiện và cho sự hiểu thấu đáo về các vấn đề với mét giao tiếp => hệ 
thống đang được sử dụng thế nào. 
 Thông tin thường là chủ quan và có chọn lọc 
 Mỗi hành động miêu tả cái mà bạn sẽ làm thường thay đổi theo 
cách bạn làm 
443 
11.2. Các kiểu đánh giá 
 Đánh giá trong giai đoạn cài đặt 
 Kỹ thuật quan sát – Đánh giá tập thể 
 Là một biến thể của think aloud, trong đó ND cố gắng xem mình 
như một thành viên trong quá trình đánh giá chứ không đơn thuần 
là chủ thể bị thực nghiệm. 
 Khi bắt đầu tiến hành, người đánh giá có thể hỏi ND các câu hỏi 
như: tại sao, cái gì nếu... 
 Ưu điểm: 
 Qui trình là ít bị ràng buộc và dễ học bởi người đánh giá 
 ND cố gắng phê phán HT 
 Người đánh giá có thể chỉ rõ điểm nhầm lẫn ở thời điểm xẩy ra và cực 
đại háo hiệu quả. 
444 
11.2. Các kiểu đánh giá 
 Đánh giá trong giai đoạn cài đặt 
 Kỹ thuật quan sát – Cách thức tiến hành 
 Bút và giấy 
 Ghi âm 
 Ghi hình 
 Nhật ký máy tính 
 Sổ tay ND 
Thường sử dụng phối hợp các phương pháp. Sử dụng các công cụ 
ghi tự động: Experimental Video Annotator, WorkPlace project,... 
445 
11.2. Các kiểu đánh giá 
 Đánh giá trong giai đoạn cài đặt 
 Kỹ thuật hỏi đáp 
 Kỹ thuật phỏng vấn: có cấu trúc, mềm dẻo 
 => cần xác định một số thông số như số câu hỏi, các gợi ý. 
 Hỏi và giám sát : dùng câu hỏi dạng đóng hay dạng mở. 
Câu hỏi đóng có thể dùng như dạng Multichoice; câu hỏi 
mở phải có gợi ý. 
 Các dạng trả lời có thể dùng bảng, mẫu điền. 
446 
11.2. Các kiểu đánh giá 
 Lựa chọn phương pháp đánh giá 
 Tiêu chí 
 Phụ thuộc sự tham gia của ND trong ngữ cảnh thực hiện nhiệm 
vụ hay đánh giá. Mỗi phương pháp có những ưu điểm và nhược 
điểm riêng. 
 Có nhiều yếu tố cần phải xem xét khi lựa chọn các kỹ thuật 
đánh giá 
447 
11.2. Các kiểu đánh giá 
 Lựa chọn phương pháp đánh giá 
 Các yếu tố phân biệt các kỹ thuật đánh giá 
 Giai đoạn trong vòng đời mà đánh giá thực hiện 
 Hình thức đánh giá 
 Mức độ chủ quan hay khách quan của kỹ thuật 
 Kiểu số đo cung cấp 
 Thông tin cung cấp 
 Mức độ đan xen 
 Tài nguyên yêu cầu 
448 
11.2. Các kiểu đánh giá 
 Lựa chọn phương pháp đánh giá 
 Đánh giá ngược với cài đặt 
 Trong giai đoạn cài đặt các yếu tố vật lý đã tồn tại thí dụ như các 
bản mock-up cho việc cài đặt đầy đủ và có cái gì đó cụ thể có thể 
kiểm tra được 
 Đánh giá trong giai đoạn thiết kế có khuynh hướng chỉ liên quan 
đến các chuyên gia và mang tính phân tích, trong khi đó đánh giá 
cài đặt xem xét ND như là chủ thể và là thực ghiệm 
449 
11.2. Các kiểu đánh giá 
 Lựa chọn phương pháp đánh giá 
 Phòng TN ngược với thực nghiệm 
 Đánh giá trong PTN cho phép kiểm tra thực nghiệm và quan sát 
không có mặt ND, không tự nhiên 
 Đánh giá Thực nghiệm khắc phục điểm yếu trên. 
 Lý tưởng là tiến hành cả 2 kiểu trong giai đoạn TK 
 Khách quan ngược với chủ quan 
 Nhiều kỹ thuật mang tính chủ quan như Walkthrough hay Think 
aloud dựa vào tri thức và kinh nghiệm của các nhà đánh giá - 
người phải nhận thức được và phải hiểu cái ND sẽ làm. 
450 
11.2. Các kiểu đánh giá 
 Lựa chọn phương pháp đánh giá 
 Định lượng ngược với định tính 
 Kiểu số đo cung cấp bởi các kỹ thuật đánh giá là một yếu tố quan 
trọng 
 Hai loại số đo: định tính và định lượng. Số đo định lượng thường là 
số và dễ phân tích khi dùng các kỹ thuật như thống kê; số đo định 
tính là phi số và khó phân tích nhưng có thể cung cấp các chi tiết 
quan trọng mà không thể xác định bằng số. 
 Định lượng hay định tính có liên quan đến tính chủ quan hoặc 
khách quan của kỹ thuật 
 Kỹ thuật chủ quan có khuynh hướng cung cấp số đo định tính; kỹ 
thuật khách quan cung cấp các số đo định lượng.Thông tin cung 
cấp. 
 Có thể ánh xạ giữa 2 kiểu số đo, thí dụ như đánh giá kiểu hỏi đáp là 
định tính, song định lượng theo tỉ lệ. 
451 
11.2. Các kiểu đánh giá 
 Lựa chọn phương pháp đánh giá 
 Thông tin cung cấp 
 Mức độ thông tin yêu cầu cho đánh giá là khá đa dạng 
 Đáp ứng tức thời 
 Một số kỹ thuật như Think aloud ghi lại hành vi của ND tại thời 
điểm tương tác. Một số kỹ thuật khác như Walkthrough lại liên 
quan đến tập sự kiện của ND. 
452 
11.2. Các kiểu đánh giá 
 Lựa chọn phương pháp đánh giá 
 Tính xâm phạm 
 Một số kỹ thuật đặc biệt là các kỹ thuật cung cấp số đo trực tiếp 
có ảnh hưởng đến cách thức ứng xử của ND 
 Tài nguyên 
 Thiết bị, thời gian, tiền bạc, kinh nghiệm chuyên gia, ngữ cảnh 
 Một số quyết định bị bắt buộc do hạn chế về tài nguyên thí dụ 
như phải dùng camera để đánh giá song lại không có. 
453 
11.2. Các kiểu đánh giá 
 Lựa chọn phương pháp đánh giá 
Cao ThÊp TB Cao Hµn l©m 
ThÊp ThÊp ThÊp ThÊp ThiÕt bÞ 
TB TB-thÊp ThÊp TB Thêi gian 
Kh«ng Kh«ng Kh«ng Kh«ng TÝnhGß bã 
Nh TN Nh TN N/A N/A Trùc tiÕp 
M/ ®é thÊp Nh TN M/ ®é cao M/ ®é thÊp Th«ng tin 
§Þnh tÝnh Nh TN §Þnh tÝnh §Þnh tÝnh Sè ®o 
Kh«ng Nh TN Kh«ng Kh«ng Môc ®Ých 
PTN PTN PTN PTN H×nh thøc 
ThiÕt kÕ ThiÕt kÕ Toµn bé Toµn bé Giai ®o¹n 
Model Based Review 
Based 
Heuristic 
Evaluation 
Congitive 
Walkthrough 
454 
11.2. Các kiểu đánh giá 
 Lựa chọn phương pháp đánh giá 
ThÊp ThÊp TB Hµn l©m 
ThÊp ThÊp TB ThiÕt bÞ 
TB-thÊp ThÊp Cao Thêi gian 
Kh«ng Kh«ng Cã TÝnhGß bã 
Kh«ng Kh«ng Cã Trùc tiÕp 
M/ ®é cao M/ ®é cao M. ®é thÊp/cao Th«ng tin 
§Þnh tÝnh/ §Þnh 
lîng 
§Þnh tÝnh/ §Þnh 
lîng 
§Þnh tÝnh Sè ®o 
Kh«ng Kh«ng Cã Môc ®Ých 
PTN/TN PTN/TN PTN H×nh thøc 
Toµn bé Toµn bé Toµn bé Giai ®o¹n 
Hái ®¸p Pháng vÊn Thùc nghiÖm 
455 
11.2. Các kiểu đánh giá 
 Lựa chọn phương pháp đánh giá 
TB Cao TB Hµn l©m 
ThÊp Cao ThÊp ThiÕt bÞ 
TB Cao Cao Thêi gian 
Kh«ng Cã Cã TÝnhGß bã 
Kh«ng Cã Cã Trùc tiÕp 
M/ ®é thÊp 
hoÆc cao 
M/ ®é thÊp hoÆc 
cao 
M/ ®é thÊp hoÆc 
cao 
Th«ng tin 
§Þnh tÝnh §Þnh tÝnh §Þnh tÝnh Sè ®o 
Kh«ng Kh«ng Kh«ng Môc ®Ých 
PTN/TN PTN/TN PTN/TN H×nh thøc 
Cµi ®Æt Cµi ®Æt Cµi ®Æt Giai ®o¹n 
Post-Task 
Walkthrough 
ThÓ thøc ph©n 
tÝch 
Suy nghÜ chñ 
yÕu 
456 
Xin chân thành cảm ơn!