Bài giảng Tương tác người máy - Phần 3: Cài đặt và đánh giá giao tiếp người dùng

 quan sát 	iii) Kỹ thuật hỏi đáp 8.4.1 Đánh giá thực nghiệm 	- Khó thực hiện trong phòng thí nghiệm 	- Là một trong các phương pháp quan trọng để đánh giá TK hay khía cạnh nào đó của TK. 	- Cách thức tiến hành: Đề xuất giả thiết đánh giá thông qua một số biến độc lập/phụ thuộc và nhằm đánh giá một số khía cạnh đặc trưng của TK=> Đ/k đánh giá được thay đổi thông qua giá trị một số biến 	- Ba thông số: chủ đề (subjects), biến (variables) và giả thiết (hypothesis).	 8.4.1 Đánh giá thực nghiệm (tiếp) a) Chủ đề 	- Việc lựa chọn chủ đề là quyết định tới thành công của đánh giá 	- Chủ đề chọn phải sánh được với kỳ vọng của lớp ND. Lý tưởng là kiểm tra với sự hiện diện của ND. Tuy nhiên không phải luôn có thể. Nếu ND không phải là ND thực sự thì phải chọn lớp tương tự: độ tuổi, tri thức, . . . 	- mẫu chọn phải đủ lớn và đặc trưng (ít nhất là 10). 8.4.1 Đánh giá thực nghiệm (tiếp) b) Biến/đại lượng 	- Thực nghiệm quản lý và đo các đại lượng dưới điều kiện được kiểm soát nhằm kiểm tra giả thiết. 	- Hai loại biến: loại quản lý và loại đo. Loại thứ nhất gọi là biến độc lập, loại thứ hai là phụ thuộc 	- Biến độc lập: là các đặc trưng của thực nghiệm, nhằm tạo ra các đ/k so sánh như: kiểu giao tiếp, mức độ trợ giúp, số mức menu, . . . Với các test phức tạp => cần nhiều biến độc lập. 8.4.1 Đánh giá thực nghiệm (tiếp) Thí dụ: đưa ra 2 sơ đồ kiểm tra để đánh giá việc chọn 1 đoạn VB trong 1 hệ STVB: định vị, chọn, mở rộng => trên cơ sở đó đánh giá. - Biến phụ thuộc: là các biến có thể đo đếm được theo nhiều cách. Thí dụ tốc độ lựa chọn menu c) Giả thiết - giả thiết là một số dự đoán kết quả của thực nghiệm được hình thành từ biến độc lập và biến phụ thuộc: thí dụ như thay đổi giá trị biến độc lập sẽ tạo nên sự thay đổi trong biến độc lập. 8.4.1 Đánh giá thực nghiệm (tiếp) - Mục đích của thực nghiệm là chỉ ra rằng các dự đoán là chính xác. Người ta thường dùng các số đo thống kê để so sánh với các các mức độ có nghĩa khác nhau d)Thiết kế thực nghiệm 	- Để tạo ra kết quả tin cậy được và có tính khái quát, một thực nghiệm phải được thiết kế cẩn thận 	- Qui trình: 	1- xem xét các yếu tố mà thực nghiệm phải xem xét như chủ đề, biến và giả thiết 	2- Lựa chọn phương pháp: giữa các nhóm và trong nội bộ nhóm Thiết kế thực nghiệm (tiếp) Phương pháp giữa các nhóm (random): - Mỗi một chủ đề được gán cho một điều kiện khác nhau. Phải có ít nhất 2 điều kiện: điều kiện thực nghiệm (các biến được điều khiển) và điều kiện kiểm tra. Việc kiểm tra này dùng để khẳng định rằng điều khiển sẽ chịu trách nhiệm về những cái khác nhau sẽ được đo đếm. - Số lượng nhóm (>=2) phụ thuộc số lượng biến độc lập - ưu điểm: tác động của việc học thu được từ kết quả thực hiện của ND trong 1 đ/k. Mỗi ND thực hiện trong 1 đ/k - Nhược điểm: đòi hỏi nhiều chủ đề => sự khác nhau giữa các nhóm có thể phủ nhận bất cứ kết quả nào. Thiết kế thực nghiệm(tiếp) Phương pháp trong nhóm (within group): - Mỗi ND sẽ thực hiện trong điều kiện khác nhau. Thiết kế này có thể phải chịu đựng từ việc truyền tác động học. Tuy nhiên có thể hạn chế được nếu thứ tự trong đó điều kiện được ND xem xét bị thay đổi. - ưu điểm: chi phí thấp do cần ít ND và sẽ hiệu quả nếu có đào tạo 	Việc lựa chọn phương pháp phụ thuộc vào tài nguyên, chủ đề tiêu biểu,. . . 	Các test khác nhau sẽ tạo nên các khẳng định khác nhau về dữ liệu và nếu như test lựa chọn không đúng, thì kết quả có thể không hợp lý. Số đo thống kê Hai luật cho phân tích thống kê là Quan sát và Lưu trữ dữ liệu: - Quan sát: dễ dàng thực hiện kiểm tra thống kê qua đồ thị, lưu đồ hoặc bảng giá trị - Lưu trữ: quan trọng cho các phương pháp phân tích về sau - Việc lựa chọn phương pháp phân tích thống kê phụ thuộc vào kiểu dữ liệu và câu hỏi mà chúng ta muốn trả lời. Số đo thống kê (tiếp) - Các biến có thể là loại rời rạc hay liên tục. Biến rời rạc chỉ có thể nhận một tập hữu hạn các giá trị hay mức độ, thí dụ như màu màn hình: đỏ, xanh, trắng,... Biến liên tục có thể nhận vô số giá trị, thí dụ như thời gian hoàn thành nhiệm vụ. Biến liên tục có thể chuyển về rời rạc bằng cách phân lớp (thấp, trung bình, cao,...) 	- Biến phụ thuộc là biến đo được và tuỳ thuộc vào các biến thể của thực nghiệm ngẫu nhiên. Số đo thống kê (tiếp) - Trong trường hợp biến liên tục và dữ liệu tuân theo một phân bố đã biết, một số test thống kê đặc biệt có thể sử dụng. Các test như thế gọi là test có tham số và phân bố hay được dùng là phân bố chuẩn. Điều này có nghĩa là khi ta vẽ biểu đồ của sai số ngẫu nhiên, ta sẽ thu được dạng hình chuông nổi tiếng. Số đo thống kê (tiếp) Lược đồ của phân bố chuẩn Sác xuất mà sai số >1.96 Chi tiết xem [2] từ trang 420 đến 423 8.4.2 Kỹ thuật quan sát 	- Kỹ thuật không hình thức, có thể quan sát hay dùng video 	- Quan sát trực tiếp: quan sát ND ở trạng thái đang làm việc => hiệu quả, thời gian. Nhược điểm: ND có thể mất tập trung - Quan sát gián tiếp: quay video => phân tích kết quả thu nhận được. 	- Hay sử dụng kỹ thuật “think aloud” và đánh giá tập thể (cooperative evaluation) Think aloud 	- Kỹ thuật nhằm mô tả cái ND tin sẽ xảy ra, tại sao lại hành động như vậy và họ sẽ cố làm cái gì 	- ưu điểm của kỹ thuật này là đơn giản, đòi hỏi ít tri thức để thực hiện và cho sự hiểu thấu đáo về các vấn đề với 1 giao tiếp => hệ thống đang được sử dụng thế nào. - Thông tin thường là chủ quan và có chọn lọc 	- Mỗi hành động miêu tả cái mà bạn sẽ làm thường thay đổi theo cách bạn làm Đánh giá tập thể 	- Là một biến thể của think aloud, trong đó ND cố gắng xem mình như một thành viên trong quá trình đánh giá chứ không đơn thuần là chủ thể bị thực nghiệm. 	- Khi bắt đầu tiến hành, người đánh giá có thể hỏi ND các câu hỏi như: tại sao, cái gì nếu... 	- ưu điểm: 	+ Qui trình là ít bị ràng buộc và dễ học bởi người đánh giá 	+ ND cố gắng phê phán HT 	+ Người đánh giá có thể chỉ rõ điểm nhầm lẫn ở thời điểm xẩy ra và cực đại háo hiệu quả. Thể thức phân tích Có nhiều cách ghi lại hành động ND: 	i) Bút và giấy 	ii) Ghi âm 	iii) Ghi hình 	iv) Nhật ký máy tính 	v) Sổ tay ND Thường sử dụng phối hợp các phương pháp. Sử dụng các công cụ ghi tự động: Experimental Video Annotator, WorkPlace project,... 8.4.3 Kỹ thuật hỏi đáp 	- Kỹ thuật phỏng vấn: có cấu trúc, mềm dẻo 	=> cần xác định một số thông số như số câu hỏi, các gợi ý. 	- Hỏi và giám sát : dùng câu hỏi dạng đóng hay dạng mở. Câu hỏi đóng có thể dùng như dạng Multichoice; câu hỏi mở phải có gợi ý. 	- Các dạng trả lời có thể dùng bảng, mẫu điền. 8.4.3 Kỹ thuật hỏi đáp (tiếp) 	- Thí dụ Bạn có thể sử dụng các lệnh của hệ STVN? Yes No Don’t know Duplicate Paste 8.5. Lựa chọn phương pháp đánh giá 	Tiêu chí - Phụ thuộc sự tham gia của ND trong ngữ cảnh thực hiện nhiệm vụ hay đánh giá. Mỗi phương pháp có những ưu điểm và nhược điểm riêng. - Có nhiều yếu tố cần phải xem xét khi lựa chọn các kỹ thuật đánh giá 8.5. Lựa chọn phương pháp đánh giá 8.5. Lựa chọn phương pháp đánh giá các yếu tố phân biệt Các yếu tố phân biệt các kỹ thuật đánh giá 	- Giai đoạn trong vòng đời mà đánh giá thực hiện 	- Hình thức đánh giá 	- Mức độ chủ quan hay khách quan của kỹ thuật 	- Kiểu số đo cung cấp 	- Thông tin cung cấp 	- Mức độ đan xen 8.5. Lựa chọn phương pháp đánh giá Các yếu tố phân biệt các kỹ thuật đánh giá (tiếp) - Tài nguyên yêu cầu i) Đáh giá ngược với cài đặt 	- Trong gia đoạn cài đặt các yếu tố vật lý đã tồn tại thí dụ như các bản mock-up cho việc cài đặt đầy đủ và có cái gì đócụ thể có thể kiểm tra được 	- Đánh giá trong giai đoạn thiết kế có khuynh hướng chỉ liên quan đến các chuyên gia và mang tính phân tích, trong khi đó đánh giá cài đặt xem xét ND như là chủ thể và là thực ghiệm 8.5. Lựa chọn phương pháp đánh giá Các yếu tố phân biệt các kỹ thuật đánh giá (tiếp) ii)Phòng TN ngược với thực nghiệm 	- đánh giá trong PTN cho phép kiểm tra thực nghiệm và quan sát không có mặt ND, không tự nhiên 	- Đánh giá TN khắc phục điểm yếu trên. 	- Lý tưởng là tiến hành cả 2 kiểu trong giai đoạn TK iii)Khách quan ngược với chủ quan 	- Nhiều kỹ thuật mang tính chủ quan như Walkthrough hay think aloud dựa vào tri thức và kinh nghiệm của các nhà đánh giá- người phải nhận thức được và phải hiểu cái ND sẽ làm. 8.5. Lựa chọn phương pháp đánh giá Các yếu tố phân biệt các kỹ thuật đánh giá (tiếp) iv)Định lượng ngược với định tính 	- kiểu số đo cung cấp bởi các kỹ thuật đánh giá là một yếu tố quan trọng 	- hai loại số đo: định tính và định lượng. Số đo định lượng thường là số và dễ phân tích khi dùng các kỹ thuật như thống kê; số đo định tính là phi số và khó phân tích nhưng có thể cung cấp các chi tiết quan trọng mà không thể xác định bằng số. 	- Định lượng hay định tính có liên quan đến tính chủ quan hoặc khách quan của kỹ thuật 	- Kỹ thuật chủ quan có khuynh hướng cung cấp số đo định tính; kỹ thuật khách quan cung cấp các số đo định lượng.Thông tin cung cấp. 8.5. Lựa chọn phương pháp đánh giá Các yếu tố phân biệt các kỹ thuật đánh giá (tiếp) 	- Có thể ánh xạ giữa 2 kiểu số đo, thí dụ như đánh giá kiểu hỏi đáp là định tính, song định lượng theo tỉ lệ. v)Thông tin cung cấp 	- Mức độ thông tin yêu cầu cho đánh giá là khá đa dạng vi) Đáp ứng tức thời 	- Một số kỹ thuật như Think aloud ghi lại hành vi của ND tại thời điểm tương tác. Một số kỹ thuật khác như Walkthrough lại liên quan đến tập sự kiện của ND. 8.5. Lựa chọn phương pháp đánh giá Các yếu tố phân biệt các kỹ thuật đánh giá (tiếp) vii) Tính xâm phạm 	- Một số kỹ thuật đặc biệt là các kỹ thuật cung cấp số đo trực tiếp có ảnh hưởng đến cách thức ứng xử của ND viii)Tài nguyên 	- thiết bị, thời gian, tiền bạc, kinh nghiệm chuyên gia, ngữ cảnh 	- Một số quyết định bị bắt buộc do hạn chế về tài nguyên thí dụ như phải dùng camera để đánh giá song lại không có. Phân loại các kỹ thuật đánh giá (kỹ thuật phân tích) Phân loại các kỹ thuật đánh giá(kỹ thuật TN và hỏi đáp) Phân loại các kỹ thuật đánh giá (kỹ thuật phân tích) Kết luận Đánh giá là phần tích hợp của quá trình thiết kế và phải tiến hành trong suốt vòng đời thiết kế tương tác Việc đánh giá trong TK nhằm làm giảm chi phí và lỗi Việc lựa chọn một phương pháp đánh giá phụ thuộc nhiều vào yêu cầu đánh giá.