Bài giảng Computer Graphics - Bài 12 - Hiện thực ảo - Virtual Reality

cùng nhỏ trên 
những dây cáp để thực hiện ca phẫu thuật mà không cần rạch ra một lỗ lớn 
trên cơ thể bệnh nhân. Các thiết bị này có một video camera nhỏ ở đầu làm 
việc (business end). 
„ Các robot được trang bị các hệ thống telepresence này đã thay đổi cách thức 
thực hiện các cuộc thí nghiệm về biển sâu hoặc núi lửa. Kỹ thuật này ngoài ra 
còn được áp dụng trong các cuộc nghiên cứu vũ trụ...
CNTT-ĐHBK Hà nội 23
II. Immersion( hoà nhập)
„ Tạo ra cảm giác hoà nhập giữa người dùng và môi trường, hình ảnh quan
sát là hình ảnh người sử dụng nhìn được bao gồm cả không gian và
phương hướng.
„ Phần hình ảnh người dùng quan sát được chỉ là 1 phần rất nhỏ so với
không gian hiển thị
„ Thông thường công nghệ cho hiển thị đóng vai trò quan trọng và các cảm 
nhận khác cũng được kiểm tra.
„ Hệ thống thực tại ảo - VR systems sẽ tạo cho người dùng là một phần của 
thế giới ảo đang được mô phỏng chứ không đơn thuần môi trường ảo đang 
mô phỏng là 1 góc của thế giới thực mà người dùng hiện hữu.
„ Hệ thống immersive VR đầu tiên là hệ thống mô phỏng lái máy bay mà ở 
đó sự hoà nhập là sự kết hợp tinh xảo giữa các thiết bị thật và các hình ảnh 
ảo. Buồng lái thật với các thiết bị thực tế cho phép phi công sử dụng như 1 
chuyến bay bình thường. Hình ảnh hiển thị là những cảnh ảo được chuẩn 
bị sẵn.
CNTT-ĐHBK Hà nội 24
Kỹ thuật sinh immersive
„ Head-Mounted Display: Put the screen right in front of the 
user’s eyes. Include a lens, for comfortable focusing.
„ Advantage: It is easy to give the eyes different views.
„ Disadvantage: Need separate screen for each user.
„ BIG Disadvantage: When the user’s head moves, there is noticeable lag 
before the image updates. (Faster computers should fix this problem.)
„ Large-Screen Display: Use a very large screen or group of 
screens that fill the user’s vision.
„ Advantage: Image-update lag is not as much of a problem. (Why not?)
„ Advantage: Multiple users can view a single screen (but only one gets a 
precisely correct view).
„ BIG Disadvantage: The setup is incredibly expensive.
„ Challenge: How to give the eyes different views?
Bài 12 Thực tại ảo
Khoa CNTT - ĐHBK Hà nội
hunglt@it-hut.edu.vn
0913030731 5
CNTT-ĐHBK Hà nội 25
Phân loại
Immersive - Virtual Environments
1. Immersive Virtual Environments- môi trường ảo hoà nhập
• các đối tượng tương tác quan sát được và độc lập hoàn toàn với thế giới thật
• Cảnh ảo phản ứng lại các hành động tương tác của đối tượng.
• các đối tượng không thể tác động lên môi trường thật
2. Semi-Immersive Virtual Environments-môi trường ảo bán hoà nhập
• các đối tượng có thể tác động lên cả môi trường thật và ảo
• vai trò của các đối tượng trong môi trường ảo lớn hơn nhiều so với môi trường 
thật
• tác động nên môi trường thực là rất hạn chế
3. Non-Immersive Virtual Environments – VR thông thường
• các cảnh 3D như là 1 phần của thế giới thật (môi trường vật lý)
• các đối tượng đáp lại hoàn toàn trong thế giới thật
• Tồn tại rất ít quan hệ với môi trường ảo - VE
CNTT-ĐHBK Hà nội 26
Hoà nhập mức độ thấp
First Level of Immersion / 
Interactivity Low level, Physical level
„ Because the computer is physically connected to the human 
body by its senses and its motor responses.
„ The physical devices, Which interface to use ?
„ You have to know that not only Sight interface exist (HMD...), 
but lots of other,l you should have an idea of all the others
„ What Hardware (interface, computer) ?
„ What Software (Driver, Toolkit, Programming Language...) ?
CNTT-ĐHBK Hà nội 27
Second Level : Mental Immersion / Interactivity of the user
Triadic diagram for the behavioral interfacing 
„ Desired Behavior... where are the 
shemas... 
„ Effective motor function : what the 
user will do : Schema, Schema by 
substitution or Metaphore
„ Effective perception : as natural as 
possible, with as many senses as 
possible, and as weel synchorised
(cohering) as possible 
„ programmed motor function : 
Behavorial Software Assistance 
„ Programmed perception : what is 
available from the virtual world 
CNTT-ĐHBK Hà nội 28
Các bước thiết kế
VR Environments
Content
• story writing
• scenario setup
• semantics
Objects
• geometry and static attributes (color etc)
• textures
• sound
Dynamics
• object relationships
• events
• dynamic object properties (behavior)
System Implementation
CNTT-ĐHBK Hà nội 29
Low Level Tools
• Keep Track of Primitive Lists
• Transformation of Vertices
• Drawing of Primitives
• Reading Devices on Driver Level
• Polygon Intersection Testing
Examples
• C++ Compiler
• OpenGL, Direct3D
CNTT-ĐHBK Hà nội 30
High Level Tools
• Loading Objects (Geometry, Sounds)
• Scene Graph Construction
• Advanced Camera Models
• Automatic Sensor Handling
• Automatic Collision Detection
Examples
• C++ Compiler
• Simulation Libraries (WorldToolKit, VRT, DIVE, dVise)
• WorldUp, Superscape
Bài 12 Thực tại ảo
Khoa CNTT - ĐHBK Hà nội
hunglt@it-hut.edu.vn
0913030731 6
CNTT-ĐHBK Hà nội 31
V. Phần cứng Mô hình chung
Physical Simulation
and Animation
Lights
Illustration Model
Objects
Geometry
Surface Properties
Dynamic Properties
Physical Constrains
Acoustic Properties 
Collision Detection
Head Position
Hand Position
Visual
Audio
Haptic
INPUT OUTPUT
CNTT-ĐHBK Hà nội 32
Glove
Glove tracker 
receiver
Voice 
Recognition
Graphics
Processor
VE 
Database
Machine 
Intelligence
Video Camera
Haptics
Host Computer
VE Real-time OS
Face / Gesture / 
Motion Analysis
3D Sound 
Processor
Tracker
Transmitter
3D Tracker
System
Head Tracker Receiver
Head-mounted display(HMD)
Head phones
Microphone
Generic VR System
CNTT-ĐHBK Hà nội 33
Màn hình và các thiết bị tương tác
Display & interactive Devices
Visual Displays (3D imagery)
• Head Mounted Displays (HMD)
• Projection Displays (CAVE, Virtual Plane)
Acoustic Displays (spatial sound)
• Multi-Channel Sound Systems
• Specialized Convolution Processors (e.g. Convolvotron)
Haptic Displays (force feedback)
• Robot Arms (e.g. Grope, Phantom)
• Active Joystics (e.g. Microsoft Sidewinder)
• Vibrotactile Devices (e.g. Logitec Cyberman)
CNTT-ĐHBK Hà nội 34
3D Input/output 
Head-mounted display(HMD)
Degree of Freedom (DOF)
6 DOF: translation and rotation of X, Y, Z 
axes
3D mouse
Sonar-based
3D Trackball (Space-ball)
Pressure sensors
Pushing, pulling, and twisting
Joysticks
Specific platforms of exploration
Gloves
Finger angle (flexible sensors)
Tracking the movement of the hands
Sonic or electromagnetic system
Postures
CNTT-ĐHBK Hà nội 35
3D Input (Haptic device)
„ Dials
„ 3D array
„ Force-feedback devices
„ Hand and body tracking
„ LEDs
„ Hi-ball tracker
„ Puppets
„ Eye Tracking
„ Gaze sensing
„ Laser Scanner
CNTT-ĐHBK Hà nội 36
4 categories of haptic devices
„ Hand position and orientation 
„ forces and torque feedback devices 
„ tactile devices 
„ devices to produce other stimuli such as heat or cold.
Bài 12 Thực tại ảo
Khoa CNTT - ĐHBK Hà nội
hunglt@it-hut.edu.vn
0913030731 7
CNTT-ĐHBK Hà nội 37
Sensory Interface 
CNTT-ĐHBK Hà nội 38
Motor Interface 
CNTT-ĐHBK Hà nội 39
X. CAVE 
"CAVE Automatic Virtual Environment”.
1. Introduction
„ One of the leading VR environments is the CAVE.
„ “CAVE” stands for “CAVE Automatic Virtual Environment”.
„ Originally a hardware/software combination, the CAVE was developed 
at the Electronic Visualization Lab at the U. of Illinois, Chicago, in the 
early 1990’s.
„ The software component has since been separated and turned into a 
commercial product (CAVELIB, sold by VRCO) that runs in any number 
of VR environments.
CNTT-ĐHBK Hà nội 40
CAVE - An Immersive VR Environment
(EVL, University of Illinois at Chicago)
CNTT-ĐHBK Hà nội 41
2.CAVE Hardware
„ Standard CAVE hardware consists of:
„ Any number of walls (screens).
• The original idea was four: three vertical and a floor.
• ARSC has a 1-wall CAVE called an “ImmersaDesk”; we plan to 
get a 3-or-4 wall CAVE soon.
„ Any number of stereo glasses.
• One of these is for the driver; it has a tracker on it.
„ A wand.
• This is a stick with a tracker on it, along with some buttons and a 
directional control (“joystick”).
• The wand functions like a 3-D mouse.
CNTT-ĐHBK Hà nội 42
3.CAVE:
Software
„ Like GLUT, CAVELIB handles program execution 
via registered callbacks.
„ GLUT can still be used with CAVELIB, but you never 
call glutMainLoop, and so GLUT callback registration 
does nothing.
„ Thus, the full features of GLUT are not available in 
CAVE programs.
„ On the other hand, for programmers who are familiar with 
GLUT, learning CAVELIB is not hard.
Bài 12 Thực tại ảo
Khoa CNTT - ĐHBK Hà nội
hunglt@it-hut.edu.vn
0913030731 8
CNTT-ĐHBK Hà nội 43
CAVE:
Software [2/3]
„ CAVE programs run as a collection of processes.
„ The processes are created and managed by CAVELIB. The 
programmer does no forking.
„ There is a main process, one process for each wall (and various other 
processes that the programmer does not need to worry about).
„ These processes may need to access common data.
• There are facilities for allocating shared memory.
• Read/write locks are available.
„ Most of this is handled by CAVELIB, but the programmer needs to 
explicitly allocated shared memory and set/clear locks.
CNTT-ĐHBK Hà nội 44
CAVE:
Software [3/3]
„ CAVELIB includes facilities for:
„ Determining head position and orientation.
„ Computing projection matrices for each wall, for each eye.
• This is done automatically.
• For example, a standard 4-wall CAVE needs 8 projection matrices for each frame 
of animation (assuming the user has 2 eyes).
„ Determining wand position and orientation, as well as the state of the wand 
buttons and joystick.
„ Managing all the various processes.
„ Allocating shared memory areas.
„ Setting and clearing read/write locks on objects.
„ Determining the time.
„ Starting up and ending the whole mess.