Bài giảng Kiến trúc máy tính - Chương 4: Processor Pipelining

Add
PC
4
Write Data
Read Addr 1
Read Addr 2
Write Addr
Register
File
Read
Data 1
Read
Data 2
16 32
ALU
Shift
left 2
Add
Data
Memory
Address
Write Data
Read
Data
IF/ID
Sign
Extend
ID/EX
EX/MEM
MEM/WB
Control
ALU
cntrl
RegWrite
MemRead
MemtoReg
RegDst
ALUOp
ALUSrc
Branch
PCSrc
Chi tiết về điều khiển Pipeline
Q: Nơi nào tín hiệu Write 
Register đi đến?
1. The MEM/WB control bits (top)
2. instruction in the IF/ID register
3. Data in the MEM/WB register
A: Data in the MEM/WB register 
Các bit thứ tự 20‐16 hoặc 11‐15
được gửi tới thanh ghi MEM/WB để
xác định thanh ghi cần ghi dữ liệu
Xung đột Pipeline
HUST-FET, 04/04/2014
40
 Xung đột cấu trúc: yêu cầu sử dụng cùng một tài nguyên cho 2 lệnh khác
nhau tại cùng 1 thời điểm
 Xung đột dữ liệu: yêu cầu sử dụng dữ liệu trước khi nó sẵn sàng
Các toán hạng nguồn của 1 lệnh được tạo ra bởi lệnh phía trước vẫn đang
nằm trong pipeline
 Xung đột điều khiển: yêu cầu quyết định điều khiển dòng chương trình trước
khi điều kiện rẽ nhánh và giá trị PC mới được tính toán
Các lệnh rẽ nhánh, nhảy và ngắt
 Giải quyết xung đột bằng cách chờ đợi
Khối điều khiển pipeline cần phát hiện xung đột
Và hành động để giải quyết xung đột
Bộ nhớ đơn: Xung đột cấu trúc
HUST-FET, 04/04/2014
41
I
n
s
t
r.
O
r
d
e
r
Time (clock cycles)
lw
Inst 1
Inst 2
Inst 4
Inst 3
A
LUMem Reg Mem Reg
A
LUMem Reg Mem Reg
A
LUMem Reg Mem Reg
A
LUMem Reg Mem Reg
A
LUMem Reg Mem Reg
Đọc dữ liệu từ bộ
nhớ
Đọc lệnh từ bộ nhớ
 Sửa: Bộ nhớ dữ liệu và lệnh riêng rẽ(Instr. and Data )
Truy cập tệp thanh ghi
HUST-FET, 04/04/2014
42
I
n
s
t
r.
O
r
d
e
r
Inst 1
Inst 2
A
LUIM Reg DM Reg
A
LUIM Reg DM Reg
A
LUIM Reg DM Reg
A
LUIM Reg DM Reg
Sửa xung đột truy
cập tệp thanh ghhi
bằng cách đọc
trong nửa đầu chu
kỳ và ghi trong nửa
sau chu kỳ
add $1,
add $2,$1,
Sườn đồng hồ điều
khiển ghi
Sườn đồng hồ điều
khiển đọc
Sử dụng thanh ghi: Xung đột dữ
liệu
HUST-FET, 04/04/2014
43
I
n
s
t
r.
O
r
d
e
r
add $1,
sub $4,$1,$5
and $6,$1,$7
xor $4,$1,$5
or $8,$1,$9
A
LUIM Reg DM Reg
A
LUIM Reg DM Reg
A
LUIM Reg DM Reg
A
LUIM Reg DM Reg
A
LUIM Reg DM Reg
 Xung đột đọc trước khi ghi (Read before write)
 Phụ thuộc dữ liệu ngược theo thời gian gây ra xung đột
Sử dụng thanh ghi: Xung đột dữ
liệu
HUST-FET, 04/04/2014
44
I
n
s
t
r.
O
r
d
e
r
add $1,
sub $4,$1,$5
and $6,$1,$7
xor $4,$1,$5
or $8,$1,$9
A
LUIM Reg DM Reg
A
LUIM Reg DM Reg
A
LUIM Reg DM Reg
A
LUIM Reg DM Reg
A
LUIM Reg DM Reg
 Phụ thuộc dữ liệu ngược theo thời gian gây ra xung đột
 Xung đột đọc trước khi ghi (Read before write)
Đọc từ bộ nhớ gây xung đột
dữ liệu
HUST-FET, 04/04/2014
45
I
n
s
t
r.
O
r
d
e
r
lw
Inst 4
Inst 3
beq ALUIM Reg DM Reg
A
LUIM Reg DM Reg
A
LUIM Reg DM Reg
A
LUIM Reg DM Reg
 Dependencies backward in time cause hazards
Giải quyết xung đột: Tạm dừng
HUST-FET, 04/04/2014
46
stall
stall
I
n
s
t
r.
O
r
d
e
r
add $1, ALUIM Reg DM Reg
sub $4,$1,$5
and $6,$1,$7
A
LUIM Reg DM Reg
A
LUIM Reg DM Reg
Có thể giải
quyết xung đột
dữ liệu bằng
dừng chờ– stall 
– ảnh hưởng
tới CPI
Ví dụ:
HUST-FET, 04/04/2014
471: addi s0, zero, 10
2: addi s1, zero, 0
L1: 
3: add t0, t0, s1
4: addi s1, s1, 1
5: bne s1, s0, L1
1 2 3 4 5 6 7 8 9 10 11 12
1 IF ID EX MEM WB
2 IF ID EX MEM WB
3
4
5
3
4
5
Tính CPI cho chương trình
Chuyển tiếp dữ liệu
HUST-FET, 04/04/2014
48
 Lấy kết quả ở thời điểm nó xuất hiện sớm nhất trong bất kỳ thanh ghi pipeline nào, và
chuyển tiếp nó đến khối chức năng (VD. ALU) mà cần kết quả tại chu kỳ đồng hồ đó
 Với khối chức năng ALU: đầu vào có thể từ bất kỳ thanh ghi pipeline nào chứ không
cần từ ID/EX bằng cách
 Thêm bộ chọn vào trước đầu vào của ALU
 Nối dữ liệu ghi Rd ở EX/MEM hoặc MEM/WB tới một trong 2 hoăc cả 2 thanh ghi
pipeline Rs và Rt thuộc giai đoạn EX. 
 Thêm phần điều khiển phần cứng để điều khiển bộ chọn
 Các khối chức năng khác cũng cần được thêm tương tự (VD. DM)
 Với chuyển tiếp có thể đạt được CPI = 1 ngay khi có sự phụ thuộc dữ liệu
Giải quyết xung đột: Chuyển tiếp dữ
liệu
HUST-FET, 04/04/2014
49
I
n
s
t
r.
O
r
d
e
r
add $1, ALUIM Reg DM Reg
sub $4,$1,$5
and $6,$1,$7
A
LUIM Reg DM Reg
A
LUIM Reg DM Reg
Giải quyết xung
đột dữ liệu bằng
chuyển tiếp kết
quả ngay khi
chúng sẵn sàng
tới nơi cần
xor $4,$1,$5
or $8,$1,$9 ALUIM Reg DM Reg
A
LUIM Reg DM Reg
Giải quyết xung đột: Chuyển tiếp
dữ liệu
HUST-FET, 04/04/2014
50
A
LUIM Reg DM Reg
A
LUIM Reg DM Reg
A
LUIM Reg DM Reg
Giải quyết xung
đột dữ liệu bằng
chuyển tiếp kết
quả ngay khi
chúng sẵn sàng
tới nơi cần
A
LUIM Reg DM Reg
A
LUIM Reg DM Reg
I
n
s
t
r.
O
r
d
e
r
add $1,
sub $4,$1,$5
and $6,$1,$7
xor $4,$1,$5
or $8,$1,$9
Minh họa triển khai chuyển tiếp
HUST-FET, 04/04/2014
51
I
n
s
t
r.
O
r
d
e
r
add $1,
sub $4,$1,$5
and $6,$7,$1
A
LUIM Reg DM Reg
A
LUIM Reg DM Reg
A
LUIM Reg DM Reg
EX forwarding MEM forwarding
Xung đột dữ liệu khi chuyển tiếp
HUST-FET, 04/04/2014
52
I
n
s
t
r.
O
r
d
e
r
add $1,$1,$2 ALUIM Reg DM Reg
add $1,$1,$3
add $1,$1,$4
A
LUIM Reg DM Reg
A
LUIM Reg DM Reg
 Một loại xung đột dữ liệu xuất hiện khi chuyển tiếp: Xung đột giữa kết quả
của lệnh đang ở giai đoạn WB và lệnh đang ở giai đoạn MEM – kết quả nào
cần được chuyển tiếp?
Xung đột dữ liệu khi có lệnh lw
HUST-FET, 04/04/2014
53
I
n
s
t
r.
O
r
d
e
r
lw $1,4($2)
and $6,$1,$7
xor $4,$1,$5
or $8,$1,$9
A
LUIM Reg DM Reg
A
LUIM Reg DM
A
LUIM Reg DM Reg
A
LUIM Reg DM Reg
A
LUIM Reg DM Reg
A
LUIM Reg DM Regsub $4,$1,$5
Xung đột dữ liệu khi có lệnh lw
HUST-FET, 04/04/2014
54
stall
I
n
s
t
r.
O
r
d
e
r
lw $1,4($2)
sub $4,$1,$5
and $6,$1,$7
xor $4,$1,$5
or $8,$1,$9
A
LUIM Reg DM Reg
A
LUIM Reg DM
A
LUIM Reg DM Reg
A
LUIM Reg DM Reg
A
LUIM Reg DM Reg
A
LUIM Reg DM Reg
 Sẽ vẫn cần một chu kỳ chờ ngay cả khi có chuyển tiếp
Xung đột điều khiển
HUST-FET, 04/04/2014
55
 Khi địa chỉ các lệnh không tuần tự (i.e., PC = PC + 4); xuất hiện khi có các
lệnh thay đổi dòng chương trình
 Lệnh rẽ nhánh không điều kiện (j, jal, jr)
 Lệnh rẽ nhánh có điều kiện (beq, bne)
 Ngắt, Exceptions
 Giải pháp
 Tạm dừng (ảnh hưởng CPI)
 Tín toán điều kiện rẽ nhánh càng sớm càng tốt trong giai đoạn pipeline 
giảm số chu kỳ phải dừng
 Rẽ nhánh chậm (Delayed branches - Cần hỗ trợ của trình dịch)
 Dự đoán và hy vọng điều tốt nhất!
 Xung đột điều khiển ít xảy ra, nhưng không có giải pháp giải quyết hiệu quả
như chuyển tiếp đối với xung đột dữ liệu
Lệnh nhảy: Cần một chu kỳ
dừng
HUST-FET, 04/04/2014
56
flush
I
n
s
t
r.
O
r
d
e
r
j
j target
A
LUIM Reg DM Reg
A
LUIM Reg DM Reg
 Lệnh nhảy rất ít xuất hiện – chỉ chiếm 3% số lệnh trong SPECint
 Lệnh nhảy không được giải mã cho đến giai đoạn ID, cần một lệnh xóa (flush)
 Để xóa, đặt trường mã lệnh của thanh ghi pipeline IF/ID bằng 0 (làm nó trở thành 1 
lệnh noop)
Giải quyết
xung đột
lệnh nhảy
bằng cách
chờ – flush
A
LUIM Reg DM Reg
Xung đột điều khiển lệnh rẽ nhánh
HUST-FET, 04/04/2014
57
I
n
s
t
r.
O
r
d
e
r
lw
Inst 4
Inst 3
beq ALUIM Reg DM Reg
A
LUIM Reg DM Reg
A
LUIM Reg DM Reg
A
LUIM Reg DM Reg
Giải quyết xung đột điều khiển lệnh rẽ nhánh
HUST-FET, 04/04/2014
58
flush
flush
flush
I
n
s
t
r.
O
r
d
e
r
beq ALUIM Reg DM Reg
beq target
A
LUIM Reg DM Reg
A
LU
Inst 3 IM Reg DM
Giải quyết
xung đột
bằng chờ–
flush –
nhưng ảnh
hưởng CPI
A
LUIM Reg DM Reg
A
LUIM Reg DM Reg
A
LUIM Reg DM Reg
Giải quyết xung đột điều khiển lệnh rẽ nhánh
HUST-FET, 04/04/2014
59
flush
I
n
s
t
r.
O
r
d
e
r
beq
beq target
A
LUIM Reg DM Reg
Inst 3
A
LUIM Reg DM
Fix branch 
hazard by 
waiting –
flush
A
LUIM Reg DM Reg
 Tính toán điều kiện rẽ nhánh càng sớm càng tốt, tức là trong giai đoạn
giải mã  chỉ cần 1 chu kỳ chờ
A
LUIM Reg DM Reg
Rẽ nhánh chậm
HUST-FET, 04/04/2014
60
 Nếu phần cứng cho rẽ nhánh nằm ở giai đoạn ID, ta có thể loại bỏ các chu
kỳ chờ rẽ nhánh bằng cách sử dụng rẽ nhánh chậm (delayed branches) –
luôn thực hiện lệnh theo sau lệnh lệnh rẽ nhánh – rẽ nhánh có tác dụng
sau lệnh kế tiếp nó
 Trình dịch MIPS compiler chuyển 1 lệnh an toàn (không bị ảnh hưởng
bởi lệnh rẽ nhánh) tới sau lệnh rẽ nhánh (vào khe trễ). Vì vậy sẽ dấu
được sự rẽ nhánh chậm
 Với pipeline sâu (nhiều giai đoạn), trễ rẽ nhánh tăng cần nhiều lệnh được
chèn vào sau lệnh rẽ nhánh
 Rẽ nhánh chậm đang được thay thế bởi các phương pháp khác tốn
kém hơn nhưng mềm dẻo (động) hơn như dự đoán rẽ nhánh
 Sự phát triển của IC cho phép có bộ dự đoán rẽ nhánh ít tốn kém hơn
Sắp xếp lệnh trong rẽ nhánh chậm
HUST-FET, 04/04/2014
61
 TH A là lựa chọn tốt nhất, điền được khe trễ và giảm I
 TH B và C, lệnh sub cần sao chép lại, tăng I
 TH B và C, phải đảm bảo thực hiện lệnh sub không ảnh hưởng khi
không rẽ nhánh
add $1,$2,$3
if $2=0 then
delay slot
A. Từ trước lệnh rẽ nhánh B. Từ đích lệnh rẽ nhánh C. Từ nhánh sai
add $1,$2,$3
if $1=0 then
delay slot
add $1,$2,$3
if $1=0 then
delay slot
sub $4,$5,$6
sub $4,$5,$6
becom
es
becom
es
becom
es
if $2=0 then
add 
$1,$2,$3 add $1,$2,$3if $1=0 then
sub $4,$5,$6
add $1,$2,$3
if $1=0 then
sub $4,$5,$6
Tóm tắt
HUST-FET, 04/04/2014
62
 Các bộ xử lý hiện đại đều dùng kỹ thuật pipeline
 Pipelining không làm giảm độ trễ của 1 nhiệm vụ đơn lẻ, nó giúp tăng thông
lượng của toàn bộ
 Tăng tốc tiềm năng: CPI = 1 và đồng hồ nhanh, Tc nhỏ
 Tốc độ đồng hồ bị hạn chế bởi giai đoạn pipeline chậm nhất
 Các giai đoạn pipeline không cân bằng làm giảm hiệu suất
 Thời gian “làm đầy” pipeline và thời gian “làm trống” pipeline ảnh hưởng
đến độ tăng tốc khi pipeline sâu (nhiều giai đoạn) và đoạn mã ngắn
 Cần phát hiện và giải quyết xung đột
 Dừng ảnh hưởng xấu tới CPI (làm CPI lớn hơn giá trị lý tưởng 1)