Xác suất thống kê - Quá trình ngẫu nhiên

thống bị hút từ trạng thái 3.
Ví dụ 7, tr−ờng hợp p = 23 , q =
1
3 , N =
2
3
4
75 65 453
5
9
5
6
5
1
5
3
5
7
5
 , τ =
17518
5
11
5

Nh− vậy trung bình sau 75 b−ớc hệ thống từ trạng thái 2 lại quay lại đúng trạng thái 2 đó (Chú ý rằng do
quy −ớc P
(0)
ii = 1, số b−ớc trung bình từ một trạng thái về chính nó bao giờ cũng kể tới vị trí ban đầu).
Cũng từ ma trận N , ta đọc đ−ợc hệ thống từ trạng thái 2 chuyển sang trạng thái 3 trung bình mất 65 b−ớc.
Hệ thống từ trạng thái 4 chuyển sang trạng thái 2 trung bình mất 15 b−ớc. Điều đó cũng phù hợp với thực
tế: với xác suất cao hơn từ trạng thái 4 hệ thống chuyển sang trạng thái hút 5.
Bài tập Chứng minh rằng trong tr−ờng hợp tổng quát ma trận cơ sở của ví dụ 7
N = (I −Q)−1 =
2
3
4

p+q2
p2+q2
p
p2+q2
p2
p2+q2
q
p2+q2
1
p2+q2
p
p2+q2
q2
p2+q2
q
p2+q2
q+p2
p2+q2

2.2.2 Xác suất để hệ thống đạt tới các trạng thái hút
Định lí 5 Gọi T là tập các trạng thái không quay lại và T˜ là tập các trạng thái hút. Kí hiệu bij , i ∈ T, j ∈ T˜
là xác suất để hệ thống đi từ trạng thái i (không quay lại) tới trạng thái j (trạng thái hút). Khi đó
B = {bij} = NR, i ∈ T, j ∈ T˜
Chứng minh. Ta biết rằng bkj = 0 nếu k ∈ T˜ , suy ra
bij = Pij +
∑
k∈T
Pikbkj hay B = R+QB ⇔ B = (I −Q)
−1R = NR.
Quay lại ví dụ 7, tr−ờng hợp p = q = 12
R =
12 00 0
0 12
 , N =
32 1 121 2 1
1
2 1
3
2
⇒ B = NR =
34 141
2
1
2
1
4
3
4

Đây là kết quả đT nhắc đến ở cuối ví dụ 7 (9).
Tr−ờng hợp p = 23 , q =
1
3
R =
13 00 0
0 23
 , N =
75 65 453
5
9
5
6
5
1
5
3
5
7
5
⇒ B = NR =
 715 8151
5
4
5
1
15
14
15

15
Chú ý rằng nếu ta mở rộng ma trận B∗ =
(
I 0
B 0
)
, các phần tử b∗ij của ma trận là xác suất để hệ thống
đi từ trạng thái i tới trạng thái j. Khi đó hiển nhiên limn→∞Π
n = B∗
ΠB∗ =
(
I 0
R Q
)(
I 0
B 0
)
=
(
I 0
R+QB 0
)
=
(
I 0
B 0
)
= B∗
Với ví dụ 7, tr−ờng hợp p = q = 12
B∗ =
1
5
2
3
4
1 5 2 3 4
1 0 0 0 0
0 1 0 0 0
3/4 1/4 0 0 0
1/2 1/2 0 0 0
1/4 3/4 0 0 0

Ví dụ 8
Xét một ví dụ khác. Giả thiết rằng hàng năm sinh viên ở một tr−ờng đại học bị buộc thôi học với xác suất p,
xác suất để một sinh viên học lại với khoá sau bằng q và r là xác suất để sinh viên đó học tiếp. Kí hiệu s1
là trạng thái sinh viên theo học năm thứ nhất, s2 là trạng thái sinh viên theo học năm thứ hai,..., s4 là trạng
thái sinh viên theo học năm thứ t− (năm cuối cùng). Kí hiệu tiếp s5 là trạng thái sinh viên bị buộc thôi học
và s6 là trạng thái sinh viên tốt nghiệp ra tr−ờng. Chúng lập thành xích Markov với ma trận chuyển:
Π =
s5
s6
s4
s3
s2
s1
s5 s6 s4 s3 s2 s1
1 0 0 0 0 0
0 1 0 0 0 0
p r q 0 0 0
p 0 r q 0 0
p 0 0 r q 0
p 0 0 0 r q

⇒ N = (I −Q)−1 =

1
p+r 0 0 0
r
(p+r)2
1
p+r 0 0
r2
(p+r)3
r
(p+r)2
1
p+r 0
r3
(p+r)4
r2
(p+r)3
r
(p+r)2
1
p+r

Với p = 0, 2, q = 0, 1, r = 0, 7
N =
s4
s3
s2
s1

1, 111 0 0 0
0, 864 1, 111 0 0
0, 672 0, 864 1, 111 0
0, 523 0, 672 0, 864 1, 111

Các số 0 trong ma trận N khẳng định hệ thống không bao giờ đạt tới, chẳng hạn sinh viên năm thứ ba sẽ
không quay về năm thứ nhất hoặc thứ hai.
R =

0.2 0.7
0.2 0
0.2 0
0.2 0
⇒ B = NR =

0.2 0.7
0.2 0
0.2 0
0.2 0


1, 111 0 0 0
0, 864 1, 111 0 0
0, 672 0, 864 1, 111 0
0, 523 0, 672 0, 864 1, 111

Ma trận B cho ta xác suất để một học sinh bị buộc thôi học hoặc tốt nghiệp ra tr−ờng
B =
s4
s3
s2
s1
s5 s6
0.22 0.78
0.395 0.605
0.53 0.47
0.634 0.366

Nhìn vào kết quả trên ta thấy xác suất để một học sinh năm thứ nhất bị buộc thôi học khá cao: 0.634, cũng
nh− xác suất để một học sinh năm cuối tốt nghiệp ra tr−ờng bằng 0.78
16
2.2.3 Xác suất để hệ thống đạt tới các trạng thái không quay lại
Định lí 6 Kí hiệu hij là xác suất để hệ thống từ trạng thái không quay lại i chuyển sang trạng thái không
quay lại j vào một thời điểm nào (ta còn kí hiệu xác suất đó là f∗ij trong định nghĩa 4). Khi đó
H = {hij} = (N − I)N
−1
dg , trong đó Ndg là matrận chéo gồm đ−ờng chéo của N
Chứng minh. áp dụng định lí kì vọng có điều kiện: An = {ξn = j, ξν = j, 1 ã ν < n, ξ0 = i}, n  1,
A0 là biến cố hệ thống không khi nào quay lại j (i = j), khi đó
Ei(νj) =
∞∑
n=0
P (An)Ej(νj/An) =
∞∑
n=1
f
(n)
ij Ej(νj) = hijEj(νj).
Suy ra Ei(νj) = δij + hijEj(νj)⇔ N = I +HNdg ⇔ H = (N − I)N
−1
dg .
Trong ví dụ 7, lang thang ngẫu nhiên trên tập các số nguyên T = {1, 2, 3, 4, 5} với 1 và 5 là trạng thái hút.
Ma trận chuyển có dạng nh− sau
Π→
1
2
3
4
5

1 0 0 0 0
q 0 p 0 0
0 q 0 p 0
0 0 q 0 p
0 0 0 0 1

Khi đó
N =
2
3
4

1−pq
1−2pq
p
1−2pq
p2
1−2pq
q
1−2pq
1
1−2pq
p
1−2pq
q2
1−2pq
q
1−2pq
1−pq
1−2pq
⇒ H = 23
4

pq
1−pq p
p2
1−pq
q
1−pq 2pq
p
1−pq
q2
1−pq q
pq
1−pq

Đặc biệt khi p = 1, ma trận
H =
2
3
4
0 1 10 0 1
0 0 0

Lang thang luôn dịch chuyển về bên phải và do vậy nó không quay lại trạng thái ban đầu cũng nh− các trạng
thái tr−ớc đó.
Xét ví dụ 8, ta đT biết
N =
s4
s3
s2
s1

1, 111 0 0 0
0, 864 1, 111 0 0
0, 672 0, 864 1, 111 0
0, 523 0, 672 0, 864 1, 111

trong đó s1, s2, s3, s4 biểu thị các trạng thái sinh viên theo học năm thứ nhất, năm thứ hai, năm thứ ba, năm
thứ t−. Từ định lí 6
H = (N − I)N−1dg =
s4
s3
s2
s1

0.09991 0 0 0
0.777678 0.09991 0 0
0.60486 0.777678 0.09991 0
0.470747 0.60486 0.777678 0.09991

Vậy xác suất để sinh viên năm thứ hai một lúc nào đó chuyển lên năm thứ ba là 0.777678, chuyển lên năm
thứ t− là 0.60486.
17
2.3 Xích Markov đều
Định nghĩa 7 Một xích Markov hữu hạn trạng thái với Π là ma trận các xác suất chuyển đ−ợc gọi là xích
Markov đều nếu nếu tồn tại số tự nhiên N sao cho mọi phần tử của ma trận ΠN đều khác 0.
Nhận xét rằng với một xích Markov đều, tất cả các trạng thái của nó đều là các trạng thái quay trở lại. Từ
định lí cơ bản 2 suy ra
Định lí 7 Đối với mỗi xích Markov đều, lim
n→∞
Πn = A (A là ma trận xác suất có các hàng giống nhau).
Nếu kí hiệu α = (α1, α2, ..., αk) là một hàng của A, khi đó
αΠ = α, ΠA = AΠ = A.
Các kết quả liên quan đến xích Markov đều đ−ợc chứng minh t−ơng tự nh− xích Markov hút. Trong mục
này chúng ta chỉ phát biểu các định lí và giới thiệu các ví dụ minh họa.
Sử dụng định lí 7, bằng quy nạp dễ dàng chứng minh đ−ợc (Π−A)n = Πn −A. Mặt khác cũng do định lí
7, lim
n→∞
Πn = A, suy ra tồn tại ma trận nghịch đảo
Z = (I − (Π−A))−1 = I +
∞∑
n=1
(Πn −A).
Định nghĩa 8 Ma trận sau của một xích Markov đều
Z = (I −Π+A)−1
đ−ợc gọi là ma trận cơ sở của xích Markov đó.
Trở lại ví dụ 3, thời tiết trên đảo. Ta kí hiệu E1 là trạng thái trời m−a, E2 là trạng thái trời nắng còn E3 là
trạng thái tuyết rơi. Khi đó chúng lập thành xích Markov đều với ma trận chuyển
Π =
E1
E2
E3
12 14 141
2 0
1
2
1
4
1
4
1
2
 , A = lim
n→∞
Πn =
25 15 252
5
1
5
2
5
2
5
1
5
2
5

Ma trận cơ sở đ−ợc xác định nh− sau
I −Π+A =
 0, 9 −0, 05 0, 15−0, 1 1, 2 −0, 1
0, 15 −0.05 0, 9
⇒ Z = (I −Π+A)−1 = 1
75
 86 3 −146 63 6
−14 3 86

Ví dụ 9
DTy các phép thử độc lập gồm k khả năng (trạng thái) t−ơng ứng với các xác suất p1, p2, ..., pk (chú ý rằng
p1 + p2 + ã ã ã+ pk = 1). Chúng lập thành xích Markov đều với ma trận chuyển
Π =

p1 p2 ã ã ã pk
p1 p2 ã ã ã pk
ã ã ã ã ã ã ã ã ã ã ã ã
p1 p2 ã ã ã pk
 ⇒ Z = I
18
Kí hiệu fk là số b−ớc để lần đầu tiên hệ thống vào trạng thái k. Khi đó Ei(fk) là số b−ớc trung bình để hệ
thống từ trạng thái i lần đầu tiên b−ớc vào trạng thái k. (Chính xác hơn, ta có thể nói Ei(fk) = Ei(fk/ξ0 = i)
là kì vọng có điều kiện của fk với điều kiện ξ0 = i).
Kí hiệu lim
n→∞
P
(n)
ii = αi là xác suất giới hạn. Theo định lí 3, thời gian trung bình để hệ thống từ trạng thái i
quay về chính nó Ei(fi) =
1
αi
.
Một cách tổng quát ta đ−a vào các kí hiệu mij = Ei(fj) và M = {mij} là ma trận của các phần tử mij .
Kí hiệu tiếp Mdg là ma trận chéo gồm các phần tử mii =
1
αi
.
Kí hiệu tiếp Zdg là ma trận chéo gồm các phần tử nằm trên đ−ờng chéo của ma trận cơ sở Z, ma trận E là
ma trận mà mọi phần tử đều bằng 1. Khi đó kết quả của cơ bản của xích Markov đều đ−ợc cho trong công
thức
M = (I − Z +EZdg)Mdg.
Ví dụ 10
1. Ví dụ 9, ma trận các phép thử độc lập Z = I và M = { 1
pij
} = { 1
pj
} hay
M =

1
p1
1
p2
ã ã ã 1
pk
1
p1
1
p2
ã ã ã 1
pk
ã ã ã ã ã ã ã ã ã ã ã ã
1
p1
1
p2
ã ã ã 1
pk

2. Ví dụ 3 về thời tiết trên đảo, phân bố giới hạn xác xuất α = (25 ,
1
5 ,
2
5). Vậy
Mdg =
M−a
Nắng
Tuyết
52 0 00 5 0
0 0 52
 , Z = 1
75
 86 3 −146 63 6
−14 3 86

Suy ra
M = (I − Z + EZdg)Mdg =
 52 4 1038
3 5
8
3
10
3 4
5
2

Từ ma trận M ta có thể thấy nếu hôm nay trời m−a, trung bình phải đợi 4 ngày để có ngày nắng gần
nhất. Trong khi đó, trung bình từ trạng thái m−a đến trạng thái m−a tiếp theo chỉ có 52 ngày kể cả
ngày đầu tiên.
3. Ví dụ 1, xích Markov có 2 trạng thái và ma trận các xác suất chuyển
Π =
(
1− λ λ
à 1− à
)
, A = lim
n→∞
Πn =
(
à
λ+à
λ
λ+à
à
λ+à
λ
λ+à
)
Z = (I −Π+A)−1 =
1
λ+ à
(
à+ λ
λ+à λ−
λ
λ+à
à− à
λ+à λ+
à
λ+à
)
,M =
(
λ+à
à
1
λ
1
à
λ+à
λ
)
19
4. Xét một ví dụ về xích Markov với matrận các xác suất chuyển
Π =
1
2
3
4
5

0 0 1 0 0
1
2 0
1
2 0 0
0 12 0
1
2 0
0 0 12 0
1
2
0 0 1 0 0
⇒ Ma trận xác suất giới hạn: A =

0, 1 0, 2 0, 4 0, 2 0, 1
0, 1 0, 2 0, 4 0, 2 0, 1
0, 1 0, 2 0, 4 0, 2 0, 1
0, 1 0, 2 0, 4 0, 2 0, 1
0, 1 0, 2 0, 4 0, 2 0, 1

Z = (I −Π+A)−1 =
1
2
3
4
5

0, 88 −0, 04 0, 32 −0, 04 −0, 12
0, 33 0, 86 0, 12 −0, 14 −0, 17
−0, 02 0, 16 0, 72 0, 16 −0, 02
−0, 17 −0, 14 0, 12 0, 86 0, 33
−0, 12 −0, 04 0, 32 −0, 04 0, 88

M = (I − Z + EZdg)Mdg =
1
2
3
4
5

10 4, 5 1 4, 5 10
5, 5 5 1, 5 5 10, 5
9 3, 5 2, 5 3, 5 9
10, 5 5 1, 5 5 5, 5
10 4, 5 1 4, 5 10

20