Giáo trình Tin học lý thuyết - Chương 2: Ngôn ngữ và biểu diễn ngôn ngữ
Nội dung chính : Chương này trình bày quan niệm hình thức vềngôn ngữvà khái
niệm vềcác công cụdùng đểmô tảmột tập hữu hạn ngôn ngữcó hiệu quả- đó là văn
phạm và ôtômát. Đây là những công cụcó định nghĩa toán học chặt chẽ được nghiên
cứu kỹcàng và đã trởthành một thành phần chủyếu của lý thuyết ngôn ngữhình
thức.
Mục tiêu cần đạt: Sau chương này, mỗi sinh viên cần nắm vững các khái niệm sau :
¾Cấu trúc ngôn ngữtựnhiên cũng nhưngôn ngữlập trình.
¾Các phép toán cơbản trên chuỗi, ngôn ngữ
¾Cách thức biểu diễn ngôn ngữ
¾Cách phân loại văn phạm theo quy tắc của Noam Chomsky
¾Xác định các thành phần của một văn phạm.
¾Mối liên quan giữa ngôn ngữvà văn phạm.
. Bằng cách ấn định các dạng khác nhau vào các quy tắc phát sinh, người ta cũng định nghĩa nhiều loại văn phạm và ôtômát khác nhau, từ đơn giản đến phức tạp, nghiên cứu các ngôn ngữ sản sinh hay đoán nhận bởi chúng và mối liên quan giữa chúng với nhau. III. VĂN PHẠM VÀ SỰ PHÂN LỚP VĂN PHẠM Với mục đích sản sinh (hay đoán nhận) ngôn ngữ, văn phạm được dùng như một cách thức hiệu quả để biểu diễn ngôn ngữ. 3.1. Định nghĩa văn phạm cấu trúc (Grammar) Theo từ điển, văn phạm, một cách không chính xác, là một tập các quy tắc về cấu tạo từ và các quy tắc về cách thức liên kết từ lại thành câu. Để hiểu rõ hơn khái niệm này, ta xét ví dụ cây minh họa cấu trúc cú pháp của một câu đơn trong ngôn ngữ tiếng Việt "An là sinh viên giỏi" ở thí dụ 1.5 của chương 1. Xuất phát từ nút gốc theo dần đến nút lá, ta nhận thấy các từ ở những nút lá của cây như “An”, “sinh viên”, “giỏi”, … là những từ tạo thành câu được sản sinh. Ta gọi đó là các ký hiệu kết thúc bởi vì chúng không còn phát sinh thêm nút nào trên cây và câu được hoàn thành. Trái lại, các nút trong của cây như “câu đơn”, “chủ ngữ”, “danh từ”, … sẽ không có mặt trong dạng câu sản sinh, chúng chỉ giữ vai trò trung gian trong việc sinh chuỗi, dùng diễn tả cấu trúc câu. Ta gọi đó là các ký hiệu chưa kết thúc. Quá trình sản sinh câu như trên thực chất là sự diễn tả thông qua cấu trúc cây cho một quá trình phát sinh chuỗi. Các chuỗi được phát sinh bắt đầu từ một ký hiệu chưa kết thúc đặc biệt, sau mỗi bước thay thế một ký hiệu chưa kết thúc nào đó trong chuỗi thành một chuỗi lẫn lộn gồm các ký hiệu kết thúc và chưa, cho đến khi không còn một ký hiệu chưa kết thúc nào nữa thì hoàn thành. Quá trình này chính là phương thức phát sinh chuỗi của một văn phạm, được định nghĩa hình thức như sau: 14 Chương II : Ngôn ngữ và biểu diễn ngôn ngữ Định nghĩa : Văn phạm cấu trúc G là một hệ thống gồm bốn thành phần xác định như sau G (V, T, P, S), trong đó: . V : tập hợp các biến (variables) hay các ký hiệu chưa kết thúc (non terminal) . T : tập hợp các ký hiệu kết thúc (terminal) (với V ∩ T = ∅) . P : tập hữu hạn các quy tắc ngữ pháp được gọi là các luật sinh (production), mỗi luật sinh được biểu diễn dưới dạng α → β, với α, β là các chuỗi ∈ (V ∪ T)*. . S ⊂ V: ký hiệu chưa kết thúc dùng làm ký hiệu bắt đầu (start) Người ta thường dùng các chữ cái Latinh viết hoa (A, B, C, ...) để chỉ các ký hiệu trong tập biến V; các chữ cái Latinh đầu bảng viết thường (a, b, c, ...) dùng chỉ các ký hiệu kết thúc thuộc tập T. Chuỗi các ký hiệu kết thúc thường được biểu diễn bằng các chữ cái Latinh cuối bảng viết thường (x, y, z, ...). Nhận xét : Bằng quy ước này chúng ta có thể suy ra các biến, các ký hiệu kết thúc và ký hiệu bắt đầu của văn phạm một cách xác định và duy nhất bằng cách xem xét các luật sinh. Vì vậy, để biểu diễn văn phạm, một cách đơn giản người ta chỉ cần liệt kê tập luật sinh của chúng. Từ văn phạm, để sinh ra được các câu (từ), ta định nghĩa khái niệm “dẫn xuất” như sau : Nếu α → β là một luật sinh thì γ α δ ⇒ γ β δ gọi là một dẫn xuất trực tiếp, có nghĩa là áp dụng luật sinh α → β vào chuỗi γ α δ để sinh ra chuỗi γ β δ. Nếu các chuỗi α1, α2, ...., αm ∈ Σ* và α1 ⇒ α2, α2 ⇒ α3, ..., αm-1 ⇒ αm thì ta nói αm có thể được dẫn ra từ α1 thông qua chuỗi dẫn xuất α1 ⇒ α2, α2 ⇒ α3, ..., αm-1 ⇒ αm hay α1 dẫn xuất (gián tiếp) ra αm, viết tắt là α1 ⇒* αm. Ngôn ngữ của văn phạm G (V, T, P, S) là tập hợp các chuỗi ký hiệu kết thúc w ∈ T* được sinh ra từ ký hiệu bắt đầu S của văn phạm bởi các luật sinh thuộc tập P, ký hiệu là L(G) : L (G) = {w | w ∈ T * và S ⇒* w} Một ngôn ngữ có thể có nhiều cách đặc tả, do đó cũng có thể có nhiều văn phạm khác nhau sinh ra cùng một ngôn ngữ. Hai văn phạm sinh ra cùng một ngôn ngữ thì gọi là tương đương. G1 tương đương G2 ⇔ L (G1) = L (G2) 3.2. Sự phân cấp Chomsky trên văn phạm Bằng cách áp đặt một số quy tắc hạn chế trên các luật sinh, Noam Chomsky đề nghị một hệ thống phân loại các văn phạm dựa vào tính chất của các luật sinh. Hệ thống này cho phép xây dựng các bộ nhận dạng hiệu quả và tương thích với từng lớp văn phạm. Ta có 4 lớp văn phạm như sau : 15 Chương II : Ngôn ngữ và biểu diễn ngôn ngữ 1) Văn phạm loại 0: Một văn phạm không cần thỏa ràng buộc nào trên tập các luật sinh được gọi là văn phạm loại 0 hay còn được gọi là văn phạm không hạn chế (Unrestricted Grammar) 2) Văn phạm loại 1: Nếu văn phạm G có các luật sinh dạng α → β và thỏa ⏐β⏐≥⏐α⏐ thì G là văn phạm loại 1 hoặc còn được gọi là văn phạm cảm ngữ cảnh CSG (Context-Sensitive Grammar) Ngôn ngữ của lớp văn phạm này được gọi là ngôn ngữ cảm ngữ cảnh (CSL) 3) Văn phạm loại 2: Nếu văn phạm G có các luật sinh dạng A → α với A là một biến đơn và α là một chuỗi các ký hiệu ∈ (V ∪T)* thì G là văn phạm loại 2 hoặc còn được gọi là văn phạm phi ngữ cảnh CFG (Context-Free Grammar) Ngôn ngữ của lớp văn phạm này được gọi là ngôn ngữ phi ngữ cảnh (CFL) 4) Văn phạm loại 3: Nếu văn phạm G có mọi luật sinh dạng tuyến tính phải (right- linear): A → wB hoặc A → w với A, B là các biến đơn và w là chuỗi ký hiệu kết thúc (có thể rỗng); hoặc có dạng tuyến tính trái (left-linear): A → Bw hoặc A → w thì G là văn phạm loại 3 hay còn được gọi là văn phạm chính quy RG (Regular Grammar) Ngôn ngữ của lớp văn phạm này được gọi là ngôn ngữ chính quy (RL) Ký hiệu : L0, L1, L2, L3 là các lớp ngôn ngữ sinh ra bởi các văn phạm loại 0, 1, 2, 3 tương ứng. Ta có : L3 ⊂ L2 ⊂ L1 ⊂ L0 và các bao hàm thức này là nghiêm ngặt. Thí dụ 2.5 : 1. Xét văn phạm G : V = {S, A}, T = {a, b} và tập P = { S → aS S → aA A → bA A → b } Đây là văn phạm loại 3 (vì tập luật sinh có dạng tuyến tính phải). Chẳng hạn, một dẫn xuất từ S có dạng : S ⇒ aS ⇒ aaS ⇒ aaaA ⇒ aaabA ⇒ aaabbA ⇒ aaabbbA ⇒ aaabbbb = a3 b4 Hay văn phạm sinh ra ngôn ngữ L(G3) = {a+b+} = {anbm ⎪n, m ≥ 1 } 2. Xét văn phạm G : V = {S}, T = {a, b} và tập P = { S → aSb S → ab } Đây là văn phạm loại 2. Chẳng hạn, một dẫn xuất từ S có dạng : S ⇒ aSb ⇒ aaSbb ⇒ aaaSbbb ⇒ aaaabbbb = a4b4 Hay văn phạm sinh ra ngôn ngữ L(G2) = {anbn ⎪n ≥ 1} 3. Xét văn phạm G : V = {S, B, C}, T = {a, b, c} và tập P = { S → aSBC 16 Chương II : Ngôn ngữ và biểu diễn ngôn ngữ S → aBC CB → BC aB →ab bB → bb bC → bc cC → cc } Đây là văn phạm loại 1. Chẳng hạn, một dẫn xuất từ S có dạng : S ⇒ aSBC ⇒ aaBCBC ⇒ aabCBC ⇒ aabBCC ⇒ aabbCC ⇒ aabbcC ⇒ aabbcc = a2b2c2 Hay văn phạm sinh ra ngôn ngữ L(G1) = {anbncn ⏐n > 0}. IV. CƠ CHẾ ÔTÔMÁT 4.1. Định nghĩa ôtômát Ngoài các văn phạm, người ta còn sử dụng một phương tiện khác để xác định ngôn ngữ là ôtômát. Ôtômát, dịch nghĩa là máy tự động, được hiểu là các “máy” trừu tượng có cơ cấu và hoạt động rất đơn giản nhưng có khả năng đoán nhận ngôn ngữ. Với một chuỗi bất kỳ, sau một số bước làm việc, ôtômát sẽ cho câu trả lời chuỗi đó có thuộc ngôn ngữ hay không. Để có được quá trình tự động như vậy, con người thường phải lập trình sẵn cho nó một “lộ trình” thực hiện, và các máy chỉ cần hoạt động theo đúng lộ trình này. Một trong số những máy tự động này điển hình mạnh nhất có thể nói chính là máy tính số ngày nay. Tuy hoạt động theo kiểu “máy”, song thực chất mỗi bước làm việc của ôtômát là một sự thay thế ký hiệu, nghĩa là một bước dẫn xuất như đã nói ở trên. Nói chung, một mô hình ôtômát thường bao gồm những thành phần chủ yếu như sau : Bộ điều khiển INP 17 Chương II : Ngôn ngữ và biểu diễn ngôn ngữ Hình 2.1 - Mô hình chung cho một ôtômát OUTPU BỘ Chuỗi nhập cần xác định sẽ được lưu trữ trên băng input. Tại mỗi thời điểm, ứng với trạng thái hiện thời, đọc vào một ký tự nhập trên băng input, có thể kết hợp với việc xem xét ký hiệu tương ứng trong Bộ nhớ, Bộ điều khiển của ôtômát sẽ quyết định bước chuyển đến trạng thái kế tiếp. Các loại ôtômát tương ứng với từng lớp văn phạm sẽ được giới thiệu lần lượt trong những chương tiếp theo. 4.2. Phân loại các ôtômát Dựa theo hoạt động của ôtômát, thông thường người ta chia ôtômát thành hai dạng sau: Ôtômát đơn định (Deterministic Automata) : Là một ôtômát mà tại mỗi bước di chuyển chỉ được xác định duy nhất bởi cấu hình hiện tại. Sự duy nhất này thể hiện tính đơn định, nghĩa là hàm chuyển của ôtômát dạng này luôn là đơn trị. Ôtômát không đơn định (Non - deterministic Automata) : Là một ôtômát mà tại mỗi bước di chuyển, nó có một vài khả năng để chọn lựa. Sự chọn lựa này thể hiện tính không đơn định, nghĩa là hàm chuyển của ôtômát dạng này là đa trị. 18 Chương II : Ngôn ngữ và biểu diễn ngôn ngữ BÀI TẬP CHƯƠNG II Bộ điều ể 2.1. Chứng minh hoặc bác bỏ : L+ = L* - {ε}. 2.2. L+ hay L* có thể bằng ∅ không ? Khi nào thì L+ hay L* là hữu hạn ? 2.3. Hãy cho biết các thứ tự cho phép liệt kê các phần tử của các ngôn ngữ sau : a) {a, b}* b) {a}*{b}*{c}* c) {w⏐w ∈{a, b}+ và số a bằng số b trong w} 2.4. Một chuỗi hình tháp có thể định nghĩa là một chuỗi đọc xuôi hay ngược đều như nhau, hoặc cũng có thể định nghĩa như sau : 1) ε là chuỗi hình tháp. 2) Nếu a là một ký hiệu bất kỳ thì a là một chuỗi hình tháp. 3) Nếu a là một ký hiệu bất kỳ và X là một chuỗi hình tháp thì aXa là một chuỗi hình tháp. 4) Không còn chuỗi hình tháp nào ngoài các chuỗi cho từ (1) đến (3). Hãy chứng minh quy nạp rằng 2 định nghĩa trên là tương đương. 2.5. Các chuỗi ngoặc đơn cân bằng được định nghĩa theo 2 cách : Cách 1 : Một chuỗi w trên bộ chữ cái { ( , ) } là cân bằng khi và chỉ khi : a) w chứa cùng một số ')' và '(' b) Mọi tiền tố của w chứa số các '(' ít nhất bằng số các ')'. Cách 2 : a) ( là chuỗi ngoặc đơn cân bằng b) Nếu w là một chuỗi ngoặc đơn cân bằng, thì (w) là chuỗi ngoặc đơn cân bằng. c) Nếu w và x là các chuỗi ngoặc đơn cân bằng, thì wx là chuỗi ngoặc đơn cân bằng. d) Không còn chuỗi ngoặc đơn cân bằng nào khác với trên. Hãy chứng minh bằng quy nạp theo độ dài chuỗi rằng 2 định nghĩa trên là tương đương. 19
File đính kèm:
- Giáo trình Tin học lý thuyết - Chương 2 Ngôn ngữ và biểu diễn ngôn ngữ.pdf