Dynamic Bayesian Networks.pdf

TRƯỜNG ĐẠI HỌC CẦN THƠ \ KHOA KHOA HỌC TỰ NHIÊN \ BỘ MÔN TIN HỌC ỨNG DỤNG

Lớp Tin học ứng dụng K37

DYNAMIC BAYESIAN NETWORKSBÁO CÁO HỌC PHẦN TN407 – KỸ THUẬT DỰ BÁO

GIÁO VIÊN HƯỚNG DẪN: THS. VŨ DUY L INH

NHÓM 13 : 1117887 NGUYỄN TRUNG T ÍN

1117888 PHẠM XUÂN TRANG

1117889 TRẦN MINH TUẤN

214.04.2014 DYNAMIC BAYESIAN NETWORKS

NỘI DUNG

* Mô hình không gian – trạng thái (State – Space Models)

* Quá trình Markov và Xích Markov (Markov Process and Markov Chain)

* Định nghĩa và các tính chất (Essential Definitions and Properties)

* Các giải thuật học (Dynamic Bayesian Network Learning Algorithms)

* Suy diễn mạng Bayes động (Inference in Dynamic Bayesian Networks)


MARKOV

PROCESS

and

MARKOV

CHAIN

414.04.2014 DYNAMIC BAYESIAN NETWORKS 414.04.2014 DYNAMIC BAYESIAN NETWORKS

MÔ HÌNH KHÔNG GIAN TRẠNG THÁI (STATE-SPACE MODEL)

Một mô hình state-space mô tả sự triển khai của 2 chuỗi thời gian chạy song song:

+ Quá trình trạng thái (state process): một vector không quan sát được – giả

định là quá trình Markov bậc 1.

+ Quá trình quan sát (observation process): một vector quan sát được.

STATE PROCESS (HIDDEN)

OBSERVATIONPROCESS

Xt-1

Yt-1

Xt

Yt

Xt+1

Yt+1


MÔ HÌNH KHÔNG GIAN TRẠNG THÁI (STATE-SPACE MODEL)

Bất kỳ mô hình state-space nào cũng phải xác định 3 hàm phân phối xác suất:

+ Xác suất tiên nghiệm: P(X1)

+ Xác suất chuyển đổi trạng thái: P(Xt | Xt – 1)

+ Xác suất quan sát mẫu: P(Yt | Xt)

Biểu diễn:

+ Hidden Markov Models (HMMs): Xt là một biến ngẫu nhiên rời rạc.

+ Kalman Filter Models (KFMs): Xt là một vector của các biến ngẫu nhiên liên tục.

+ HMMs và KFMs đều là dạng đơn giản nhất của một DBNs.

STATE PROCESS (HIDDEN)

OBSERVATIONPROCESS

Xt-1

Yt-1

Xt

Yt

Xt+1

Yt+1


MARKOV PROCESS

+ Quá trình Markov như một thấu kính mạnh mẽ quan sát thế giới.

+ Cung cấp một số các giả định đã thỏa mãn như: một tập cố định của các trạng

thái, xác suất chuyển đổi cố định và khả năng chuyển từ trạng thái này sang một

trạng thái khác qua một chuỗi các chuyển đổi, một quá trình Markov hội tụ về một

phân phối duy nhất trên các trạng thái.

+ Có nghĩa là những gì xảy ra trong thời gian dài sẽ không phụ thuộc vào quá

trình bắt đầu. Những gì xảy ra trong thời gian dài sẽ được xác định bởi xác suất

chuyển đổi – khả năng chuyển đổi giữa các trạng thái khác nhau.


MARKOV PROCESS

+ Một quá trình Markov có hai trạng thái chỉ tâm trạng của một người là Vui hoặc

Buồn. Từ đó suy ra trạng thái của một người vào ngày mai sẽ chỉ phụ thuộc vào

trạng thái của người đó vào ngày hôm nay.

:(

:)

0.9

0.1

0.7

0.3

Xác suất chuyển đổi giữa

hai trạng thái Vui – Buồn

Thứ 3: 60 vui – 40 buồn Thứ 4: 66 vui – 34 buồn

Thứ 5: 70 vui – 30 buồn Thứ 6: 72 vui – 28 buồn

Thứ 2: 50 vui – 50 buồn


MARKOV PROCESS

+ Ví dụ một quá trình Markov có hai trạng thái chỉ tâm trạng của một người là

Vui hoặc Buồn. Từ đó suy ra trạng thái của một người vào ngày mai sẽ chỉ phụ

thuộc vào trạng thái của người đó vào ngày hôm nay.



Thứ 3: 90 người vui Thứ 4: 84 người vui

Thứ 5: 80 người vui Thứ 6: 78 người vui

Thứ 2: 100 người vui

:(

:)

0.9

0.1

0.7

0.3


MARKOV PROCESS

+ Phân phối của 75 người vui và 25 người buồn gọi là một sự cân bằng

(equilibrium), chúng ta chỉ cần dùng xác suất chuyển đổi như sơ đồ bên dưới.

Nếu 75 người vui thì 7.5 sẽ trở nên buồn

ở thời điểm kế tiếp và

Nếu 25 người buồn thì 7.5 sẽ trở nên vui.

:(

:)

0.9

0.1

0.7

0.3




MARKOV PROCESS

+ Quá trình Markov bậc 1: t 0:t 1 t t 1P(X | X ) P(X | X )

+ Quá trình Markov bậc 2: t 0:t 1 t t 2 t 1P(X | X ) P(X | X ,X )

Xt-2 Xt-1 Xt Xt+1 Xt+2

Xt-2 Xt-1 Xt Xt+1 Xt+2


MARKOV CHAIN

+ Một quá trình rời rạc theo thời gian {Xn, n = 0,1,2,…} với mô hình state-space rời

rạc Xn {0, 1, 2,…} là một xích Markov nếu nó có tính chất Markov:

+ Nghĩa là để xác định trạng thái kế tiếp, ta không cần biết đang ở thời điểm nào

mà chỉ cần biết trạng thái ở thời điểm đó là gì.

x2

x2x2

0.1

0.9

0.4

0.6

1.0

0 1 0

0 0.1 0.9

0.6 0.4 0

Xác suất chuyển đổi dạng đồ thị Xác suất chuyển đổi dạng ma trận


MARKOV CHAIN

x2

x2x2

0.1

0.9

0.4

0.6

1.0

0 1 0

0 0.1 0.9

0.6 0.4 0

Xác suất chuyển đổi dạng đồ thị Xác suất chuyển đổi dạng ma trận

Chuỗi này có một tính chất quan trọng, liên quan đến Markov Chain Monte Carlo

(MCMC), đó là ergodic. Nghĩa là nó sẽ qua mỗi điểm trong một miền theo từng xác

suất di chuyển của chúng. Một chuỗi là ergodic nếu như:

+ Tối giản/Rút gọn – mỗi trạng thái chỉ có một xác suất di chuyển đến trạng

thái khác.

+ Không tuần hoàn – chuỗi phải không có bẫy chu kỳ.


DYNAMIC

BAYESIAN

NETWORKS

(1)


ĐỊNH NGHĨA VÀ TÍNH CHẤT CỦA DYNAMIC BAYESIAN NETWORKS (DBNs)

+ Mạng Bayes tĩnh là mô hình với một tập cố định các biến ngẫu nhiên, lợi dụng

cấu trúc đồ thị và độc lập có điều kiện.

+ Mạng Bayes động là mô hình với mỗi biến được biểu diễn bởi nhiều đỉnh qua

các thời điểm (time points).

(a) A Static Bayesian Network (b) A Dynamic Bayesian Network

Sự tương tác trong mạng giữa ba biến

X1, X2, X3 mô hình hóa một motif quy định

sự di truyền giữa các gen. Các cung kết thúc

với mũi tên tương ứng với sự kích hoạt gen,

và các cung kết thúc với đường thẳng tương

ứng với sự ức chế gen.

Bởi vì DBNs bị ràng buộc là không tuần hoàn

nên chúng không thể có vòng lặp hay có chu

trình. Vì thế, motif ở (a) không thể trở thành

một mô hình chính xác bởi mạng Bayes tĩnh

không có thứ tự theo thời gian.



+ Mạng Bayes tĩnh là mô hình với một tập cố định các biến ngẫu nhiên, lợi dụng

cấu trúc đồ thị và độc lập có điều kiện.

+ Mạng Bayes động là mô hình với mỗi biến được biểu diễn bởi nhiều đỉnh qua

các thời điểm (time points).

(a) A Static Bayesian Network (b) A Dynamic Bayesian Network

Sự tương tác trong mạng giữa ba biến

X1, X2, X3 mô hình hóa một motif quy định

sự di truyền giữa các gen. Các cung kết thúc

với mũi tên tương ứng với sự kích hoạt gen,

và các cung kết thúc với đường thẳng tương

ứng với sự ức chế gen.

Nếu X3 là độc lập có điều kiện với X1 được

cho bởi X2. Chúng ta có cả hai điều sau đây:

+ P(X1, X2, X3) = P(X3 | X2).P(X2 | X1).P(X1)

+ P(X1, X2, X3) = P(X3 | X2).P(X1 | X2).P(X2)



Xét một mạng DBN với một đồ thị có hướng không chu trình (Directed Acyclic Graph DAG) G

mô tả một quá quá trình thời gian rời rạc ngẫu nhiên X = {Xi (t); i = 1,…,k; t = 1,…,t} lấy giá trị

trong tập Rk, với biến k tại thời điểm n. Các cung của mạng mô tả chính xác điều kiện phụ

thuộc giữa các biến quan sát vào các thời điểm liên tiếp (ví dụ, t – 1 và t) được cho bởi tất cả

các biến quan sát ở thời điểm ban đầu (ví dụ t – 1).

(c) A time-varying Dynamic Bayesian Network

Nếu trong thời gian đo lường sự biểu hiện gen là có giá trị thì nó có thể làm sáng tỏ chu trình phản hồi và

vòng lặp phản hồi (the feedback cycles and the loops) qua các điểm thời gian. Như mạng Bayes động đồng

nhất qua thời gian (time-homogeneous dynamic Bayesian network) giả định rằng mỗi thời gian cho trước t,

tất cả các nút cha được đo lường vào điểm thời gian trước t – 1



Kết quả trên dựa trên 3 giả định:

+ GĐ1: quá trình ngẫu nhiên X là quá trình Markov bậc 1.

đảm bảo rằng bất kỳ biến nào tại thời điểm t mà phụ thuộc vào các biến trong quá khứ thì

chỉ được thông qua các biến quan sát vào thời điểm (t – 1)

+ GĐ2: với mọi t > 0, các biến ngẫu nhiên X(t) = (X1(t),…,Xi(t),…, Xk(t)) quan

sát tại thời điểm t là độc lập có điều kiện cho bởi các biến ngẫu nhiên X(t – 1)

tại thời điểm trước đó t – 1

đảm bảo các biến quan sát đồng thời tại bất kỳ điểm thời gian là độc lập có điều kiện được

cho trước đó.

+ GĐ3: thuộc tính thời gian Xi(1),…,Xi(n) của bất cứ biến Xi không thể được

mô tả như là một sự kết hợp tuyến tính của các thuộc tính Xj(1),…,Xj(n) khác.

đảm bảo tính duy nhất của G


HIDDEN MARKOV MODELS EXAMPLE

+ Một người đang ở trong một tòa nhà nhưng không ra ngoài được và hoàn toàn

không biết bên ngoài trời có mưa hay không. Chúng ta sẽ tính xác suất trời mưa

dựa vào xác suất những người có mang dù.

+ Cho biết

P(Rain,Umbrella) 1P(Rain | Umbrella)

P(Umbrella) P(Umbrella)

0P Rain True 0.5



Với 0P Rain True 0.5

10.182

P(U )

Dự báo mưa ngày 1: từ t = 0 đến t = 1

Cập nhật evidence cho t = 1:

Suy ra xác suất có mưa ở ngày thứ nhất là 81.8%

Hidden

Evidence

1P(Rain True)

1 1 1P Umrella True | Rain True P(R )

0.9 0.5 0.45 0.818

01 0 0Rain T{ }F,

P Rain True | Rain P(Rain )

0.7 0.5 0.3 0.5 0.5

1 1P(Rain True | Umbrella True)


Suy ra xác suất có mưa ở ngày thứ hai là 88.3%


Dự báo mưa ngày 2: từ t = 1 đến t = 2

Hidden

Evidence

Cập nhật evidence cho t = 2:

Với 0P Rain True 0.5

10.182

P(U )


DYNAMIC

BAYESIAN

NETWORKS

(2)


LEAST ABSOLUTE SHRINKAGE AND SELECTION OPERATOR (LASSO)

+ Là một thủ tục chuẩn được áp dụng để suy diễn mạng.

+ Thủ tục ước lượng ràng buộc để tạo ra các hệ số có chính xác không bằng cách

áp dụng một định mức L1.

+ Việc lựa chọn biến sau đó trở nên dễ dàng: chỉ những hệ số nào khác không

mới xác định những mối quan hệ độc lập có ý nghĩa.

+ Quá trình chọn các cung nào để đưa vào mạng được thực hiện thông qua kiểm

tra chéo (cross-validation).

+ Sử dụng package lars (hoặc glmnet và penalized).



+ Là một thủ tục chuẩn được áp dụng để suy diễn mạng.

+ Thủ tục ước lượng ràng buộc để tạo ra các hệ số có chính xác không bằng cách

áp dụng một định mức L1.

+ Việc lựa chọn biến sau đó trở nên dễ dàng: chỉ những hệ số nào khác không

mới xác định những mối quan hệ độc lập có ý nghĩa.

+ Quá trình chọn các cung nào để đưa vào mạng được thực hiện thông qua kiểm

tra chéo (cross-validation).

+ Sử dụng package lars (hoặc glmnet và penalized).



+ Xét data set arth800 lấy từ package GeneNet, mô tả sự tạo thành của 800 gen

theo thời gian của cây Arabidopsis thaliana trong chu trình ngày đêm. Trong ví dụ

sau, chúng ta tạo một subset arth12 của 12 gen ngẫu nhiên:

> library(lars)

> library(GeneNet)

> data(arth800)

> subset = c(60, 141, 260, 333, 365, 424, 441, 512, 521, 578, 789, 799)

> arth12 = arth800.expr[, subset]

+ Ước lượng mô hình được biểu diễn sử dụng hàm lars để quan sát quá trình

biểu hiện của 12 gen đó qua các mốc thời gian:

> lasso.fit = lars(y = y, x = x, type = "lasso")

> plot(lasso.fit)



+ Các gen (Var) tương ứng sẽ

biểu hiện qua từng bước (Step).

> lasso.fit

Sequence of LASSO moves:

245094_at 265768_at 255764_at 251324_at 258736_at 253425_at 257710_at

Var 12 1 6 10 4 8 5

Step 1 2 3 4 5 6 7

253174_at 263426_at 260676_at 255070_at 245319_at

Var 9 2 3 7 11

Step 8 9 10 11 12



+ Học cấu trúc, trong đó số lượng để lựa chọn các cung được thông qua bằng

kiểm tra chéo (cross-validation) với hàm cv.lars và sau đó tính giá trị L1

> lasso.cv = cv.lars(y = y, x = x, mode = "fraction")

> frac = lasso.cv$index[which.min(lasso.cv$cv)]

> predict(lasso.fit, s = frac, type = "coef",mode = "fraction")

$s

[1] 0.1717172

$fraction

[1] 0.1717172

$mode

[1] "fraction"

$coefficients

265768_at 263426_at 260676_at 258736_at

0.0000000 0.0000000 0.0000000 0.0000000

257710_at 255764_at 255070_at 253425_at

0.0000000 0.0000000 0.0000000 0.0000000

253174_at 251324_at 245319_at 245094_at

0.0000000 0.0000000 0.0000000 -0.5744931

Những hệ số khác không

mới xác định mối quan hệ

cha con giữa các gen265768_at

245094_at



+ Sử dụng package penalized cũng cho kết quả tương tự. Đầu tiên, chúng ta

ước lượng giá trị tối ưu của L1 và cố định mô hình LASSO một lần nữa.

> library(penalized)

> lambda = optL1(response = y, penalized = x)$lambda

> lasso.t = penalized(response = y, penalized = x, lambda1 = lambda)

> coef(lasso.t)

(Intercept) 245094_at

14.0402894 -0.7059011

+ Kết quả trả về cho thấy gen cha của gen 265768_at chỉ có gen 245094_at.


FIRST-ORDER CONDITIONAL DEPENDENCIES APPROXIMATION (G1DBN)

+ Một cách tiếp cận mạnh mẽ khác để học mạng DBNs gọi là G1DBN dựa trên

phép tính gần đúng độc lập có điều kiện bậc 1.

+ Nền tảng của cách tiếp cận này là khái niệm về đồ thị độc lập có điều kiện bậc

thấp (low-order conditional dependence graph), được hình thành từ nội dung học

thuyết về mô hình đồ thị có hướng không chu trình (directed acyclic graphs DAG).

+ DAG định nghĩa DBN một cách gần đúng bằng phép tính trên.

+ Bằng cách sử dụng phép tính gần đúng, G1DBN học DBNs qua hai bước. Đầu

tiên, nó học một DAG mã hóa mối quan hệ độc lập. Sau đó, suy luận ra cấu trúc

mạng thật của DBNs sử dụng đồ thị ở bước trước.



+ Chúng ta học đồ thị G1 suy diễn với hàm DBNScoreStep1.

> step1 = DBNScoreStep1(arth12, method="ls")

+ Sau đó, chúng ta có thể xác định các cung nào là có ý nghĩa với một ngưỡng

(threshold) được cho trước bằng hàm BuildEdges.

> edgesG1 = BuildEdges(score=step1$S1ls, threshold=0.5, prec=6)

+ Ở bước kế tiếp, chúng ta học DBNScoreStep2 là cấu trúc thật G của DBN.

> step2 = DBNScoreStep2(step1$S1ls,data=arth12,method="ls",alpha1=0.5)

> edgesG = BuildEdges(score = step2, threshold = 0.05, prec = 6)

+ Về sau, chúng ta có thể xác định các cung nào là có ý nghĩa trong mạng mới vừa

tạo với BuildEdges và một ngưỡng chính xác hơn ngưỡng mà ta sử dụng ở bước

đầu tiên.



+ Dưới đây là hai cấu trúc mạng được học bởi G1DBN ở bước 1 (G1) và bước 2 (G).


Ngoài ra còn các giải thuật học khác cũng được sử dụng như:

+ Modular Networks (Statistical Inference for MOdular Networks hay SIMoNe)

+ Giải thuật học DBN không thuần nhất (Non-homogeneous Dynamic Bayesian

Network Learning) sử dụng mô hình ARTIVA (Auto-Regressive TIme VArying)

DYNAMIC BAYESIAN NETWORK LEARNING ALGORITHMS


INFERENCE IN DYNAMIC BAYESIAN NETWORKS

Kỹ thuật học DBNs cơ bản dựa trên kỹ thuật học mạng Bayes tĩnh, tức là dựa vào

mô hình VAR. Loại phổ biến nhất của các truy vấn là tính phân phối biên (marginal

distribution) của đỉnh Xi ở thời điểm t mà có điều kiện trên các đỉnh khác ở thời

điểm 1,...,T

+ Nếu t = T, truy vấn được gọi là filtering (lọc): ước tính đệ quy các trạng thái

(state) sử dụng quy tắt Bayes.

+ Nếu t < T, truy vấn gọi là smoothing (làm mịn): ước tính trạng thái của quá khứ,

với tất cả các bằng chứng đến thời điểm hiện tại.

+ Nếu t > T, truy vấn gọi là prediction (dự đoán).



Đồ thị biểu diễn giá trị ước lượng và quan sát của mức độ biểu hiện gen 265768_at

qua 2 chuỗi thời gian trong mô hình LASSO.

Tt

+ t = T: filtering

+ t < T: smoothing

+ t > T: prediction



+ Sau đó, chúng ta có thể tạo cấu trúc mạng với modelstring và cung cấp các

tham số thông qua hàm custom.fit. Các tập tham số của các đỉnh được quy

định bởi đối số dist, là một danh sách với một phần tử cho mỗi đỉnh.

> dbn1 = model2network("[245094_at][265768_at|245094_at]")

> xp.mean = mean(x[, "245094_at"])

> xp.sd = sd(x[, "245094_at"])

> dbn1.fit =custom.fit(dbn1,

+ dist = list("245094_at" = list(coef = xp.mean,

+ sd = xp.sd), "265768_at" = lasso.t))



+ Để so sánh bằng đồ thị, chúng ta có thể sử dụng cpdist để tạo ra 2 tập quan

sát ngẫu nhiên dựa trên các sự kiện (events) có điều kiện và so sách mật độ giữa

chúng.

> dist.low=cpdist(dbn1.fit,node="265768_at",evidence=("245094_at" < 8))

> dist.high=cpdist(dbn1.fit,node="265768_at",evidence=("245094_at" > 8))

+ Biểu diễn truy vấn xác suất có điều kiện (conditional probability queries CPQs) sử

dụng các điểm thời gian ví dụ như t – 2 và t. Để tránh xung đột, chúng ta đặt lại

tên cho gen 245094_at tại thời điểm t – 2 là 245094_at1

> y = arth12[-(1:2), "245094_at"]

> colnames(x)[12] = "245094_at1"

> lambda = optL1(response = y, penalized = x)$lambda

> lasso.s = penalized(response = y, penalized = x,lambda1 = lambda)



Đây là đồ thị mật độ biểu diễn mức độ biểu hiện của gen 265768_at tại thời điểm t

và mức độ biểu hiện của gen 245094_at tại thời điểm t – 1 với hai trường hợp

lớn hơn 8 (đường gạch liền) và nhỏ hơn 8 (đường gạch đứt)



+ Từ đây chúng ta giả định rằng DBN là đồng nhất theo thời gian (time-

homogeneous), lúc chúng ta dùng cùng một dữ liệu để cố định những biến ở thời

điểm t dựa vào những biến đó ở thời điểm t – 1 và những biến ở thời điểm t – 1

dựa vào những biến đó ở thời điểm t – 2.

+ Sau đó, chúng ta tạo cấu trúc mạng cho DBN như sau:

> dbn2 = empty.graph(c("265768_at", "245094_at",

+ "258736_at", "257710_at", "255070_at",

+ "245319_at", "245094_at1"))

> dbn2 = set.arc(dbn2, "245094_at", "265768_at")

> for (node in names(coef(lasso.s))[-c(1, 6)])

+ dbn2 = set.arc(dbn2, node, "245094_at")

> dbn2 = set.arc(dbn2, "245094_at1", "245094_at")



+ Cuối cùng, cho chúng ta biết kiến thức về gen 265768_at và gen 245094_at

tại thời điểm t – 2 và t, chúng ta có thể nghiên cứu phân phối của gen 245094_at

tại thời điểm t.

Đồ thị dbn2 vẽ bằng R Đồ thị dbn2 được biểu diễn lại

Documents

Dynamic Bayesian Networks.pdf