Bài giảng Học máy - L4: Các phương pháp học có giám sát

Nội dung text: Bài giảng Học máy - L4: Các phương pháp học có giám sát

1. Nội dung môn học: „ Giới thiệu chung „ Đánh giá hiệu năng hệ thống học máy „ Các p hương pháp học dựa ttêrên x ác suất „ Các phương pháp họccógiámsát „ Hồi quy tuyến tính (Linear regression) „ Các phương pháp học không giám sát „ Lọccộng tác „ Học tăng cường Học Máy – IT 4862 2
2. Hồi quy tuyến tính – Ví dụ Hàm tuyến tính f(x) nào phù hợp? x f(x) f(x) 0.13 -0.91 1.02 -0.17 3.17 1.61 -2.76 -3.31 1.44 0.18 5.28 3.36 -1.74 -2.46 x 7937.93 5565.56 Ví dụ: f(x) = -1.02 + 0.83x ọ H c Máy – IT 4862 4
3. Hàm đánh giá lỗi „ Giải thuật học hồi quy tuyến tính cần phải xác định hàm đáhánh g iáliá lỗi → Đánh giá mức độ lỗi của hệ thống trong giai đoạn huấn luyện „ Định nghĩa hàm lỗi E • Lỗi của hệ thống đối với mỗi ví dụ học x: 2 1 1 ⎛ n ⎞ 2 ⎜ ⎟ E(x) = (cx − yx ) = ⎜cx − w0 − ∑ wi xi ⎟ 2 2 ⎝ i=1 ⎠ • Lỗi của hệ thống đối với toàn bộ tập huấn luyện D: 2 1 1 ⎛ n ⎞ 2 ⎜ ⎟ E = ∑ E(x) = ∑(cx − yx ) = ∑⎜cx − w0 − ∑ wi xi ⎟ x∈D 2 x∈D 2 x∈D⎝ i=1 ⎠ ọ H c Máy – IT 4862 6
4. Quy tắc delta „ Để cập nhật vectơ trọng số w theo hướng giúp giảm bớt giá trị lỗiihu huấnnluy luyện E • η là tốc độ học (là một hằng số dương) → Xác định mức độ thay đổi đối với các giá trị trọng số tại mỗi bước học • Cập nhật theo từng ví dụ (Instance-to-instance/incremental update): wi ← wi + η(cx-yx)xi • Cập nhật theo đợt (Batch update): wi ← wi +η ∑(cx − yx )xi x∈D „ Các tên gọi khác của quy tắc delta • LMS (least mean square) rule • Adaline rule • Widrow-Hoff rule ọ H c Máy – IT 4862 8
5. Cập nhật theo đợt/theo từng ví dụ „ Giải thuật trên tuân theo chiến lược cập nhật theo đợt „ Cập nhật theo đợt (Batch update) • Tại mỗi bước học, các giá trị trọng số được cập nhật sau khi tất cả các ví d ụ học được đưaavào( vào (đượcch họccb bởi) hệ thống - Giá trị lỗi được tính tích lũy đối với tất cả các ví dụ học - Các giá trị trọng số được cập nhật theo giá trị lỗi tích lũy tổng thể „ Cập nhật theo từng ví dụ (Instance-to-instance/ incremental update) • Tại mỗiib bước học, cááiátc giá trị trọng số được cập nhật ngay lập tức sau khi mỗi ví dụ học được đưa vào (được học bởi) hệ thống - Giá trị lỗi (riêng biệt) được tính cho ví dụ học đưa vào - Các giá trị trọng số được cập nhật ngay lập tức theo giá trị lỗi này ọ H c Máy – IT 4862 10
6. Các điều kiện kết thúc học „ Trong các giải thuật LSLR_batch và LSiSLR_incrementa l, quátìá trình hh học kếtthút thúc khi c ác điều kiện được chỉ định bởi CONVERGENCE được thỏa mãn „ Các điều kiện kếtthút thúc học thường được địnhhh nghĩa dựa trên một số tiêu chí đánh giá hiệu năng hệ thống • Kết thúc, nếu giá trị lỗi nhỏ hơn giá trị ngưỡng • Kết thúc, nếu giá trị lỗi ở một bước học lớn hơn giá trị lỗi ở bước học trước • Kếtthút thúc, nếu sự khác biệtti giữa cááiátc giá trị lỗi ở 22b bước học liên tiếp nhỏ hơn giá trị ngưỡng • ọ H c Máy – IT 4862 12