Báo cáo đồ án trí tuệ nhân tạo : xây dựng chương trình sử dụng Radial basis functions neural networds để tìm đường phân lớp 2 tập điểm

Báo cáo đề tài môn học Nhập Môn Trí Tuệ Nhân Tạo Đề Tài: Bài toán được mô tả là các điểm trên không gian 2 chiều. Mỗi điểm đã được gán là 0 hoặc 1. Hãy xây dựng chương trình sử dụng Radial basis functions neural networds để tìm đường phân lớp 2 tập điểm nói trên. Giáo viên hướng dẫn: Thầy giáo Ngô Hữu Phúc Họ và tên: Phạm Hùng Thịnh Lớp: Tin học 5A I. Lời nói đầu Động lực thúc đẩy RBF phát triển là: 1. Hàm phân lớp tuyến tính đơn thuần (Perceptron) không thể phân lớp trong một số trường hợp. Ví dụ như hàm XOR: {(0,0), (1,1)} ∈ ω1 , {(1,0), (0,1)} ∈ ω2 2. Khả năng nhớ các mẫu học: nếu đầu vào của hàm phân lớp “gần giống” với một mẫu học đã biết trước đó thì kết quả phân lớp cũng phải “gần giống” kết quả phân lớp đã được học. 3. Ý tưởng phân lớp trên không gian có nhiều chiều hơn: có nhiều ví dụ cho thấy, khi được ánh xạ lên không gian nhiều chiều hơn lúc đầu, bài toán phân lớp trở nên dễ dàng hơn. II. Cơ sở lý thuyết Hàm bán kính (Radial function): Hàm bán kính là hàm chỉ phụ thuộc vào khoảng cách từ đối số đến một điểm (gọi là tâm) cho trước với Một số hàm bán kính: • • Hàm Gaussian: Hàm đa thức: . • Khoảng cách: Mạng hàm cơ sở bán kính (RBF): Giả sử ta có tâm , khi đó mạng hàm cơ sở bán kính là tổ hợp tuyến tính của các hàm bán kính tại các tâm này Nhận xét: 1. Mạng hàm cơ sở bán kính đã tạo ra ánh xạ với . 2. Kết quả của mạng là vì vậy, đây là hàm tuyến tính phân lớp dữ liệu trên không gian 3. . Mạng RBF còn có thể dùng để xấp xỉ hàm số nếu ta trực tiếp dùng đầu ra . Huấn luyện mạng RBF: Với tập mẫu học số của mạng bao gồm: trọng số , tham số của các hàm bán kính ta phải tìm các tham , tâm của các hàm bán kính . Hàm sai số (error function): Để xác định các tham số của mạng, ta phải đưa ra một tiêu chí đánh giá các tham số này khi áp dụng mạng RBF trên tập mẫu học . Một tiêu chí đánh giá hay dùng là hàm tổng bình phương sai số Lưu ý: Hàm tổng bình phương sai số hay được sử dụng vì thuận tiện trong tính toán đạo hàm. Gần đây, người ta nhận ra một số nhược điểm của loại hàm sai số này và có xu hướng chuyển sang các hàm sai số khác (mặc dù tính toán phức tạp hơn nhiều). Ví dụ, hàm tổng sai số tuyệt đối hoặc hàm sai số tuyệt đối lớn nhất Trường hợp Nếu ta đặt cố định: Ta cần giải bài toán tối ưu và thì bài toán trên tương đương với Đây là bài toán tối thiểu bình phương sai số kinh điển. Trường hợp có hạng đầy đủ (full rank), giá trị tối ưu của là trong đó gọi là ma trận giả nghịch đảo (pseudo-inverse). Trong thực hành, người ta không dùng ma trận giả nghịch đảo mà sử dụng biến đổi Gauss để giải (giống như giải hệ phương trình tuyến tính). Một đặc điểm nữa của theo công thức trên là nghĩa là là vectơ có độ dài nhỏ nhất trong các véctơ tối thiểu hóa . Đặc điểm này có ý nghĩa lớn vì nó làm tăng tính ổn định của hệ thống (không làm quá lớn). Trường hợp : Nghĩa là tâm của các hàm bán kính chính là các mẫu học. Khi đó, ma trận là ma trận vuông, ta có giá trị tối ưu của trọng số Tất nhiên, trong thực hành, người ta không tính nghịch đảo của mà dùng biến đổi Gauss để giải phương trình . Trường hợp cũng là tham số cần tìm: Ta cần giải bài toán tối ưu Do hàm sai số này không còn là hàm lồi, cách giải quyết thường dùng là sử dụng phương pháp xuống đồi theo véctơ đạo hàm. Khi đó, người ta lấy đạo hàm của theo các biến rồi chỉnh lại các tham số này. Một cách tối ưu hóa khác là: 1. Cố định 2. Cố định , tính theo phương pháp trên. , chỉnh sửa theo phương pháp đạo hàm. 3. Lặp bước 1,2. Trong thực hành, người ta thấy việc tìm rất mất thời gian. Do đó, các tâm thường được chọn là chính các mẫu học. Còn đặt giá trị sau đó chọn thử một vài giá trị đến khi đạt được kết quả như ý. III. Chương trình Chương trình được xây dựng trên cơ sở lý thuyết vừa được nêu trên với các tâm c chính là mẫu học và chọn β1 = β 2 = ... = β n = β = 1 Giao diện chươngtrinh