Link tải luận văn miễn phí cho ae Kết Nối
MỤC LỤC
MỤC LỤC 1
CÁC HÌNH VẼ, BẢNG BIỂU TRONG LUẬN VĂN 3
THUẬT NGỮ TIẾNG ANH 3
Lời Thank 4
Chương 1. Giới thiệu về mạng nơron nhân tạo 6
1.1 Cấu trúc và mô hình mạng nơron 8
1.1.1 Mô hình một nơron sinh học 8
1.1.2 Cấu trúc và mô hình của một nơron nhân tạo 9
1.2 Cấu tạo và cách làm việc của mạng nơron 12
1.2.1 Mạng nơron một lớp 14
1.2.2 Mạng nơron truyền thẳng nhiều lớp 15
1.2.3 Mạng nơron phản hồi 16
1.2.4 Mạng nơron hồi quy 16
1.2.5 Mạng Hopfield 16
1.2.6 Mạng BAM 18
1.3 Các luật học 19
1.3.1 Học có giám sát 20
1.3.2 Học củng cố 21
1.3.3 Học không có giám sát 21
1.4 Thuật toán lan truyền ngược 23
1.5 Kết luận 29
Chương 2. Tìm hiểu mạng nơron Kohonen 31
2.1 Giới thiệu 31
2.2 Mạng nơron Kohonen 32
2.2.1 Mạng nơron Kohonen nhận dạng 34
2.2.2 Cấu trúc của mạng nơron Kohonen 34
2.2.3 Chuẩn hóa dữ liệu đầu vào 35
2.2.4 Tính toán dữ liệu đầu ra của nơron 36
2.2.5 Ánh xạ lưỡng cực 36
2.2.6 Chọn nơron thắng 37
2.2.7 Quá trình học của mạng Kohonen 38
2.2.8 Tỉ lệ (tốc độ) học 39
2.2.9 Điều chỉnh các trọng số (cập nhật trọng số) 40
2.2.10 Tính toán sai số 40
2.3. Thực thi mạng nơron Kohonen 41
2.3.1 Thực thi mạng nơron truyền thẳng 41
2.3.2 Thực thi lan truyền ngược 46
2.3.3 Các tập huấn luyện 47
2.3.4 Báo cáo tiến trình 48
2.3.4.1 Lớp mạng cơ sở 48
2.3.4.2 Lớp KohonenNetwork 50
2.4 Kết luận 58
Chương 3. Nhận dạng ký tự quang sử dụng mạng nơron Kohonen 60
3.1 Giới thiệu chung 60
3.2 Huấn luyện mạng 61
3.3 Thử nghiệm sử dụng mạng nơron Kohonen để nhận dạng ký tự quang 62
3.4 Trường hợp ngoại lệ 65
3.5 Kết luận 65
KẾT LUẬN 67
Tài tham khảo 68
CÁC HÌNH VẼ, BẢNG BIỂU TRONG LUẬN VĂN
Hình 1.1 Một nơron sinh học 9
Hình 1.2. Sự liên kết các nơron 9
Hình 1.3 Mô hình một nơron nhân tạo 10
Hình 1.4 Đồ thị các dạng hàm kích hoạt 12
Hình 1.5 Mạng nơron ba lớp 13
Hình 1.6 Một số dạng mạng nơron 15
Hình 1.7 Cấu trúc của mạng Hopfield 17
Hình 1.8 Cấu trúc của BAM 18
Hình 1.9: Cấu trúc huấn luyện mạng nơron 20
Hình 1.10: Học có giám sát 21
Hình 1.12: Học không có giám sát 22
Hình 1.13: Sơ đồ cấu trúc chung của quá trình học 23
Hình 1.14: Mạng 3 lớp lan truyền ngược 24
Hình 2.1: Một dạng mạng nơron Kohonen 36
Hình 2.2: Sơ đồ khối biểu diễn huấn luyện mạng nơron Kohonen. 40
Hình 3.1:Mô hình chung trong nhận dạng chữ viết. 62
Hình 3.2: Sơ đồ huấn luyện mạng 62
Hình 3.4: Biểu diễn ký tự e theo ma trận 5x7 pixcel. 64
Hình 3.5: Biểu diễn ký tự e theo ma trận 5x7 bởi các giá trị 64
Hình3.6: Biểu diễn ký tự e ở vector đầu vào 64
Hình 3.7 Vẽ và gán ký tự 65
Hình 3.8 Kết quả mạng nơron Kohonen nhận dạng ký tự e và ký tự c 65
Hình 3.9 Đưa chữ ký vào mạng và gán tên 65
Hình 3.10 Kết quả mạng nơron Kohonen nhận dạng chữ ký 66
THUẬT NGỮ TIẾNG ANH
ANN Mạng nơron cần huấn luyện
BAM Mạng BAM (Bidirectional Associative Memory)
SOM Mạng nơron tự tổ chức (Self Organizing Maps)
PE Phần tử xử lý (Processing Element)
OCR Nhận dạng ký tự quang (optical character recognition)
Lời cảm ơn
Chúng ta đều biết rằng, bộ não con người là một sản phẩm hoàn hảo của tạo hóa, nó có khả năng tư duy và sáng tạo. Hiện nay, con người đang nghiên cứu cách hoạt động của bộ não, sau đó áp dụng cho những công nghệ hiện đại. Để tiếp cận khả năng học, người ta đưa ra mô hình mạng nơron gồm các nơron liên kết với nhau thành mạng phỏng theo cấu trúc mạng thần kinh của con người.
Mỗi nơron riêng lẻ có khả năng xử lý thông tin yếu, nhưng khi chúng được ghép với nhau thành mạng, thì khả năng xử lý thông tin sẽ mạnh hơn rất nhiều. Mỗi cấu trúc mạng đều có một ưu điểm đặc thù, chúng cho ta một công cụ mạnh trong các lĩnh vực kỹ thuật điều khiển và kỹ thuật thông tin. Một mạng nơron nhân tạo là tập hợp một số lớn các phần tử xử lý (các nút hay các khối), thường được tổ chức song song và được cấu hình theo kiến trúc đệ quy. Cách ứng sử trên mạng nơron nhân tạo giống như bộ não con người, nó chứng tỏ khả năng học, nhớ lại, và tổng quát hóa từ dữ liệu huấn luyện.
Mạng nơron nhân tạo là công cụ tốt trong việc giải quyết các bài toán như: hợp và phân lớp đối tượng, xấp xỉ hàm, tối ưu hóa, định lượng vector, phân cụm dữ liệu,...Nó thay thế hiệu quả các công cụ tính toán truyền thống để giải quyết các bài toán này.
Nhận dạng là một lĩnh vực đóng vai trò quan trọng trong khoa học kỹ thuật. Trong hầu hết các vấn đề kỹ thuật ngày nay, ta đều phải xác định, nhận dạng được các mô hình và đối tượng liên quan, để từ đó tìm ra giải pháp. Nhận dạng mô hình là bài toán rất quan trong trong lý thuyết hệ thống. Lý do đơn giản là vì không thể phân tích, tổng hợp hệ thống khi không có mô hình toán học mô tả hệ thống. Trong quá trình xây dựng mô hình hệ thống trên phương diện lý thuyết, người ta thường không khảo sát được mọi ảnh hưởng của môi trường đến tính động học của hệ thống, cũng như những tác động qua lại bên trong hệ thống một cách chính xác tuyệt đối. Rất nhiều yếu tố đã bị bỏ qua, hay chỉ được xem xét đến như là một tác động ngẫu nhiên. Bởi vậy, nếu nói một cách chặt chẽ thì những hiểu biết lý thuyết ban đầu về hệ thống, mới chỉ có thể giúp ta khoanh được lớp các mô hình thích hợp. Để có thể có được một mô hình cụ thể có chất lượng phù hợp với bài cụ thể toán đặt ra trong lớp các mô hình thích hợp đó, thì phải sử dụng phương pháp nhận dạng. Còn bài toán nhận dạng, phân tích phân cụm dữ liệu, là các bài toán rất hay gặp trong thực tế, khi chúng ta nhìn thấy một vật gì đó, thì câu hỏi thường trực của mỗi người là; vật đó có máy loại, và nó thuộc loại nào trong các loại có thể có.
Để giải quyết các bài toán nhận dạng, người ta đã đưa vào các cách tiếp cận khác nhau, mỗi phương pháp tiếp cận trong những bài toán cụ thể đều có những ưu, nhược điểm riêng. Phương pháp ứng dụng mạng nơron trong nhận dạng là một cách tiếp cận mới và hiện đại. Nó có thể là công cụ rất mạnh để giải quyết các bài toán trong lĩnh vực này.
Nội dung của đề tài đi vào tìm hiểu và xây dựng các phần tử nơron cơ bản, xem xét và nghiên cứu cấu trúc một mạng nơron, giới thiệu về mạng nơron nhiều lớp với thuật toán lan truyền ngược. Trọng tâm của đề tài đi vào tìm hiểu về mạng nơron Kohonen (hay mạng nơron tự tổ chức – SOM).
Đề tài gồm ba chương
Chương 1, trình bày cấu trúc một phần tử nơron cơ bản, các cấu trúc mạng nơron nhân tạo thường gặp, thuật toán học, phân tích ưu nhược điểm của chúng, và giới thiệu về thuật toán lan truyền ngược.
Chương 2, tìm hiểu mạng nơron Kohonen.
Chương 3, nhận dạng ký tự quang sử dụng mạng nơron Kohonen.
Cuối cùng em xin Thank các thày cô giáo, đặc biệt là PGS.TSKH Bùi Công Cường đã tận tình chỉ dẫn cho em trong suốt thời gian làm đề tài. Xin Thank các bạn cùng lớp đã tạo điều kiện cho tui được học tập và nghiên cứu trong môi trường tốt.
Hà nội, tháng 12 năm 2009.
Chương 1. Giới thiệu về mạng nơron nhân tạo
Học máy là một ngành khoa học nghiên cứu các thuật toán cho phép máy tính có thể học được các khái niệm.
Phân loại: Có hai loại phương pháp học máy chính
• Phương pháp quy nạp: Máy học/phân biệt các khái niệm dựa trên dữ liệu đã thu thập được trước đó. Phương pháp này cho phép tận dụng được nguồn dữ liệu rất nhiều và sẵn có.
• Phương pháp suy diễn: Máy học/phân biệt các khái niệm dựa vào các luật. Phương pháp này cho phép tận dụng được các kiến thức chuyên ngành để hỗ trợ máy tính.
Hiện nay, các thuật toán đều cố gắng tận dụng được ưu điểm của hai phương pháp này.
Các ngành khoa học liên quan:
• Lý thuyết thống kê: các kết quả trong xác suất thống kê là tiền đề cho rất nhiều phương pháp học máy. Đặc biệt, lý thuyết thống kê cho phép ước lượng sai số của các phương pháp học máy.
• Các phương pháp tính: các thuật toán học máy thường sử dụng các tính toán số thực/số nguyên trên dữ liệu rất lớn. Trong đó, các bài toán như: tối ưu có/không ràng buộc, giải phương trình tuyến tính v.v… được sử dụng rất phổ biến.
• Khoa học máy tính: là cơ sở để thiết kế các thuật toán, đồng thời đánh giá thời gian chạy, bộ nhớ của các thuật toán học máy.
Ứng dụng: Học máy có ứng dụng rộng khắp trong các ngành khoa học/sản xuất, đặc biệt những ngành cần phân tích khối lượng dữ liệu khổng lồ. Một số ứng dụng thường thấy như:
• Xử lý ngôn ngữ tự nhiên: xử lý văn bản, giao tiếp người – máy, …
• Nhận dạng: nhận dạng tiếng nói, chữ viết tay, vân tay, thị giác máy (Computer Vision) …
• Tìm kiếm
• Chẩn đoán trong y tế: phân tích ảnh X-quang, các hệ chuyên gia chẩn đoán tự động.
• Tin sinh học: phân loại chuỗi gene, quá trình hình thành gene/protein
• Vật lý: phân tích ảnh thiên văn, tác động giữa các hạt …
• Phát hiện gian lận tài chính (financial fraud): gian lận thẻ tỉn dụng
• Phân tích thị trường chứng khoán (stock market analysis)
• Chơi trò chơi: tự động chơi cờ, hành động của các nhân vật ảo
• Rôbốt: là tổng hợp của rất nhiều ngành khoa học, trong đó học máy tạo nên hệ thần kinh/bộ não của người máy.
Hình 3.10 Kết quả mạng nơron Kohonen nhận dạng chữ ký
3.4 Trường hợp ngoại lệ
Chương trình được trình bầy ở đây chỉ có khả năng trong nhận dạng các ký tự riêng biệt.
Khi chạy chương trình, ta thấy có vấn đề xảy ra. Ví dụ như: chương trình khó có thể xác định để phận biệt giữa chư “o” thường và chữ “O” hoa, hay chữ số 0 (số không). Vậy ta thấy, giữa các ký tự này thì không thể vận dụng bằng mạng nơron Kohonen.
3.5 Kết luận
Trong chương này, chỉ ra một ứng dụng thực tế của mạng nơron Kohonen. Tiêu điểm của chương này là tạo ra một ứng dụng nhỏ đó là khả năng nhận dạng chữ viết tay.
Các ký tự (chữ ký được scan) được người sử dụng đưa vào với độ phân giải cao. Để biểu diễn được tới mạng nơron, ta giảm bớt độ phân giải này bằng cách sử dụng kỹ thuật cắt xén và tải mẫu, ký tự (chữ ký) được chuyển sang một ảnh thứ hai với độ phân giải thấp hơn nhiều.
Khi ảnh được đưa vào, nó phải được cắt xén để loại bỏ các khoảng trắng. Vì thế nó không phụ thuộc vào vị trí và cỡ viết của ký tự (ảnh).
Sự tải mẫu là quá trình đưa ảnh có độ phân giải cao được chuyển đổi về ảnh có độ phân giải thấp hơn. Mỗi pixel trong ký tự (chữ ký) tải mẫu được ấn định cho một mầu trung bình của vùng tương ứng trong ảnh có độ phân giải cao.
Kết quả ảnh tải mẫu sau đó được đưa tới tập huấn luyện hay tới quá trình nhớ của mạng nơron Kohonen. Mạng nơron Kohonen được sử dụng trong ví dụ này có số nơron đầu vào bằng số pixel của ký tự (hình ảnh) được tải mẫu, và số nơron đầu ra bằng số ký tự mà ta tạo trong tập mẫu.
KẾT LUẬN
Kiến thức đã tìm hiểu được
- Nắm được kiến thức cơ bản của mạng nơron nhân tạo và mạng nơron Kohonen.
- Nắm đượcquy trình chung trong việc xây dựng hệ thống nhận dạng chữ viết.
- Sử dụng phương pháp tính tích vô hướng hai vector để tìm nơron thắng.
- Đưa ra phương pháp trích chọn đặc trưng cho nhận dạng ký tự quang (cụ thể là chữ viết tay bằng chuột và chữ ký đưa và dưới dạng ảnh).
- Phát triển thành công phần mềm nhận dạng ký tự quang (cụ thể là chữ viết tay bằng chuột và chữ ký đưa vào dưới dạng ảnh).
- Chương trình ứng dụng mới đang bước đầu thử nghiệm, và độ chính xác trên tập mẫu (150 mẫu) khoảng 80%.
Hướng phát triển nghiên cứu
Luận văn có thể phát triển cho nhận dạng văn bản viết tay. Tuy nhiên để làm được điều này phải là cả một quá trình tìm hiểu và nghiên cứu lâu dài. Do thời gian có hạn nên luận văn mới chỉ trình bày ở mức độ đơn giản đó là nhận dạng chữ ký và từng ký tự riêng biệt.
Tự đánh giá
Mặc dù em đã cố gắng để hoàn thiện đề tài, nhưng chắc chắn không thể tránh được những thiếu sót, em rất mong nhận được sự chỉ bảo và giúp đỡ của các thầy cô giáo, cùng với sự góp ý kiến của những ai quan tâm.
Do Drive thay đổi chính sách, nên một số link cũ yêu cầu duyệt download. các bạn chỉ cần làm theo hướng dẫn.
Password giải nén nếu cần: ket-noi.com | Bấm trực tiếp vào Link để tải:
MỤC LỤC
MỤC LỤC 1
CÁC HÌNH VẼ, BẢNG BIỂU TRONG LUẬN VĂN 3
THUẬT NGỮ TIẾNG ANH 3
Lời Thank 4
Chương 1. Giới thiệu về mạng nơron nhân tạo 6
1.1 Cấu trúc và mô hình mạng nơron 8
1.1.1 Mô hình một nơron sinh học 8
1.1.2 Cấu trúc và mô hình của một nơron nhân tạo 9
1.2 Cấu tạo và cách làm việc của mạng nơron 12
1.2.1 Mạng nơron một lớp 14
1.2.2 Mạng nơron truyền thẳng nhiều lớp 15
1.2.3 Mạng nơron phản hồi 16
1.2.4 Mạng nơron hồi quy 16
1.2.5 Mạng Hopfield 16
1.2.6 Mạng BAM 18
1.3 Các luật học 19
1.3.1 Học có giám sát 20
1.3.2 Học củng cố 21
1.3.3 Học không có giám sát 21
1.4 Thuật toán lan truyền ngược 23
1.5 Kết luận 29
Chương 2. Tìm hiểu mạng nơron Kohonen 31
2.1 Giới thiệu 31
2.2 Mạng nơron Kohonen 32
2.2.1 Mạng nơron Kohonen nhận dạng 34
2.2.2 Cấu trúc của mạng nơron Kohonen 34
2.2.3 Chuẩn hóa dữ liệu đầu vào 35
2.2.4 Tính toán dữ liệu đầu ra của nơron 36
2.2.5 Ánh xạ lưỡng cực 36
2.2.6 Chọn nơron thắng 37
2.2.7 Quá trình học của mạng Kohonen 38
2.2.8 Tỉ lệ (tốc độ) học 39
2.2.9 Điều chỉnh các trọng số (cập nhật trọng số) 40
2.2.10 Tính toán sai số 40
2.3. Thực thi mạng nơron Kohonen 41
2.3.1 Thực thi mạng nơron truyền thẳng 41
2.3.2 Thực thi lan truyền ngược 46
2.3.3 Các tập huấn luyện 47
2.3.4 Báo cáo tiến trình 48
2.3.4.1 Lớp mạng cơ sở 48
2.3.4.2 Lớp KohonenNetwork 50
2.4 Kết luận 58
Chương 3. Nhận dạng ký tự quang sử dụng mạng nơron Kohonen 60
3.1 Giới thiệu chung 60
3.2 Huấn luyện mạng 61
3.3 Thử nghiệm sử dụng mạng nơron Kohonen để nhận dạng ký tự quang 62
3.4 Trường hợp ngoại lệ 65
3.5 Kết luận 65
KẾT LUẬN 67
Tài tham khảo 68
CÁC HÌNH VẼ, BẢNG BIỂU TRONG LUẬN VĂN
Hình 1.1 Một nơron sinh học 9
Hình 1.2. Sự liên kết các nơron 9
Hình 1.3 Mô hình một nơron nhân tạo 10
Hình 1.4 Đồ thị các dạng hàm kích hoạt 12
Hình 1.5 Mạng nơron ba lớp 13
Hình 1.6 Một số dạng mạng nơron 15
Hình 1.7 Cấu trúc của mạng Hopfield 17
Hình 1.8 Cấu trúc của BAM 18
Hình 1.9: Cấu trúc huấn luyện mạng nơron 20
Hình 1.10: Học có giám sát 21
Hình 1.12: Học không có giám sát 22
Hình 1.13: Sơ đồ cấu trúc chung của quá trình học 23
Hình 1.14: Mạng 3 lớp lan truyền ngược 24
Hình 2.1: Một dạng mạng nơron Kohonen 36
Hình 2.2: Sơ đồ khối biểu diễn huấn luyện mạng nơron Kohonen. 40
Hình 3.1:Mô hình chung trong nhận dạng chữ viết. 62
Hình 3.2: Sơ đồ huấn luyện mạng 62
Hình 3.4: Biểu diễn ký tự e theo ma trận 5x7 pixcel. 64
Hình 3.5: Biểu diễn ký tự e theo ma trận 5x7 bởi các giá trị 64
Hình3.6: Biểu diễn ký tự e ở vector đầu vào 64
Hình 3.7 Vẽ và gán ký tự 65
Hình 3.8 Kết quả mạng nơron Kohonen nhận dạng ký tự e và ký tự c 65
Hình 3.9 Đưa chữ ký vào mạng và gán tên 65
Hình 3.10 Kết quả mạng nơron Kohonen nhận dạng chữ ký 66
THUẬT NGỮ TIẾNG ANH
ANN Mạng nơron cần huấn luyện
BAM Mạng BAM (Bidirectional Associative Memory)
SOM Mạng nơron tự tổ chức (Self Organizing Maps)
PE Phần tử xử lý (Processing Element)
OCR Nhận dạng ký tự quang (optical character recognition)
Lời cảm ơn
Chúng ta đều biết rằng, bộ não con người là một sản phẩm hoàn hảo của tạo hóa, nó có khả năng tư duy và sáng tạo. Hiện nay, con người đang nghiên cứu cách hoạt động của bộ não, sau đó áp dụng cho những công nghệ hiện đại. Để tiếp cận khả năng học, người ta đưa ra mô hình mạng nơron gồm các nơron liên kết với nhau thành mạng phỏng theo cấu trúc mạng thần kinh của con người.
Mỗi nơron riêng lẻ có khả năng xử lý thông tin yếu, nhưng khi chúng được ghép với nhau thành mạng, thì khả năng xử lý thông tin sẽ mạnh hơn rất nhiều. Mỗi cấu trúc mạng đều có một ưu điểm đặc thù, chúng cho ta một công cụ mạnh trong các lĩnh vực kỹ thuật điều khiển và kỹ thuật thông tin. Một mạng nơron nhân tạo là tập hợp một số lớn các phần tử xử lý (các nút hay các khối), thường được tổ chức song song và được cấu hình theo kiến trúc đệ quy. Cách ứng sử trên mạng nơron nhân tạo giống như bộ não con người, nó chứng tỏ khả năng học, nhớ lại, và tổng quát hóa từ dữ liệu huấn luyện.
Mạng nơron nhân tạo là công cụ tốt trong việc giải quyết các bài toán như: hợp và phân lớp đối tượng, xấp xỉ hàm, tối ưu hóa, định lượng vector, phân cụm dữ liệu,...Nó thay thế hiệu quả các công cụ tính toán truyền thống để giải quyết các bài toán này.
Nhận dạng là một lĩnh vực đóng vai trò quan trọng trong khoa học kỹ thuật. Trong hầu hết các vấn đề kỹ thuật ngày nay, ta đều phải xác định, nhận dạng được các mô hình và đối tượng liên quan, để từ đó tìm ra giải pháp. Nhận dạng mô hình là bài toán rất quan trong trong lý thuyết hệ thống. Lý do đơn giản là vì không thể phân tích, tổng hợp hệ thống khi không có mô hình toán học mô tả hệ thống. Trong quá trình xây dựng mô hình hệ thống trên phương diện lý thuyết, người ta thường không khảo sát được mọi ảnh hưởng của môi trường đến tính động học của hệ thống, cũng như những tác động qua lại bên trong hệ thống một cách chính xác tuyệt đối. Rất nhiều yếu tố đã bị bỏ qua, hay chỉ được xem xét đến như là một tác động ngẫu nhiên. Bởi vậy, nếu nói một cách chặt chẽ thì những hiểu biết lý thuyết ban đầu về hệ thống, mới chỉ có thể giúp ta khoanh được lớp các mô hình thích hợp. Để có thể có được một mô hình cụ thể có chất lượng phù hợp với bài cụ thể toán đặt ra trong lớp các mô hình thích hợp đó, thì phải sử dụng phương pháp nhận dạng. Còn bài toán nhận dạng, phân tích phân cụm dữ liệu, là các bài toán rất hay gặp trong thực tế, khi chúng ta nhìn thấy một vật gì đó, thì câu hỏi thường trực của mỗi người là; vật đó có máy loại, và nó thuộc loại nào trong các loại có thể có.
Để giải quyết các bài toán nhận dạng, người ta đã đưa vào các cách tiếp cận khác nhau, mỗi phương pháp tiếp cận trong những bài toán cụ thể đều có những ưu, nhược điểm riêng. Phương pháp ứng dụng mạng nơron trong nhận dạng là một cách tiếp cận mới và hiện đại. Nó có thể là công cụ rất mạnh để giải quyết các bài toán trong lĩnh vực này.
Nội dung của đề tài đi vào tìm hiểu và xây dựng các phần tử nơron cơ bản, xem xét và nghiên cứu cấu trúc một mạng nơron, giới thiệu về mạng nơron nhiều lớp với thuật toán lan truyền ngược. Trọng tâm của đề tài đi vào tìm hiểu về mạng nơron Kohonen (hay mạng nơron tự tổ chức – SOM).
Đề tài gồm ba chương
Chương 1, trình bày cấu trúc một phần tử nơron cơ bản, các cấu trúc mạng nơron nhân tạo thường gặp, thuật toán học, phân tích ưu nhược điểm của chúng, và giới thiệu về thuật toán lan truyền ngược.
Chương 2, tìm hiểu mạng nơron Kohonen.
Chương 3, nhận dạng ký tự quang sử dụng mạng nơron Kohonen.
Cuối cùng em xin Thank các thày cô giáo, đặc biệt là PGS.TSKH Bùi Công Cường đã tận tình chỉ dẫn cho em trong suốt thời gian làm đề tài. Xin Thank các bạn cùng lớp đã tạo điều kiện cho tui được học tập và nghiên cứu trong môi trường tốt.
Hà nội, tháng 12 năm 2009.
Chương 1. Giới thiệu về mạng nơron nhân tạo
Học máy là một ngành khoa học nghiên cứu các thuật toán cho phép máy tính có thể học được các khái niệm.
Phân loại: Có hai loại phương pháp học máy chính
• Phương pháp quy nạp: Máy học/phân biệt các khái niệm dựa trên dữ liệu đã thu thập được trước đó. Phương pháp này cho phép tận dụng được nguồn dữ liệu rất nhiều và sẵn có.
• Phương pháp suy diễn: Máy học/phân biệt các khái niệm dựa vào các luật. Phương pháp này cho phép tận dụng được các kiến thức chuyên ngành để hỗ trợ máy tính.
Hiện nay, các thuật toán đều cố gắng tận dụng được ưu điểm của hai phương pháp này.
Các ngành khoa học liên quan:
• Lý thuyết thống kê: các kết quả trong xác suất thống kê là tiền đề cho rất nhiều phương pháp học máy. Đặc biệt, lý thuyết thống kê cho phép ước lượng sai số của các phương pháp học máy.
• Các phương pháp tính: các thuật toán học máy thường sử dụng các tính toán số thực/số nguyên trên dữ liệu rất lớn. Trong đó, các bài toán như: tối ưu có/không ràng buộc, giải phương trình tuyến tính v.v… được sử dụng rất phổ biến.
• Khoa học máy tính: là cơ sở để thiết kế các thuật toán, đồng thời đánh giá thời gian chạy, bộ nhớ của các thuật toán học máy.
Ứng dụng: Học máy có ứng dụng rộng khắp trong các ngành khoa học/sản xuất, đặc biệt những ngành cần phân tích khối lượng dữ liệu khổng lồ. Một số ứng dụng thường thấy như:
• Xử lý ngôn ngữ tự nhiên: xử lý văn bản, giao tiếp người – máy, …
• Nhận dạng: nhận dạng tiếng nói, chữ viết tay, vân tay, thị giác máy (Computer Vision) …
• Tìm kiếm
• Chẩn đoán trong y tế: phân tích ảnh X-quang, các hệ chuyên gia chẩn đoán tự động.
• Tin sinh học: phân loại chuỗi gene, quá trình hình thành gene/protein
• Vật lý: phân tích ảnh thiên văn, tác động giữa các hạt …
• Phát hiện gian lận tài chính (financial fraud): gian lận thẻ tỉn dụng
• Phân tích thị trường chứng khoán (stock market analysis)
• Chơi trò chơi: tự động chơi cờ, hành động của các nhân vật ảo
• Rôbốt: là tổng hợp của rất nhiều ngành khoa học, trong đó học máy tạo nên hệ thần kinh/bộ não của người máy.
Hình 3.10 Kết quả mạng nơron Kohonen nhận dạng chữ ký
3.4 Trường hợp ngoại lệ
Chương trình được trình bầy ở đây chỉ có khả năng trong nhận dạng các ký tự riêng biệt.
Khi chạy chương trình, ta thấy có vấn đề xảy ra. Ví dụ như: chương trình khó có thể xác định để phận biệt giữa chư “o” thường và chữ “O” hoa, hay chữ số 0 (số không). Vậy ta thấy, giữa các ký tự này thì không thể vận dụng bằng mạng nơron Kohonen.
3.5 Kết luận
Trong chương này, chỉ ra một ứng dụng thực tế của mạng nơron Kohonen. Tiêu điểm của chương này là tạo ra một ứng dụng nhỏ đó là khả năng nhận dạng chữ viết tay.
Các ký tự (chữ ký được scan) được người sử dụng đưa vào với độ phân giải cao. Để biểu diễn được tới mạng nơron, ta giảm bớt độ phân giải này bằng cách sử dụng kỹ thuật cắt xén và tải mẫu, ký tự (chữ ký) được chuyển sang một ảnh thứ hai với độ phân giải thấp hơn nhiều.
Khi ảnh được đưa vào, nó phải được cắt xén để loại bỏ các khoảng trắng. Vì thế nó không phụ thuộc vào vị trí và cỡ viết của ký tự (ảnh).
Sự tải mẫu là quá trình đưa ảnh có độ phân giải cao được chuyển đổi về ảnh có độ phân giải thấp hơn. Mỗi pixel trong ký tự (chữ ký) tải mẫu được ấn định cho một mầu trung bình của vùng tương ứng trong ảnh có độ phân giải cao.
Kết quả ảnh tải mẫu sau đó được đưa tới tập huấn luyện hay tới quá trình nhớ của mạng nơron Kohonen. Mạng nơron Kohonen được sử dụng trong ví dụ này có số nơron đầu vào bằng số pixel của ký tự (hình ảnh) được tải mẫu, và số nơron đầu ra bằng số ký tự mà ta tạo trong tập mẫu.
KẾT LUẬN
Kiến thức đã tìm hiểu được
- Nắm được kiến thức cơ bản của mạng nơron nhân tạo và mạng nơron Kohonen.
- Nắm đượcquy trình chung trong việc xây dựng hệ thống nhận dạng chữ viết.
- Sử dụng phương pháp tính tích vô hướng hai vector để tìm nơron thắng.
- Đưa ra phương pháp trích chọn đặc trưng cho nhận dạng ký tự quang (cụ thể là chữ viết tay bằng chuột và chữ ký đưa và dưới dạng ảnh).
- Phát triển thành công phần mềm nhận dạng ký tự quang (cụ thể là chữ viết tay bằng chuột và chữ ký đưa vào dưới dạng ảnh).
- Chương trình ứng dụng mới đang bước đầu thử nghiệm, và độ chính xác trên tập mẫu (150 mẫu) khoảng 80%.
Hướng phát triển nghiên cứu
Luận văn có thể phát triển cho nhận dạng văn bản viết tay. Tuy nhiên để làm được điều này phải là cả một quá trình tìm hiểu và nghiên cứu lâu dài. Do thời gian có hạn nên luận văn mới chỉ trình bày ở mức độ đơn giản đó là nhận dạng chữ ký và từng ký tự riêng biệt.
Tự đánh giá
Mặc dù em đã cố gắng để hoàn thiện đề tài, nhưng chắc chắn không thể tránh được những thiếu sót, em rất mong nhận được sự chỉ bảo và giúp đỡ của các thầy cô giáo, cùng với sự góp ý kiến của những ai quan tâm.
Do Drive thay đổi chính sách, nên một số link cũ yêu cầu duyệt download. các bạn chỉ cần làm theo hướng dẫn.
Password giải nén nếu cần: ket-noi.com | Bấm trực tiếp vào Link để tải:
You must be registered for see links