"過学習(かがくしゅう)(Quá phù hợp)" là hiện tượng trong học máy và các mô hình thống kê khi mô hình trở nên quá mức thích nghi với dữ liệu huấn luyện. Cụ thể, điều này xảy ra khi mô hình phù hợp quá mức với ノイズ(Nhiễu) hoặc biến động ngẫu nhiên trong dữ liệu huấn luyện, dẫn đến hiệu suất cao trên dữ liệu huấn luyện nhưng giảm hiệu suất khi xử lý dữ liệu mới hoặc chưa thấy trước.

Đặc điểm của 過学習(Quá phù hợp)

・Độ chính xác cao trên dữ liệu huấn luyện: Mô hình thể hiện độ chính xác hoặc mức độ phù hợp rất cao trên dữ liệu huấn luyện, vì nó đã học các mẫu hoặc nhiễu đặc trưng của dữ liệu đó.
・Độ chính xác thấp trên dữ liệu kiểm tra: Độ chính xác và hiệu suất dự đoán của mô hình giảm khi xử lý dữ liệu mới hoặc dữ liệu kiểm tra. Điều này xảy ra vì mô hình quá chuyên biệt cho dữ liệu huấn luyện và thiếu khả năng tổng quát.

Nguyên nhân của 過学習(Quá phù hợp)

・Độ phức tạp của mô hình: Khi mô hình rất phức tạp và có nhiều パラメータ(Tham số), nó có xu hướng 過学習(Quá phù hợp) với dữ liệu huấn luyện.
・Dữ liệu huấn luyện không đủ: Với lượng dữ liệu huấn luyện hạn chế, mô hình có thể học quá nhiều từ các đặc điểm cụ thể của dữ liệu, bao gồm cả nhiễu.

Các biện pháp xử lý 過学習(Quá phù hợp)

・Xác thực chéo: Kỹ thuật này bao gồm việc chia dữ liệu thành nhiều tập con để đánh giá hiệu suất của mô hình và phát hiện 過学習(Quá phù hợp).
・Chính quy hóa: Thêm các điều khoản hình phạt để hạn chế độ phức tạp của mô hình.
・Tăng cường dữ liệu huấn luyện: Sử dụng nhiều dữ liệu huấn luyện hơn giúp mô hình học các mẫu tổng quát hơn thay vì 過学習(Quá phù hợp) với các đặc điểm cụ thể của dữ liệu hiện có.
・Dừng sớm: Dừng quá trình huấn luyện khi hiệu suất của mô hình bắt đầu xấu đi trên dữ liệu kiểm tra trong quá trình huấn luyện.

Ngăn chặn 過学習(Quá phù hợp) giúp cải thiện khả năng tổng quát của mô hình và nâng cao hiệu suất của nó trên dữ liệu mới.