Khởi tạo trung tâm bằng không / khởi tạo không thiên lệch là gì?

Khởi tạo trung tâm bằng không hoặc khởi tạo không thiên lệch là một kỹ thuật được sử dụng rộng rãi trong học máy và học sâu để thiết lập các trọng số hoặc tham số ban đầu của một mô hình thành không. Phương pháp này nhằm tránh những thiên lệch trong các giai đoạn đầu của quá trình huấn luyện, cải thiện tốc độ hội tụ và hiệu suất tổng thể của mô hình.

Trong học sâu, việc khởi tạo trọng số của mạng có tác động sâu sắc đến hiệu suất cuối cùng của mô hình. Bằng cách khởi tạo trọng số thành không, mô hình có thể học tốt hơn cấu trúc của dữ liệu trong quá trình huấn luyện mà không bị sự không ổn định do trọng số khởi tạo ngẫu nhiên gây ra. Chìa khóa của phương pháp này là giảm thông tin dư thừa trong các giai đoạn đầu của quá trình huấn luyện, giúp mô hình nhanh chóng tìm ra các giải pháp tối ưu.

Tuy nhiên, khởi tạo bằng không cũng có những nhược điểm. Một vấn đề lớn là khi tất cả các trọng số được khởi tạo bằng không, các đầu ra của bất kỳ lớp nơ-ron nào trong quá trình lan truyền phía trước đều giống nhau. Điều này có thể cản trở việc cập nhật hiệu quả các trọng số trong quá trình giảm dần gradient, làm cho mô hình không thể học được. Do đó, thường được khuyến nghị sử dụng các chiến lược khởi tạo khác, chẳng hạn như khởi tạo Xavier hoặc khởi tạo He, trong một số trường hợp nhất định.