Почему модель машинного обучения переобучается?

Здравствуйте. Я начал изучать машинное обучение и тренировал модель на наборе данных с около 5000 примеров. На тренировочной выборке модель показывает отличные результаты, но как только я перехожу к тестовой выборке, точность сильно падает. Я читал, что это называется "переобучением", но не совсем понимаю, почему это происходит и как его избежать. Какие методы или техники помогут мне улучшить обобщение модели, чтобы она хорошо работала на новых данных?