Как же он работает?
Главное упрощение которые мы сделали — это называние градиентного бустинга нейронной сеткой. Так как в обществе однозначно сложилось ознакомленность в сторону термина нейронных сетей, решили не быть занудами с пояснением что такое бустинг так как всем пофиг.
Значит мы использовали любимый всеми Сatboost от Яндекса. Потому что он быстро работает и прост в обучении.
Он работает так: сначала мы строим простую модель, которая может делать некоторые предсказания. Затем мы смотрим, где эта модель ошибается, и добавляем еще одну модель, которая исправляет ошибки первой модели. После этого мы смотрим на ошибки новой модели и снова строим еще одну модель, исправляющую эти ошибки.
Мы продолжаем этот процесс до тех пор, пока наша модель не будет достаточно точной. Главной идеей градиентного бустинга является то, что каждая новая модель, которую мы добавляем, учитывает ошибки предыдущих моделей, и улучшает общую точность модели. В нашей модели мы сделали 2000 таких этапов.
Когда все модели построены, мы объединяем их, чтобы получить финальную модель, которая сможет делать точные прогнозы на основе данных, которые мы даем ей на вход.
Значит мы использовали любимый всеми Сatboost от Яндекса. Потому что он быстро работает и прост в обучении.
Начало
Градиентный бустинг - это метод машинного обучения, который позволяет построить предсказательную модель, которая способна делать точные прогнозы на основе большого количества различных признаков.Он работает так: сначала мы строим простую модель, которая может делать некоторые предсказания. Затем мы смотрим, где эта модель ошибается, и добавляем еще одну модель, которая исправляет ошибки первой модели. После этого мы смотрим на ошибки новой модели и снова строим еще одну модель, исправляющую эти ошибки.
Мы продолжаем этот процесс до тех пор, пока наша модель не будет достаточно точной. Главной идеей градиентного бустинга является то, что каждая новая модель, которую мы добавляем, учитывает ошибки предыдущих моделей, и улучшает общую точность модели. В нашей модели мы сделали 2000 таких этапов.
Когда все модели построены, мы объединяем их, чтобы получить финальную модель, которая сможет делать точные прогнозы на основе данных, которые мы даем ей на вход.
Пример титаник
Есть хорошая картинка, которая показывает выживет ли человек на титанике.
Тут три дерева принимают в разной последовательности данные о пассажире и потом общим ансамблем голасуют выживет ли человек или нет.
Sex - Пол
pclass - Класс билета. Их было 3 уровня.
Age - Возраст
sibsp - Были ли супруги на борту
parch - Кол-во детей на борту
После оубчение модели можно спросить, какие переменные влияют на результат.
Sex - Пол
pclass - Класс билета. Их было 3 уровня.
Age - Возраст
sibsp - Были ли супруги на борту
parch - Кол-во детей на борту
После оубчение модели можно спросить, какие переменные влияют на результат.