Adagrad — один из ранних адаптивных алгоритмов оптимизации, который заметно повлиял на развитие методов обучения нейросетей. Его предложили в 2011 году как способ автоматически подбирать шаг обновления параметров в зависимости от истории градиентов. В отличие от классического стохастического градиентного спуска, где скорость обучения обычно одинакова для всех весов, Adagrad ведет отдельную статистику для каждого параметра модели. Главная идея Adagrad заключается в накоплении квадратов прошлых градиентов. Если некоторый параметр часто получает большие обновления, алгоритм постепенно уменьшает для него эффективную скорость обучения. Если же параметр обновляется редко, шаг остается относительно крупным. Такая логика особенно полезна в задачах с разреженными признаками, где часть весов активируется значительно реже других. Поэтому Adagrad получил распространение в обработке естественного языка, рекомендательных системах и моделях, работающих с большими словарями. В контексте нейросетей Adagrad важен не только как самостоятельный оптимизатор, но и как историческая основа для более поздних методов. Многие идеи адаптивного обучения, которые затем развили RMSProp, Adam и их модификации, связаны с попыткой решить ограничения Adagrad. Его сильная сторона — простота и предсказуемость: алгоритм не требует сложной настройки множества гиперпараметров и хорошо объясняется через накопленную статистику градиентов. При этом у Adagrad есть существенное ограничение. Поскольку сумма квадратов градиентов постоянно растет, эффективная скорость обучения со временем может стать слишком малой. На длинных циклах обучения это приводит к замедлению прогресса, особенно в глубоких нейросетях с большим числом параметров. Именно поэтому в современных архитектурах чаще используют оптимизаторы, которые не просто накапливают всю историю, а применяют скользящее среднее или механизмы коррекции. Несмотря на это, Adagrad нельзя считать устаревшим только из-за возраста. Он остается полезным ориентиром при сравнении оптимизаторов и иногда применяется в задачах, где разреженность данных важнее длительной тонкой настройки. В системах машинного обучения его могут выбирать за устойчивое поведение, понятную математику и способность автоматически усиливать редкие, но значимые признаки.