Компания Sakana AI снова удивляет — на этот раз они показали, как принципы биологической эволюции можно использовать для обучения нейросетей. Вместо того чтобы полагаться на одну огромную монолитную модель, исследователи предлагают экосистему ИИ-агентов, которые взаимодействуют друг с другом. А вдохновение нашли, как ни странно, в природе. В основе нового подхода лежит метод M2N2 (Model Merging of Natural Niches), построенный на трёх ключевых идеях: 1. Генетическая смесь моделей Как в природе ДНК передаётся от родителей, так и здесь параметры двух моделей объединяются. Алгоритм выбирает «точку разреза», до которой берёт веса одной модели, а после — другой. Если «ребёнок» показывает хорошие результаты (фитнес), он остаётся в системе, если нет — выбывает. Дарвин был бы доволен 🧬. 2. Конкуренция за данные Каждый датапоинт в обучении — это ресурс. Если одна модель уже «съела» его и получила высокий скор, другим остаётся искать новые примеры. Так возникает специализация агентов. По сути, модели учатся занимать свою нишу, как виды в природе. 3. Умный выбор партнёра Вместо случайного кроссовера всё устроено хитрее. Один «родитель» выбирается по результатам, а второй — так, чтобы компенсировать слабые стороны первого. Получается баланс, когда дети наследуют не только силу, но и умение закрывать пробелы. Результаты и примеры В статье авторы показали, что с помощью M2N2 можно обучать модели вообще без градиентов и backprop — только через эволюционные операции: слияние, мутацию и отбор. 🔹 Эксперимент. 20 случайно инициализированных MLP довели до уровня CMA-ES на MNIST — и это оказалось даже быстрее и дешевле. 🔹 Смешение моделей. Объединение WizardMath-7B и AgentEvol-7B дало агента, который одновременно силён в математике и агентных задачах. Причём без привычного «забывания», которое часто случается при файн-тюнинге. 🔹 Работает и с диффузионками, и с мультимодальными моделями. Получается что-то вроде «генетического алгоритма на стероидах». Sakana AI доказали, что эволюция — это не только про природу, но и про ИИ. Причём их подход оказался не просто интересным, а ещё и практичным и эффективным. Кстати, работа уже получила награду Best Paper на конференции GECCO’25. Ну а мы всё ближе к моменту, когда фразу «модель эволюционировала» придётся воспринимать буквально 🦾.