Ученые из Китая представили новый подход к обучению искусственных нейронных сетей, который внедряет хаотическую динамику, аналогичную той, что обнаружена в мозге. Они утверждают, что такой подход не только повышает эффективность обучения, но и улучшает обобщающую способность сетей на различных наборах данных, как нейроморфные, так и статические.
Основной идеей исследования является внедрение в нейронные сети потерь, аналогичных перекрестной энтропии, что создает внутреннюю хаотическую динамику, подобную той, что присутствует в мозге. Они обнаружили, что такой подход значительно улучшает производительность обучения и оптимизации сетей, а также способствует лучшей обобщающей способности на различных наборах данных.
Команда также экспериментировала с введением внешнего хаоса, например, с использованием логистических отображений. Однако это не привело к улучшению производительности обучения нейронных сетей.
Это исследование демонстрирует значимость внутренней хаотической динамики, которая присутствует в мозге, для повышения эффективности его обучения. Новый алгоритм эффективно заполняет пробел между нейронными сетями и традиционными сетями, обладая всего лишь одной дополнительной функцией потерь, которая может быть легко интегрирована в существующие методики обучения.