Ученые из KAIST (Корейский институт науки и технологий) разработали новую технологию, которая ускоряет и улучшает процесс обучения нейросетей. Открытие основано на принципах работы человеческого мозга, который начинает учиться еще до получения сенсорной информации.
Исследовательская группа решила одну из главных проблем нейросетевых технологий — проблему транспортировки весов, которая мешала созданию биологически правдоподобных моделей обучения. Эта проблема возникла ещё в 1986 году, когда Джоффри Хинтон предложил метод обратного распространения ошибок, но для его работы требуется предположение, что нейроны могут учитывать всю информацию о соединениях между слоями. Это было признано невозможным для биологических нейронных сетей.
Команда из KAIST продемонстрировала, что мозг начинает обучение через случайную активность нейронов ещё до того, как он получает внешние стимулы. Они использовали этот принцип для создания нейросети, которая предварительно обучалась на случайных данных (шум), что позволило создать условия для эффективного обучения без необходимости транспортировки весов. В результате, нейросеть, прошедшая предварительное обучение, значительно ускоряет процесс обучения и повышает точность при работе с реальными данными.
arXiv