Исследователи из Института искусственного интеллекта AIRI разработали первый в мире набор тестов, оценивающих геометрическую точность генеративных ИИ-моделей, которые работают с трёхмерными структурами белков. Проверка 10 передовых систем показала, что лидирующие модели проходят стандартные бенчмарки почти на 100%, но в новом тесте лучшая набрала только 40 баллов. Это говорит о серьёзных ограничениях в понимании пространственной формы.
Новый тест заставляет нейросеть не просто предсказывать или достраивать белок, а сохранять точную трёхмерную геометрию без искажений. При этом оценивается не только финальный результат, но и этапы, на которых модель начинает ошибаться. Такой подход позволяет выявить конкретные проблемы в обучении и архитектуре.
Лучше всего с тестом справились модели Genie2, La-Proteina и RFdiffusion, но и они решили меньше половины задач. Разработчики считают, что это открывает путь к ускоренному созданию более совершенных версий нейросетей. Понимание геометрии критически важно для дизайна новых лекарств и белков с заданными свойствами.
«Для оценки возможностей современных генеративных моделей исследователи протестировали десять систем двух типов. Тестирование показало, что существующие бенчмарки лидирующие модели проходят почти полностью, в то время как в рамках созданного теста лучшая модель набирает лишь 40 баллов из 100. Это говорит о серьёзных ограничениях в геометрической точности этих систем», — сказано в сообщении AIRI.