Новое исследование показало: 79% научных публикаций об использовании искусственного интеллекта (AI) в научных задачах завышают результаты из-за слабых бенчмарков, отсутствия публикаций о неудачах и систематических ошибок отчётности. Автор статьи, физик из Принстона, отмечает, что большинство исследований ИИ для науки сравнивают свои методы с устаревшими или неэффективными подходами, что приводит к избыточному оптимизму и искажённой картине прогресса.

С 2015 по 2022 год доля публикаций, где используется ИИ, выросла с 2% до 8%. Однако анализ сотен статей выявил, что в 79% случаев ИИ выигрывал только на фоне слабых методов. Почти не публикуются отрицательные результаты, а эффект «выжившего» приводит к необоснованному хайпу вокруг ИИ-решений. Даже масштабные проекты (например, DeepMind по открытию новых материалов) подверглись критике за отсутствие воспроизводимости.

В результате автор призывает к скептицизму, усилению прозрачности и публикации негативных результатов. ИИ способен быть полезным инструментом для науки, но ожидания о революционном ускорении прогресса зачастую не соответствуют реальным результатам. Необходим переход к более строгой верификации, независимым бенчмаркам и мотивации к открытому обмену данными и ошибками.