Ученые из Канады, Сингапура и США провели исследование, в ходе которого протестировали пятнадцать различных больших языковых моделей. Целью проверки было определение способности этих моделей находить методологические недочеты в научных публикациях, касающихся клинических исследований.
Результаты показали значительное превосходство моделей над человеческими экспертами. В среднем, большие языковые модели смогли обнаружить методологические ошибки в диапазоне от 53 до 99 процентов. При этом процент обнаружения таких ошибок у человека составил лишь около 27 процентов.
Наиболее впечатляющий результат продемонстрировала модель Opus 5.5, которая смогла выявить серьезные ошибки с показателем в 99 процентов. Данные этого научного исследования были официально размещены на портале препринтов medRxiv.org.