Невидимая одежда экспертной оценки – фундаментальная наука

Автор: Олаво Амарал

Качественное сито академической науки исходит от авторитета, но мало что значит

*

Вы можете сделать ставку: при любом обсуждении научных данных рано или поздно кто-то будет использовать аргумент «статья, прошедшая рецензирование», либо для подтверждения утверждения, либо для его дискредитации, если рецензия не состоялась.

Проверка рецензирования – одобрение независимыми исследователями перед публикацией статьи – считалась оплотом научных исследований на протяжении десятилетий (или более века, в зависимости от предметной области), и для многих она определяет, что считается ” наука », а что нет.

На культовом изображении Марша науки в Вашингтоне в 2017 году перед Капитолием висит плакат с надписью «В экспертной оценке мы доверяем», что является намеком на «Мы верим в Бога». Однако подмена означает замену одной догматической веры на другую.

В конце концов, «рецензирование» означает лишь то, что несколько человек – обычно двое или трое – просмотрели статью и не увидели причин для отказа в ее публикации. Поскольку этот процесс обычно происходит за закрытыми дверями, неясно, кто эти люди, какие мнения они выражают или что они потрудились проверить.

Помимо этого, рецензенты часто не проходят обучение на работе или не получают указаний о том, что проверять, им не платят и не награждают за свою работу, поэтому у них мало поддержки или поддержки. Неудивительно, что согласие между различными оценщиками минимально, а иногда граничит с случайностью.

Как будто этого было недостаточно, они действуют только в конце научного процесса, когда проблемы сбора данных уже являются неразрешимыми. Что еще хуже, они работают на основе отчетов авторов и, как правило, не имеют доступа к исходным данным, что не позволяет им обнаруживать большинство ошибок и упущений, которые могут возникнуть на протяжении всего проекта.

Если ничего из этого не заставляет вас подозревать, что что-то не так, представьте, что вы применяете ту же логику в других областях. Если бы авиакомпания сообщила вам, что они делегировали контроль качества двум или трем экспертам, которые просматривают отчет объемом в несколько страниц о постройке готового самолета, вы бы взяли на борт?

Доверие научного сообщества к экспертной оценке вызывает еще большее недоумение, учитывая ограниченные данные о влиянии этого процесса в научной литературе. Сравнение препринтов (статей, опубликованных до рецензирования) и их исправленных версий показывает, что различия в качестве невелики и что текст и ключевые результаты меняются редко.

Что касается функции фильтра, то неисправность системы еще более разительна. Абсурдные статьи с грубыми ошибками или абсурдными выводами, написанные с целью пошутить, неизменно где-то принимаются. Проблема усугубляется так называемыми «хищническими журналами» – журналами, которые взимают плату за публикации и видят, что их прибыль максимальна из-за отсутствия строгости.

Пандемия Covid-19 является плодородной на примерах хрупкости системы. Теоретически рецензируемые журналы публиковали такие странные вещи, как идея о том, что технология 5G может привести к SARS-CoV2. Между тем, журналы, редакторы которых связаны с Институтом больничной и университетской инфекций Дидье Рауля, стали пристрастной витриной исследований, пропагандирующих использование гидроксихлорохина.

Было бы легко приписать проблему некачественным публикациям, но самый громкий скандал о пандемии обрушился на Lancet и New England Journal of Medicine, самые уважаемые медицинские журналы в мире, которые были вынуждены публиковать статьи с подозрительными производственными данными по частям. компании Surgisphere.

Это неудивительно: хотя традиционные журналы, как правило, более избирательны при приеме статей, в их процессах рецензирования нет ничего особенного. Кроме того, необходимость публикации в этих журналах может побудить ученых принять таблетки, чтобы сделать свои результаты более привлекательными. Таким образом, использование «публикаций воздействия» в качестве критерия качества не решает проблемы: в конце концов, наглядность и надежность – это разные вещи.

В эпизоде ​​«Сургисфера» критики сразу же указали на виновников, например на предвзятость редакторов или поспешность критиков. Однако в основном ответственным является сама система проверки, которая без доступа к данным или процессу, с помощью которого они были получены, неспособна выявлять хорошо выполненные мошенничества.

Если экспертная оценка не является правилом, что мы можем назвать «научно доказанным»? Возможно, лучший ответ, несколько тавтологический, – это «научный консенсус». Но определить это не всегда легко. Позиции научных институтов и обществ являются приблизительными, но у них есть своя политическая сторона – которая в случаях, подобных положению бразильских медицинских ассоциаций, обычно заигрывает с профсоюзным движением – и далеко не свободна от предрассудков.

На самом деле у нас нет эффективных институциональных средств для разграничения того, что является надежной наукой, чего крайне не хватает в публичных дебатах. Это можно увидеть в том, что агентства по проверке фактов обрабатывают десятки статей за и против раннего лечения Covid – дело слишком сложное, чтобы его можно было охарактеризовать как «# факт» или «# фальшивка».

Таким образом, предстоит многое сделать для создания знака доверия, выходящего за рамки «экспертной оценки». Однако это станет возможным только в том случае, если мы преодолеем веру в то, что двух или трех рецензентов, рецензирующих PDF-файл, достаточно для оценки качества такого сложного процесса, как научное исследование.

Историй успеха предостаточно: аудиты, сертификаты и стандартные процедуры – обычное дело в аэропортах, гражданских зданиях и больницах, и возникает вопрос, почему они так редки в академических учреждениях. И даже такие компании, как Википедия, имеют более сложные и надежные процессы проверки и исправления, чем анемичное и непрозрачное рецензирование научных статей.

Без лучших форм надзора академические исследования останутся уязвимыми для мошенничества, ошибок и предрассудков, подпитывая шарлатанство с печатью «научно доказано». Это просто естественное следствие веры в процесс, когда никто не видит, что делается. Как и в детской сказке, Король обнажен под невидимой одеждой для рецензирования, и иногда требуется ребенок или пандемия, чтобы заставить нас признать это.

*

Олаво Амарал – профессор Института медицинской биохимии им. Леопольдо де Мейса UFRJ и координатор Бразильской инициативы по воспроизводимости.

Подпишитесь на информационный бюллетень Serrapilheira, чтобы следить за другими новостями института и блога Ciência Fundamental. У вас есть предложенная повестка дня? Вот как сотрудничать.

Back to top button