Гарантия сои – фундаментальные науки

Автор: Олаво Амарал

Как поступать с данными, которые слишком хороши, чтобы быть правдой?

*

Две недели назад хор о раннем лечении Covid-19 получил удар из-за новостей о том, что египетские клинические испытания, демонстрирующие эффективность ивермектина против болезни, были сняты с платформы препринтов Research Square. Исследование показало снижение смертности у пациентов с тяжелым заболеванием на 90% по сравнению с группой, получавшей гидроксихлорохин.

Многие люди с самого начала не восприняли эту работу всерьез либо потому, что она исходила от малоизвестных исследователей, либо потому, что она была написана на плохом английском, либо потому, что она дала результат слишком впечатляющий, чтобы считаться правдой. Однако ничто из этого не помешало включить его в несколько метаанализов, защищающих ивермектин, поскольку он отвечает за большую часть положительного эффекта, наблюдаемого в них.

Статья была изъята из обращения только после того, как английский журналист Джек Лоуренс решил провести расследование, когда заметил признаки плагиата. Одна из версий статьи содержала ссылку на исходные, платные и защищенные паролем данные. По счастливой случайности, Лоуренс подбросил творческий маленький «1234» и наблюдал, как электронная таблица Excel с необработанными данными материализуется на его экране.

Впоследствии работа «информационного копа» Ника Брауна показала не только несоответствия, но и убедительные доказательства мошенничества: несколько пациентов оказались клонами, созданными методом копирования и вставки, с некоторыми данными, измененными для маскировки. В результате платформа удалила статью, а авторы еще не ответили.

Эта история показательна для анализа еще одного дела, которое набирает обороты в бразильских СМИ. В марте группа исследователей во главе с эндокринологом Флавио Каделиани сообщила на пресс-конференции о драматических результатах применения проксалутамида, антиандрогенного препарата, первоначально разработанного для лечения рака простаты, который, как полагают, привел к снижению смертности госпитализированных пациентов с Covid на 92%. -19. .

Степень успеха быстро привлекла внимание критиков, которые назвали ее невероятной. Задержка в публикации данных (которые появились в препринте более чем через три месяца), высокая смертность в группе плацебо, быстрый набор более 600 пациентов менее чем за месяц и свидетельства отклонений от протокол утвержден этическим комитетом.

Однако отчасти скептицизм вызван факторами, не связанными с данными. С самого начала пандемии Кадгиани уже заявлял о положительных результатах раннего лечения гидроксихлорохином, ивермектином, нитазоксанидом и дутастеридом в дополнение к самому проксалутамиду в амбулаторных условиях – успех для пациента менее маловероятен. Его соратник Рикардо Цимерман был гостем правящей партии на пандемическом CPI и стал цифровым влиятельным лицом в социальных сетях и правых СМИ, сделав свое присутствие известным на таких каналах, как Osmar Terra. Следует также отметить, что неоднократные упоминания президента о проксалутамиде не являются академической печатью.

Это веские причины закрывать глаза на исследование, которое утверждает, что эффективность более 90% от болезни, убивающей миллионы? В конце концов, девиз Королевского общества – «nullius in verba» («ни слова»): научные данные должны быть важнее того, кто их представляет.

Однако, судя по восприятию статьи, безличность находится на рекордно низком уровне. В статье, опубликованной в журнале Science, кардиолог и гуру цифровой медицины Эрик Тополь говорит, что результаты «слишком хороши, чтобы быть правдой» и что «почти нет никаких вмешательств в эту историю медицины с преимуществами такого масштаба». В той же статье упоминается, что Медицинский журнал Новой Англии отклонил статью на том основании, что «результаты на удивление хороши», что привело бы к необходимости пересмотра первичных данных – что, по утверждению журнала, у него нет возможности сделать. …

Увидев свою репутацию, продемонстрированную в скандале с Surgisphere, понятно, что New England Journal не хочет рисковать со статьями, вызывающими подозрения. Тем не менее, эвристика этого решения кажется неоправданной – как и утверждение о том, что крупнейший в мире медицинский журнал не может проверить исходные данные исследования, которые, как утверждает Каделиани, были предложены издателю.

Тем не менее, предложение подходит не для всех. Несмотря на то, что в предварительной публикации указано, что данные доступны по обоснованному запросу, мой запрос на их получение был встречен ответом, что «авторы предпочитают не делиться ими в настоящее время» – ложная доступность, которая повторяет защищенный паролем пароль ссылки на Египетский файл. Отвечая на вопрос в Твиттере, Каделиани оправдал отказ как «несправедливое отношение к различным исследованиям», предположив, что тот факт, что я не запрашивал данные из других работ, ставит под сомнение мою беспристрастность.

Невероятно, но отказ предоставить оригинальные данные исследования – обычная реальность в академической науке. Невозможность получить к нему доступ, вера в утверждения статьи почти всегда основана на том, что говорят авторы. Слова могут звучать не так, как другие, но, как гласит вирусная реклама десятилетней давности, «la Garantieía soy yo». Это делает ставку на репутацию оратора, и это очень важно при принятии решения, во что верить.

Таким образом, дебаты переходят в журналистские расследования – или в социальные сети, где резкие аргументы «ad hominem» с обеих сторон пытаются решить неразрешимую проблему, нападая на репутацию авторов и критиков. И, как и в случае с любым другим предметом, каждая группа в конечном итоге найдет истину, которая им подходит, что приведет к поляризации между врачами и неспециалистами.

Первый шаг в решении проблемы очевиден: анонимные данные исследования должны быть доступны каждому, кто хочет их проанализировать. Хотя эти данные обычно запрашиваются регулирующими органами, и в большинстве статей утверждается, что их можно получить, на самом деле они редко доступны.

Однако даже при наличии открытых данных мошенничество лучше, чем простое копирование и вставка египетской статьи, может быть трудно обнаружить. Таким образом, необходимо развиваться в направлении систем аудита, которые позволяют проверять, отражает ли то, что написано в статье, реальность. В мире, где миллионы тайных голосов подсчитываются за часы, не составит труда проверить, живы ли люди, принимавшие наркотик в ходе исследования, или нет. Как ни странно, это не кажется приоритетом в академии, которая довольна системой, основанной на доверии, которая в конечном итоге сеет разлад.

В конце концов, мы узнаем, верны ли утверждения Каделиани и его коллег – проксалутамид был одобрен Anvisa для дальнейшего тестирования, а правительство Парагвая предоставило экстренное разрешение на использование препарата. Однако до тех пор мы потратим несколько месяцев на то, чтобы причинить вред тысячам людей, либо лишая их эффективного лечения, либо продавая ложные надежды и побочные эффекты неэффективного лекарства и его коммерческих аналогов, которые уже прописаны таким образом, чтобы ” off-label »в Бразилии.

Обе альтернативы неприемлемы и свидетельствуют о неспособности академической науки осуществлять самый элементарный контроль качества – достоверность опубликованных данных. Что-то, что должно быть правом для всех, без необходимости использования паролей, опросов или защиты с авторами.

*

Олаво Амарал – профессор Института медицинской биохимии им. Леопольдо де Мейса UFRJ и координатор Бразильской инициативы по воспроизводимости.

Подпишитесь на информационный бюллетень Serrapilheira, чтобы следить за другими новостями института и блога Ciência Fundamental.

Back to top button