Почему большинство исследований о "различиях между мужчинами и женщинами" не доказывают заявленный эффект
Учёные проверили 200 научных работ, авторы которых заявляли, что мужчины и женщины по-разному реагируют на лечение, лекарственные препараты или другие воздействия. Однако выяснилось: в большинстве публикаций исследователи не проводили статистический анализ, способный подтвердить подобный вывод. Несмотря на это, статьи публиковались в ведущих научных журналах.
Результаты нового анализа, опубликованного в PNAS, указывают на серьёзную методологическую проблему в нейронауках, психологии и поведенческой медицине. Менее четверти изученных работ действительно содержали корректное сравнение мужских и женских показателей. Это означает, что многие выводы о "половых различиях" могут быть основаны не на доказательствах, а на ошибочной интерпретации данных.
Как возникла проблема
В последние годы научные организации и государственные фонды стали активнее требовать включать в исследования представителей обоих полов. Такая политика должна была сделать медицинские знания более универсальными и помочь понять, отличаются ли течение заболеваний и реакция на препараты у мужчин и женщин.
Сам по себе такой подход важен. Биологические особенности действительно могут влиять на развитие некоторых болезней, действие лекарств, гормональные процессы и работу нервной системы. Но присутствие мужчин и женщин в одной выборке ещё не доказывает, что они реагируют по-разному.
Как отмечает профессор психологии Эмори-университета Донна Маней, интерес к половым различиям давно остаётся высоким. После введения новых требований исследователи стали чаще включать в эксперименты участников обоих полов, а число публикаций с заявлениями о различиях заметно выросло. Однако при внимательном изучении оказалось, что многие авторы не сравнивали группы напрямую.
Что именно считается корректным сравнением
Чтобы доказать, что определённое воздействие работает неодинаково для мужчин и женщин, недостаточно отдельно проанализировать результаты в каждой группе.
Например, исследование может показать, что препарат статистически значимо улучшил состояние женщин, но не дал заметного результата у мужчин. На первый взгляд это выглядит как половое различие. Однако такой вывод может быть ошибочным: отсутствие статистической значимости в одной группе не означает, что эффект действительно отличается от эффекта в другой.
Правильный метод предполагает прямое статистическое сравнение самих эффектов. Иными словами, необходимо проверить, насколько различаются результаты у мужчин и женщин, а не просто оценить каждую группу отдельно. Обычно для этого используют взаимодействие между полом и экспериментальным воздействием в рамках регрессионной модели или дисперсионного анализа.
Именно такого теста во многих публикациях не оказалось.
Что показала проверка 200 статей
Исследователи проанализировали более тысячи научных публикаций, в названиях которых встречались формулировки вроде "зависимый от пола эффект" или "полоспецифическая реакция". Из этого массива отобрали 200 работ, опубликованных в период с 2019 по 2023 год.
Половина статей была посвящена исследованиям с участием людей. Остальные эксперименты проводились на животных, главным образом на мышах и крысах. Авторы нового анализа вручную изучили методику каждой публикации, чтобы выяснить, как именно были получены заявления о различиях между полами.
Результат оказался неожиданным: менее одной статьи из четырёх содержала статистическое сравнение, действительно способное подтвердить заявленный вывод.
Более половины публикаций вообще не сравнивали показатели мужчин и женщин между собой, хотя уже в заголовке утверждали, что обнаружен половой эффект. В некоторых работах необходимый анализ упоминался, но его результаты не приводились. В других случаях авторы проводили сравнение, однако оно не достигало статистической значимости, а формулировка заголовка всё равно сохраняла категоричное утверждение о различиях.
Почему раздельный анализ вводит в заблуждение
Наиболее распространённая ошибка заключается в сравнении статистически значимого результата в одной группе со статистически незначимым результатом в другой. Такой подход часто называют логикой "значимо у одних, незначимо у других".
Предположим, препарат дал заметное улучшение у женщин, а у мужчин эффект оказался менее выраженным и статистически неубедительным. Это ещё не подтверждает, что препарат действует по-разному. Разница между двумя оценками может быть слишком малой, а различие в уровне значимости - следствием размера выборки, разброса данных или случайности.
Чтобы сделать обоснованный вывод, требуется отдельный тест взаимодействия. Он отвечает на конкретный вопрос: отличается ли действие препарата у мужчин от действия препарата у женщин?
Предыдущие исследования показывали ту же тенденцию
Новые результаты не стали полностью неожиданными. Более ранний анализ публикаций по нейронаукам, проведённый в 2020 году, показал: примерно половина экспериментов включала участников обоих полов, но прямое статистическое сравнение выполнялось только в 15% случаев.
Исследование, опубликованное в 2022 году и охватившее нейронаучные и психиатрические работы, выявило похожую картину. За десятилетие число экспериментов с участием мужчин и женщин выросло, однако лишь около 5% статей рассматривали пол как ключевую переменную для проверки различий.
Таким образом, сам факт включения обеих групп не привёл к полноценному изучению половых особенностей. Во многих случаях пол использовался скорее как формальный параметр, чем как полноценный объект анализа.
Чем это опасно для медицины
Проблема имеет не только академическое значение. Научные публикации влияют на рекомендации врачей, разработку лекарств и представления о том, кому подходит определённое лечение.
Если статья создаёт впечатление, что препарат действует по-разному у мужчин и женщин, хотя корректного анализа не проводилось, последующие исследователи могут принять это утверждение за установленный факт. Затем оно способно попасть в обзоры, метаанализы и клинические рекомендации.
В результате врачам могут предложить учитывать половую принадлежность там, где для этого нет достаточных оснований. Это способно привести к неэффективному назначению препаратов, необоснованным ограничениям или, наоборот, к недооценке реальных различий.
Как улучшить качество подобных исследований
Авторы анализа считают, что проблему можно уменьшить несколькими способами. Прежде всего, исследователи должны заранее формулировать гипотезы о возможных различиях и включать необходимые статистические тесты в план работы ещё до начала эксперимента.
Важно также учитывать достаточный размер выборки в каждой группе. Если мужчин или женщин слишком мало, исследование может не обладать необходимой статистической мощностью. В таком случае отсутствие различий нельзя уверенно трактовать как доказательство одинаковой реакции.
Не менее значима прозрачность публикаций. Авторы должны показывать результаты прямого сравнения, даже если они оказались отрицательными. Это помогает избежать ситуации, когда в заголовке сохраняется сильное утверждение, не подтверждённое представленными данными.
Редакторы журналов и рецензенты также могут сыграть важную роль. При рассмотрении статьи необходимо проверять, соответствует ли формулировка о половом различии использованным методам анализа. Если прямого теста нет, выводы следует смягчить или дополнить необходимыми расчётами.
Что следует учитывать читателям научных новостей
Заявление о том, что "мужчины и женщины реагируют по-разному", не всегда означает, что различие было непосредственно измерено. При оценке подобных сообщений стоит обратить внимание на несколько вопросов: сравнивались ли группы напрямую, был ли проверен эффект взаимодействия, сообщались ли размеры эффекта и доверительные интервалы, а также достаточно ли участников участвовало в каждой группе.
Особенно осторожно нужно относиться к громким заголовкам. Формулировка в названии статьи может быть более категоричной, чем результаты внутри публикации. Иногда авторы используют понятия "полоспецифический" или "зависимый от пола" для описания раздельных результатов, хотя строгого доказательства различий между группами нет.
Наличие биологических различий между полами в отдельных областях науки вполне возможно, но каждое такое утверждение требует отдельной проверки. Включить мужчин и женщин в эксперимент - лишь первый шаг. Чтобы говорить о различиях, необходимо корректно сопоставить их результаты, учесть возможные смешивающие факторы и честно представить статистическую неопределённость.
Главный вывод исследования прост: количество публикаций о половых различиях ещё не говорит о качестве доказательств. Научное утверждение становится убедительным только тогда, когда его поддерживает соответствующий анализ, а не только раздельные результаты двух групп.
