ЗДОРОВЬЕ и ИНТЕЛЛЕКТ
ЗДОРОВЬЕ и ИНТЕЛЛЕКТ
Наука, общество, медицина, здоровье, долголетие, лекарства и бады = блогинг и новости
Read 7 minutes

Не все исследования одинаковы. Вот несколько советов, как отделить зёрна от плевел.

Давайте копать.

Image for post

Это вообще исследование?

Первый шаг в оценке релевантности статьи – выяснить, что это за статья. Я до сих пор удивляюсь, когда читатель присылает мне статью с мнением или письмо редактору, называя это "исследованием", как будто оно даёт веские доказательства их позиции. Научные журналы публикуют не только одни исследования. Мнение врача, хотя и опубликованное в Медицинском журнале Новой Англии, может обогатить дискуссию, но его не следует путать с клиническим испытанием, проведенным на 5000 человек. Итак, Вопрос №1: Это вообще исследование?

Затем возникает зоологический вопрос: Какое животное (или его часть) были задействованы в испытании? Если ответ "люди", то исследование, скорее всего, имеет отношение к нам. Однако очень часто эксперименты проводятся на животных, таких как мыши, хомяки и черви, или даже на клетках, выращенных в колбах, что известно как исследования in vitro (что означает "в стекле" или в лабораторной посуде, хотя в настоящее время это скорее всего пластик).
Здесь важна прозрачность.

Я хочу пояснить, что исследование на мышах – это не "плохое исследование"; однако слишком часто люди просматривают научные публикации, чтобы найти ответы, которые имеют отношение к их жизни. Мы не большие мыши и не просто груды клеток. Исследования in vitro и эксперименты, проведенные на лабораторных животных, являются очень полезными первыми шагами, но их недостаточно, например, для одобрения нового лечения у людей.

Далее возникает вопрос: Это было наблюдательное исследование или экспериментальное? Как следует из названий, в первом – учёные наблюдают за тем, что происходит естественным образом; в последнем они вмешиваются. Например, в обсервационном исследовании учёные должны были бы посмотреть, сколько лет людям, которые едят много фруктов и овощей, и тем, кто не ест много фруктов и овощей, когда они умирают. Проблема здесь в том, что любое различие, о котором сообщается, может также объясняться другими различиями между двумя группами. Например, люди, которые едят больше фруктов и овощей, могут быть более обеспечены в финансовом отношении и могут иметь доступ к лучшему медицинскому обслуживанию или менее напряжённой работе. Получение убедительных выводов из одного обсервационного исследования редко оправдано.

Клинические испытания – это примеры экспериментальных исследований, но даже в этом случае не все испытания настолько релевантны, как мы можем подумать. Как правило, клинические испытания состоят из трёх фаз. Испытания фазы I связаны с безопасностью. Например, они дают небольшому количеству людей увеличивающиеся дозы тестируемого препарата и наблюдают за побочными эффектами. Успешное испытание фазы I не означает автоматически, что лекарство эффективно. Для этого нам нужно испытание фазы II, в котором рассматривается эффективность, и испытание фазы III, в котором новое лекарство сравнивают со стандартным лечением или плацебо. Только когда вмешательство успешно пройдет этот путь, соответствующие комитеты могут рассмотреть вопрос о его одобрении.

Это первоначальная систематизация, которую мы делаем для рассматриваемых публикаций – мнение экспертов против фактического исследования; работа in vitro по сравнению с экспериментами на животных по сравнению с исследованиями на людях; данные наблюдений против экспериментальных данных – можно посмотреть на пирамиду доказательности, чтобы увидеть, находится ли она на дне или на вершине.

Пирамиды доказательности (множественное число, поскольку существует множество моделей) представляют собой попытки отсортировать более слабые формы научных доказательств, такие как мнение отдельного эксперта, в нижней части пирамиды, а лучшие формы, такие как метаанализ, – в верхней части.

Они не совершенны и подвергаются критике. Действительно, качественное клиническое исследование на самом деле лучше плохого метаанализа многих плохо проведенных исследований, несмотря на то что метаанализ часто находится на самой вершине пирамиды. Кроме того, иногда клинические испытания были бы неэтичными, поэтому мы должны полагаться на обсервационные исследования. Необходима рассудительность, но эти пирамиды должны помочь неспециалисту понять, какой тип исследования даёт более надёжные доказательства.

Теперь, когда мы примерно разобрались с видами исследований, давайте просмотрим публикацию на наличие красных флажков.

Поворот регулятора вниз

Следует рассмотреть конфликты интересов. На первой странице статьи обычно можно увидеть аффилированность авторов. Если все они работают на компанию, которая продает пищевые добавки, и публикация якобы доказывает, что пищевая добавка полезна, пора проявить скептицизм. В самом конце статьи также есть раздел, в котором[, должны быть] перечислены раскрытые авторами конфликты интересов, такие как получение финансирования от фармацевтической компании или членство в совете директоров.

Но важен нюанс. Я не считаю какой-либо конфликт интересов или какой-либо другой из описанных ниже красных флажков причиной для того, чтобы отбросить статью. Конфликт интересов обязательно возникнет, особенно когда государственные университеты побуждают исследователей искать частное финансирование. Скорее, я думаю о доверии к исследованию как о регуляторе с круговой шкалой. Когда я вижу красный флажок, я немного поворачиваю регулятор. Если я вижу достаточное количество красных флажков, регулятор докручивается до нулевого уровня [по шкале доверия и релевантности]. Если я вижу признаки доверия, я кручу ручку вверх, от нулевой отметки.

Бывают ситуации, когда о конфликте интересов трудно узнать. Если систематический обзор (обзор всех исследований, проведённых для ответа на конкретный вопрос) или метаанализ (объединение результатов нескольких исследований для получения наилучшей оценки) проводится группой людей, которым очень выгодно, чтобы их обзор или анализ дал положительный результат, мы также должны держать руку на пульсе. Метаанализ исследований сомнительного вмешательства, противоречащего науке, проведённый, особенно, приверженцами данного вмешательства, должен вызвать подозрения.

Ещё один важный вопрос: Где было опубликовано это исследование?

Некоторые журналы носят хищнический характер: они создаются с единственной целью – заработать деньги и что-нибудь опубликовать. Выявить их может быть непросто, но мы должны помнить, что само существование журнала не является доказательством его легитимности*. Было ли исследование опубликовано в журнале, специализирующемся на лженауке, такой как гомеопатия или энергетическое исцеление? Эти лженауки имеют давнюю историю проведения несерьёзных исследований, которые отдают предпочтение случайным результатам и избегают более тщательно проработанных дизайнов исследований. Поверните регулятор вниз, в сторону нуля.

*В нашем случае, признанные научным сообществом. – прим. ред.

Была ли статья рецензирована, то есть была ли она опубликована в журнале, редактор которого отправил рукопись коллегам-учёным в этой области для критической оценки перед публикацией?

Экспертная оценка не идеальна, но это лучше, чем ничего. Пандемия привела к резкому увеличению количества препринтов, рукописей, которые не прошли рецензирование, в попытке ускорить распространение открытий. Если вы столкнулись с препринтом – поверните регулятор вниз, в сторону нуля.

Это пилотное исследование?

Исследования стоят денег. Часто исследователь проверяет идею с помощью небольшого пилотного исследования и публикует его результаты. Фраза "пилотное исследование" должна быть в заголовке и аннотации. Пилотные исследования, как правило, проводятся на слишком небольшом количестве людей, чтобы быть актуальными. Поверните регулятор вниз, в сторону нуля.

Затем мы переходим к сути статьи: введение, в котором излагается, что мы знаем и на какие вопросы предстоит ответить; раздел материалов и методов с подробным описанием того, что было сделано; результаты; и дискуссия, которая переплетается с интерпретациями.

Размер выборки действительно мал? Это бывает трудно определить, но, если исследование было проведено с участием пяти человек, вы захотите повернуть свой регулятор доверия вниз, к нулю.

Если проводится тестирование вмешательства (например, предоставление людям лекарства или добавки), была ли контрольная группа, которая не получала его? Если нет, поверните регулятор вниз.

Были ли участники рандомизированы в экспериментальную и контрольную группы? Если нет – повторяем действие с регулятором.

Исследования часто разрабатываются для ответа на один вопрос, но исследователи, как правило, также задают множество второстепенных вопросов. Остерегайтесь исследований, в которых этот главный вопрос(часто называемый первичным результатом или конечной точкой) является отрицательным, но где один из многих второстепенных вопросов оказывается положительным и позиционируется как действительно важное открытие. Это не то, для чего изначально было разработано исследование, и потребуется подтверждение озвученного результата.

Помните, что чем больше тестов проведёт учёный, тем больше шансов получить ложноположительный результат. Есть способы корректировки этого (с помощью таких подходов, как поправки Бонферрони), но они не идеальны.

Ещё один момент, о котором следует помнить: Являются ли результаты клинически значимыми? Новая добавка, помогающая людям с бессонницей, может дать статистически значимые результаты, но будут ли они клинически значимыми, если они помогут людям заснуть в среднем на десять минут быстрее? Поверните регулятор вниз.

Наконец, ограничения исследования обычно можно найти ближе к концу раздела обсуждения. Исследователям предлагается указать на недостатки в их исследовании: слишком мало участников, нерепрезентативная выборка (взятая из соображения удобства исследования), которая может не отражать реальность, наблюдение за участниками исследования, которое должно было быть более длительным, и т. д. И когда мы заканчиваем читать эту статью, она важно помнить, что, несмотря на то, что написали авторы и как эта статья была изложена вам теми, кто цитировал её в социальных сетях, наука обычно развивается маленькими шагами. Одно исследование вряд ли поколеблет основы всей области.

Знайте свои ограничения

Трудно оценить ценность и точность научной статьи. Даже экспертам-учёным трудно сделать это в своей собственной области, поэтому, отчасти, случаются опровержения: рецензенты не смогли выявить важных причин, по которым статья не должна была быть опубликована в первую очередь. Способность исследователей злоупотреблять выбором, который им приходится делать при сборе и анализе данных, – то, что называется p-хакингом, – делает оценку их работы ещё более сложной.

Когда мы читаем научную литературу, чтобы "провести собственное исследование", нам также необходимо остерегаться мотивированных рассуждений. Мы можем быть очень добры к плохому исследованию, заключение которого нас утешает. Мы должны быть непредубежденными, но, как сказал профессор Уолтер Котшниг [Walter Kotschnig], не настолько непредубежденными, чтобы "у вас вывалились мозги".

Критическая оценка исследования – это деятельность, которую лучше всего проводить в группах, таких как журнальные клубы в университетах. Вот почему такой сайт, как PubPeer, который публикует комментарии к статье после её публикации, так полезен, и я предлагаю вам поискать название статьи в PubPeer, чтобы узнать, что о ней говорят другие учёные.

Некоторые учёные также взяли на себя обязательство привлекать внимание к плохим исследованиям в социальных сетях. Это не исчерпывающий список, но мне помогает опыт таких детективов данных, как Элизабет Бик, Ник Браун и Гидеон Мейеровиц-Кац. Также стоит следить за Retraction Watch, который раскапывает истории о ненадлежащем научном поведении и некомпетентности.

Проведение собственного исследования требует "держать руку на пульсе" регулятора доверия и релевантности и подкручивая их вверх или вниз по мере необходимости. Это также приносит пользу, если мы признаем ограниченность наших знаний и прислушиваемся к мнению экспертов.

источник https://www.mcgill.ca/oss/article/critical-thinking/doing-your-own-research-little-bit-better
редактура и адаптация Дмитрий Бобров

2 views
Add
More
ЗДОРОВЬЕ и ИНТЕЛЛЕКТ
Наука, общество, медицина, здоровье, долголетие, лекарства и бады = блогинг и новости
Follow