Как разоблачали мирового эксперта по психологии питания
Многие слышали о рекомендациях выбирать тарелки поменьше или не ужинать перед телевизором. Но есть ли у них научное обоснование?
Если уменьшить размер тарелок, люди станут есть меньше? Виновато ли телевидение, что люди переедают? Вредно ли заставлять ребенка съедать все, что есть на тарелке? Станет ли он сам после этого есть слишком много?
Исследования, которые опубликовал Брайан Вансинк, популярный и влиятельный эксперт по психологии питания, утверждают, что да. Его работы – эти и множество других – получили широкую известность. Сам автор – признание и даже авторитет в правительственных структурах США.
Но не так давно он оказался в центре одного из самых громких научных скандалов последнего времени. Ученого, по его собственному выражению, с мировым именем, обвинили в подтасовках результатов. Критики нашли в его исследованиях множество ошибок и неточностей. Несколько статей были сняты с публикации.
Теперь скандал получил продолжение. Редакция авторитетного научного издания Journal of the American Medical Association (JAMA) объявила, что снимает сразу шесть статей, подготовленных при участии Вансинка – упомянутые исследования о телевидении, больших тарелках, привычкахпитания у детей и несколько других.
На сегодня, по данным сервиса Retraction Watch, с публикации сняты 13 научных статей Вансинка (одна из них дважды), в полтора десятка внесены исправления. Это много – большинство ученых, как отмечает Стивен Зальцберг, профессор биоинженерии Университета Джонса Хопкинса, вообще не сталкиваются с такими проблемами в своей карьере (хотя есть свидетельства, что сомнительные методы, к которым прибегал известный ученый, распространены и среди его коллег). «Это серьезная проблема, – говорит он. – Как вообще доверять автору с таким послужным списком?».
Следует отметить – журнал не опроверг выводы, но поставил под сомнение их научную основу (это не значит, что телевидение не может приводить к перееданию, но теперь для этого меньше доказательств). История напомнила, как научный процесс может расходиться с ожиданиями общества, требующего простых ответов. И что может происходить, если ученый начинает действовать в соответствии с этими ожиданиями.
Карьера
Брайан Вансинк – профессор Корнелловского университета, автор сотен научных работ и бестселлеров о питании. Его исследования широко освещались прессой. Он разрабатывал программы здорового питания. К его услугам прибегало даже правительство США – он составлял рекомендации по вопросам еды для Департамента сельского хозяйства.
Популярность ему принесла идея, привлекательная для многих. Здоровое питание, доказывал он, это не обязательно тяжелые диеты – привычки в еде могут зависеть от разных факторов (например, размера тарелок), которые легко изменить. Можно повлиять на них – и питание станет правильным.
Например, мужчины, доказывал Вансинк, едят больше в присутствии других людей (вывод – те, кто хочет похудеть, должны есть в одиночестве). А дети, заявлял он, ссылаясь на свои эксперименты, будут охотней есть овощи в школьной столовой, если дать им привлекательные названия – например, «морковка для рентгеновского зрения» (позднее это исследование также было отозвано).
В целом он выступал не только как ученый. Он создал образ просветителя – пропагандиста здорового питания (работавшие с ним люди считают, что в этом он вполне искренен). К своей работе он относился не только как к науке, но и как к маркетингу. И научная лаборатория, с его точки зрения, должна была напоминать технологическую компанию – эффективное предприятие, постоянно производящее востребованный продукт. Он призывал сотрудников быть более продуктивными и добиваться того, чтобы все их исследования публиковались.
Но эксперименты не всегда дают результаты, подтверждающие гипотезу. Если добиваться их любой ценой – это открывает путь для подтасовок и манипуляций. Это произошло и в данном случае.
Методы
Однократное подтверждение гипотезы – еще не доказательство того, что она верна. Такой результат могут вызвать самые разные факторы, совсем не обязательно – нужный. Пример – многолетние споры о том, вреден ли избыток соли. Есть достаточно исследований, утверждающих как одно, так и другое. Но эффект соли сложно отделить от других факторов – физической активности, особенностей диеты, образа жизни и так далее. «Когда несколько месяцев наблюдаешь за участниками эксперимента, – отмечал один из исследователей, – рано или поздно замечаешь изменения. К эксперименту они могут не иметь никакого отношения».
Одно из главных обвинений в адрес Вансинка – «P-хакинг», манипуляция данными для получения желаемого результата.
«P-значение» – статистическая величина, которую используют для оценки гипотез. В психологических исследованиях, подобных работам Вансинка, результат считается значимым, если показатель меньше 0,05. Что, если он больше? Можно признать, что гипотеза не подтвердилась. Или – как поступал он – перестраивать и группировать данные до тех пор, пока это не даст значимого результата.
Что в этом плохого? Такая практика способствует ложным результатам. Это объясняют таким примером – если подброшенная монета десять раз подряд упадет на одну сторону, можно предположить, что она нестандартная, утяжеленная с одной стороны. Но результат может быть и случайностью. Проверить это просто – сделать больше бросков (если монета обычная, серия рано или поздно прекратится). Но можно остановить эксперимент, представив, что результат является значимым (найдена нестандартная монета) – хотя на самом деле это может быть не так.
Как это может применяться в исследованиях? Например, ученый решил доказать, что морепродукты улучшают работу мозга и повышают результаты на экзаменах. Он собрал группу студентов, предложив добавлять суши к их рациону. Через несколько месяцев они сдали экзамены – но оказалось, что результаты не лучше, чем у остальных. Для автора это плохо – грант потрачен зря, работу с отрицательным результатом, скорее всего, не примут к публикации. Но что если, например, выделить в группе первокурсников? Появляется корреляция. А что если ограничить группу до белых мужчин? Результат выглядит еще лучше – его уже можно публиковать. Вот только метод (это и есть «P-хакинг») некорректен – выборка сократилась, а одна гипотеза заменена другой. На вопрос, подтвердилась бы она при проверке, нет ответа.
Разоблачение
Для Вансинка, согласно расследованию, опубликованному в начале 2018 года, это стало обычной практикой. Похоже, что он не видел в этом ничего плохого – даже открыто писал о таких методах в своем блоге. Один из его постов (в котором он хвалил сотрудницу, которая по его просьбе пыталась «выжать» что-нибудь из данных неудачного эксперимента), опубликованный пару лет назад, как раз и стал поводом для разоблачений.
Судя по его рабочей переписке, доступ к которой журналисты получиличерез официальный запрос, он годами обсуждал такие методы с коллегами (при этом подчеркивая, что нужны данные, привлекательные для прессы). «Подумай, как можно разделить данные по группам, чтобы появилась корреляция, – наставлял он сотрудницу. – Может быть, она работает для мужчин, а не для женщин». «Цифра может быть ниже, – писал он о результатах исследования, в которых P-значение оказалось немного выше 0,05. – Может быть, там можно что-то подрегулировать. Было бы неплохо, если бы цифра оказалась меньше 0,05». Критики назвали это «карикатурой» на научную работу.
Последние шесть статей отозваны по формальным причинам. Несколько месяцев назад, на фоне скандала вокруг Вансинка, редакция JAMA предупредила читателей, что все его работы, попавшие в журнал, вызывают подозрения, и обратилась в университет, где он работает, с просьбой их проверить. Оттуда прислали ответ, что проверка невозможна «из-за отсутствия доступа к данным». В итоге статьи были сняты. Cам автор настаивал на том, что при повторном анализе выводы, сделанные в его работах, подтвердились, университет признал допущенные им ошибки, но не нашел повода для дисциплинарных мер.
К его работам появились и другие претензии. Критики нашли в них ошибки, несоответствия в цифрах и сомнительные расчеты. В серии работ, посвященных перееданию в ресторанах с моделью «съешь, сколько сможешь», одна из рецензий насчитала около 150 неточностей (позднее эти статьи были исправлены или отозваны). Посмотрев работу о «привлекательных названиях для овощей», исследователь из Северо-Восточного университета Джеймс Хизерс подсчитал, что один из детей, участвовавших в опыте, судя по цифрам, должен был съесть около 60 морковок (даже если это маленькие морковки, все равно получалось достаточно много). Вансинк опубликовал развернутый ответ, заявив, что это были очень маленькие морковки. В итоге статья также была отозвана.
Скандал произошел на фоне «кризиса воспроизводства» – негативных результатах, полученных учеными, пытавшимися повторить влиятельные исследования в сфере социальной психологии (например, о влиянии«зефирных» тестов в детском возрасте на последующую карьеру). Другие – как Стэнфордский тюремный эксперимент – были признаны недобросовестными. Это не значит, что их выводы – например, о влиянии власти на человека – опровергнуты. Скорее, это напомнило об обратной стороне погони за результатами. «Наука, по сути, отличается низкой производительностью, – отмечает профессор микробиологии Вашингтонского университета Феррик Фанг. – Большинство экспериментов оказываются неудачными. Это не значит, что дело того не стоит. Но нельзя ждать отдачи на каждый доллар».
Михаил Тищенко
По материалам: “Republic”
