По следам старых записей

[scholar_vit]

В одной из предыдущих записей я упоминал статью в Science о том, как агитаторам удавалось переубедить противников однополых браков - если разговор шел не об абстрактный понятиях, а об известных респонденту геях и лесбиянках.

Увы, эта статья оказалась жульнической и отозвана. Подробности можно найти в публикации в RetractionWatch.

Если коротко, то произошло вот что. Результаты этой статьи заинтересовали двух аспирантов из Беркли, и они попытались повторить эксперимент. Однако у них ничего похожего не получилось. Тогда они стали анализировать статью и нашли ряд странных вещей: например, средние убеждения по выборке слишком хорошо совпадали со средним по стране. См. их отчет. Я думаю, что читателям kireevа этот отчет будет интересен: там решается похожая задача на выявление поддельной статистики.

Исходная статья была подписана профессором и аспирантом - последний после защиты получил место assistant professor в Принстоне, что неудивительно после громкой публикации в Science. Берклиевцы обратились к старшему автору. Выяснилось, что тот не видел исходных данных, так как у него не было разрешения от комиссии по этике на знакомство с личными делами опрошенных. Бывший аспирант исходных данных предъявлять не стал, сказав, что он случайно их удалил. Фирма, которая была якобы нанята для опросов до и после интервенции, утверждает, что впервые об этом слышит.

В итоге статья отозвана, а сведения о том, что младший автор - сотрудник Принстона, исчезли с официального сайта. Боюсь, что он сломал себе карьеру навсегда.

Две вещи в этой истории меня удивляют. Во-первых, непонятно, как можно решиться подделывать сенсационные открытия: ясно ведь, что быстро разоблачат. Слишком велик интерес, чтобы это сошло с рук. Во-вторых, удивительно, что старший автор не пытался получить разрешения на знакомство с исходными данными - если бы он попросил, я не думаю, чтобы ему отказали.

Занятная история.

Comments

[logofilka.livejournal.com]

Интересно! Это вам не мелочь по карманам тырить диссертации плагиатить. Какая ведь работа по фальсификации данных проделана. Вообще, инцидент указывает на то, какую малую роль в исследованиях аспирантов и постдоков в реальности играет научный руководитель, который просто расширяет список публикаций за счет соавторства.

[zoya-g.livejournal.com]

ох, да! опять большой скандал у социологов. но пишут, в основном, что это, конечно, ужасно, что такие вещи происходят, но как же все-так хорошо, что жульничество удалось обнаружить.

на счет старшего автора. я думаю, что он слишком уж доверял своему аспиранту. конечно, если бы он попросил, ему бы не отказали. но если ты веришь, что твой аспирант делает все, как надо, то зачем?

это, кстати, не такое уж редкое явление. мой руководитель никогда не проверяла за мной статистические модели и вообще не видела, что и как я делала с данными. а теперь у меня вот свои аспиранты, и я не знаю, как им можно доверять?

[jenya444.livejournal.com]

Он аспирант - не сотрудник Принстона. Должен был получить профессорскую должность летом. А теперь, конечно, не получит. Потрясающая история! Я читал Ваш первый пост и заинтересовался результатами, всё выглядело очень красиво и правдоподобно.

[kireev.livejournal.com]

Спасибо за ссылку! У меня такое объяснение зачем было это делать: люди очень часто бывают очень passionate, когда речь заходит об однополых браках, геях и т.д. Причем, обе стороны.

Но что значит наука. Разоблачили и статью удалили, карьера может быть испорчена. А как на выборах/референдумах в РФ, ДНР, ЛНР, Севастополе, Казахстане? Разоблачили, а результаты никто не отменяет, на их основании у людей власть, на них как ни в чем не бывало ссылаются, а если докажешь фальсификацию, то говорят "Все равно результаты были бы такими", или говорят об "ошибках в экселе" и тому подобную чушь.

[thrasymedes.livejournal.com]

Раньше потеря контроля над аспирантом была характерна для сильно заслуженных профессоров сильно преклонного возраста.
В данном случае профессору около 50, Awards очень умеренные. Вундеркинд

[ppk_ptichkin]

А чем эта публикация была такой громкой? Что людей надо убеждать конкретными примерами - так это каждый политик знает от рождения, по моему.

[drw-grinder.livejournal.com]

Почему то вспомнился господин Талеяркан (Taleyrkhan) хоть он и не социолог - http://en.wikipedia.org/wiki/Rusi_Taleyarkhan

[scholar-vit.livejournal.com]

Ну, в науке, при всех дрязгах и скандалах, установление истины все же является конечной целью процесса. В политике установление истины носит вспомогательный характер: важно не то, как "на самом деле" проголосовали на выборах, а важно, что никто не будет оспаривать итог (может быть, с оружием в руках). Поэтому фальсификация на выборах возможна, если "народ безмолвствует".

[scholar-vit.livejournal.com]

Во-первых, очень велико количество переубежденных - это сенсация. Во-вторых, как отмечали комментаторы к прошлой заметке, соотношение конкретного и абстрактного в разных культурах разное.

[scholar-vit.livejournal.com]

Ну, это был не совсем его аспирант - в Колумбии был свой руководитель, а он соруководил.

[oder_k]

> Во-первых, непонятно, как можно решиться подделывать сенсационные открытия: ясно ведь, что быстро разоблачат.

Случай Jan Hendrik Schön сразу вспоминается:
http://en.wikipedia.org/wiki/Sch%C3%B6n_scandal

[jenya444.livejournal.com]

Ну, в прошлом году японский учёный (http://en.wikipedia.org/wiki/Yoshiki_Sasai) покончил с собой, хотя мухлевала его подчинённая.

[ppk_ptichkin]

Понятно, спасибо. Ну тогда юноша либо сам себе злобный буратино, либо он (по вашей ссылке) грозился всё объяснить...

Профессор, впрочем, тоже хорош. такие данные всё-таки надо смотреть до того как статью подписывать.

[ign.livejournal.com]

Я от науки человек далекий, но как-то мне кажется очень странным, что от фальсифицированной статьи можно отбрехаться тем, что дескать "не видел исходных данных". Казалось бы, поставил свою подпись под фальсифицированной статьей - иди на биржу труда искать новую работу, нет? Кого интересуют оправдания?

[psilogic.livejournal.com]

Это психология: разоблачение такого рода работ - дело редкое, въедливых студентов типа описанных крайне мало.

[vdinets.livejournal.com]

Это только в РФ с оккупированными территориями. На Украине, например, подтасовка результатов выборов приводит к революции.

[ecreet.livejournal.com]

"Вообще, инцидент указывает на то, какую малую роль в исследованиях аспирантов и постдоков в реальности играет научный руководитель, который просто расширяет список публикаций за счет соавторства."
Бывает по-разному - когда я писала свою первую аспирантскую статью, мой научный руководитель так много возился со мной и со статьей, что я считала, что он должен быть соавтором, а он твердо отказался. Может, не хотел ставить свое имя под статьей, более слабой, чем его собственные, а может, побоялся, что это будет выглядеть как в вашем комментарии. Ему, впрочем, искусственно расширять список своих публикаций не было никакой необходимости :). Впрочем, в разных областях науки такие вещи принято делать совершенно по-разному, но все равно мне кажется, нужно больше свидетельств, чтобы судить, как это обычно происходит.

[maz-d.livejournal.com]

/Боюсь, что он сломал себе карьеру навсегда. /

так наоборот, хорошо, что его быстро вычислили.и он не успел ничего сделать за свою карьеру =)

[gomberg.livejournal.com]

Я подозреваю, что аспирант, когда начал эту работу, реально не осознавал, как далеко оно зайдет. Работа началась когда он был где-то на втором году аспирантуры. В это время многие пишут, вобщем, "проходные" статьи: будет потом глава в диссертации, но не главная, и, если и будет опубликована, в третьестепенном журнале. При этом, по молодости, он не понимал, что реально сенсационная статья пойдет далеко. Это стадия, когда пытаются заинтересовать в себе потенциальное научное руководство. Он поговорил с профессором, тот сказал, что идея неплохая, но осуществить будет непросто - мальчик решил пустить пыль в глаза. Пустил - слишком - успешно: профессор реально заинтересовался. Не аспирант - мечта. Сам нашел деньги, сам провел нетривиальное полевое исследование, профессору оставалось только давать советы чего именно делать, проинтерпретировать результаты, увязать с литературой. Оно, вобщем, всегда все на доверии: одному соавтору обмануть другого не так сложно.

Мальчику надо было соскочить раньше. Сослаться на какую-нибудь ошибку в коде, после исправления которой результаты оказались малоинтересными. Статья бы ушла в третьестепенный журнал (или просто бы заглохла с концами) и никто бы ее никогда не пытался реплицировать. Это, вроде бы, не основная статья его диссертации (собственно говоря, у него основная тема немного другая: влияние mass mediа). Да, старый грех всегда бы висел над ним: это все равно основание для самых суровых академических санкций. Но кто б захотел тратить время и силы на репликацию неинтересного нерезультата?

Ну а тут все пошло в духе Берни Мэдоффа. Каждый раз врать приходилось все больше - но и внимания к себе он привлекал все больше. В итоге, крушение карьеры (и позор для старшего соавтора). Хорошо хоть, оно было поймано практически сразу. Бывали примеры похуже. Представляю себе, с каким ужасом его основной научный руководитель сейчас проверяет, чего там в ИХ совместной статье. После десятка лет карьеры соавторов было бы больше.

Ну а профессор, даже если бы полез в первичные данные, скорее всего, не заподозрил бы ничего. Изначальное подозрение у тех, кто это обнаружил, закралось из-за того, что они попытались собрать свои данные - и поняли, что оно так хорошо не собирается. Только после этого они начали проверять остальное. Если не было бы подозрений, то никто б и не искал. Соавтор бы мог заподозрить, это если бы он сам проводил похожие опросы. Но тут, я подозреваю, проблема в том, что в этой области методология только устанавливается - вполне возможно (почти наверняка, на самом деле), что тут были какие-то методологические новшества, затрудняющие сравнение. На самом деле, что должно было соавтора остановить сразу, это вопрос денег: там очень дорогое исследование, требовавшее большого гранта, чего аспиранту получить было сложно. Это, походу, самый очевидный красный флаг.

[gomberg.livejournal.com]

Зависит от обстоятельств. Наука, в значительной степени, работает на доверии. Если бы один человек мог сделать все, соавторства были бы не нужны. Проверка всех первичных данных на фальсификацию (особенно если фальсификатор неглуп) - штука нетривиальная. Если настолько не доверяешь соавтору, что вынужден это делать - так зачем с ним вообще работать? Естественно, встанет вопрос, насколько старший соавтор, в данном случае, должен был чего-то заподозрить раньше. В его пользу, очевидно, работает то, что он сразу, как возникли подозрения, отнесся к этому открыто и серьезно. Он может быть в чем-то виновен. Но это пока неочевидно. Если ничего нового не вскроется, то ему грозит только удар по самолюбию и репутации.

[ign.livejournal.com]

Это ж надо, а я думал, то наука работает на основе peer review. Если профессор сам не мог проверить исходные данные, он мог хотя бы потребовать, чтобы их хоть кто-то проверил?

И что, неужели теперь никто не потребует перепроверить все предыдущие публикации профессора? Фантастика.

[gomberg.livejournal.com]

Вы плохо себе представляете, что такое процесс peer review. Никто никогда в процессе рассмотрения статьи в журнале не будет перепроверять исходные данные, если нет оснований ничего подозревать. Это просто нереально - вы требуете работы, сопоставимой по сложности с проведением изначального исследования. У рецензентов на столе сразу несколько статей, которые надо отреферировать. Если бы они делали то, чего вы от них ожидаете, они бы никогда не делали никакой своей работы. В значительной степени, процесс основан именно на доверии: получая в руки статью рецензент тоже предполагает, что авторы осознано не врали. Могли ошибаться - но не врали.

Именно поэтому фальсификации имеют столь суровые последствия: фальсификатор безмерно осложняет работу всех. Именно поэтому, будучи пойманым на фальсификации, человек так тяжко карается - ему невозможно доверять, а проверять все нет возможности.

В данном случае, фальсификация поймана при попытке репликации для проведения дальнейших исследований. Собственно говоря, так оно обычно и бывает. Если бы статья была малоинтересной, ее бы, конечно, не реплицировали и не поймали - но, если никого оно все равно не интересует, то и беда невелика.

Если старший соавтор был честно обманут, то за что его карать? Никто, никогда не проверяет всего, чего сделали соавторы. В конце-концов, один соавтор может быть теоретиком, другой - экспериментатором, третий - статистиком, а четвертый - специалистом по истории страны исследования. Статистик может никогда не бывать в лаборатории, теоретик иметь весьма поверхностное представление о статистике, а историк вообще не знать таблицы умножения. Другой вопрос, если там были очевидные звоночки, которые соавтор должен был услышать сразу. Да, это удар по репутации, и вообще большое разочарование. Но вина тут совершенно неочевидна.

[ign.livejournal.com]

Ну, опять же по своей наивности я так и представлял, что стоимость выполнения научной работы включает и стоимость (пере-)проверки. Но конечно Вы правы, что проверка на случайную ошибку сильно отличается от поиска сознательной фальсификации.

В общем, надеюсь, что кому надо разберутся и сделают выводы - но мне, в идеале, все же хотелось бы, чтобы научных работ было поменьше, но зато лучшего качества, если такой trade-off возможен; время от времени приходится встречать неутешительную статистику, какой процент случайны выбранных публикаций по социологии подтверждается в ходе независимой перепроверки, и это наводит на разные грустные мысли.

Спасибо за разъяснения; я, как я уже сказал, весьма далек от науки и от социологии, но у меня ребекок занимается чем-то подобным (пока только на уровне дипломной работы), так что мне эта тема не безынтересна)

[qkowlew.livejournal.com]

там очень дорогое исследование, требовавшее большого гранта, чего аспиранту получить было сложно. Это, походу, самый очевидный красный флаг.

Флаг радужный, это же явно квир.

[gomberg.livejournal.com]

Что такое "стоимость выполнения научной работы"? Если речь идет именно о peer review (т.е., реферировании перед публикацией в журнале), то это, как правило, вообще не оплачивается. Никак. Ну, может, какими-то мелкими плюшками, чтобы вовремя письмо прислал (и то редко). Написание конкретной статьи тоже, вообще говоря, чаще всего напрямую не оплачивается (бывают, конечно, исключения). Но, естественно, где человек работает и сколько ему платят зависит, прежде всего, от того, как успешно он публикуется.