По следам старых записей

[scholar_vit]

В одной из предыдущих записей я упоминал статью в Science о том, как агитаторам удавалось переубедить противников однополых браков - если разговор шел не об абстрактный понятиях, а об известных респонденту геях и лесбиянках.

Увы, эта статья оказалась жульнической и отозвана. Подробности можно найти в публикации в RetractionWatch.

Если коротко, то произошло вот что. Результаты этой статьи заинтересовали двух аспирантов из Беркли, и они попытались повторить эксперимент. Однако у них ничего похожего не получилось. Тогда они стали анализировать статью и нашли ряд странных вещей: например, средние убеждения по выборке слишком хорошо совпадали со средним по стране. См. их отчет. Я думаю, что читателям kireevа этот отчет будет интересен: там решается похожая задача на выявление поддельной статистики.

Исходная статья была подписана профессором и аспирантом - последний после защиты получил место assistant professor в Принстоне, что неудивительно после громкой публикации в Science. Берклиевцы обратились к старшему автору. Выяснилось, что тот не видел исходных данных, так как у него не было разрешения от комиссии по этике на знакомство с личными делами опрошенных. Бывший аспирант исходных данных предъявлять не стал, сказав, что он случайно их удалил. Фирма, которая была якобы нанята для опросов до и после интервенции, утверждает, что впервые об этом слышит.

В итоге статья отозвана, а сведения о том, что младший автор - сотрудник Принстона, исчезли с официального сайта. Боюсь, что он сломал себе карьеру навсегда.

Две вещи в этой истории меня удивляют. Во-первых, непонятно, как можно решиться подделывать сенсационные открытия: ясно ведь, что быстро разоблачат. Слишком велик интерес, чтобы это сошло с рук. Во-вторых, удивительно, что старший автор не пытался получить разрешения на знакомство с исходными данными - если бы он попросил, я не думаю, чтобы ему отказали.

Занятная история.

Comments

[logofilka.livejournal.com]

Интересно! Это вам не мелочь по карманам тырить диссертации плагиатить. Какая ведь работа по фальсификации данных проделана. Вообще, инцидент указывает на то, какую малую роль в исследованиях аспирантов и постдоков в реальности играет научный руководитель, который просто расширяет список публикаций за счет соавторства.

[ecreet.livejournal.com]

"Вообще, инцидент указывает на то, какую малую роль в исследованиях аспирантов и постдоков в реальности играет научный руководитель, который просто расширяет список публикаций за счет соавторства."
Бывает по-разному - когда я писала свою первую аспирантскую статью, мой научный руководитель так много возился со мной и со статьей, что я считала, что он должен быть соавтором, а он твердо отказался. Может, не хотел ставить свое имя под статьей, более слабой, чем его собственные, а может, побоялся, что это будет выглядеть как в вашем комментарии. Ему, впрочем, искусственно расширять список своих публикаций не было никакой необходимости :). Впрочем, в разных областях науки такие вещи принято делать совершенно по-разному, но все равно мне кажется, нужно больше свидетельств, чтобы судить, как это обычно происходит.

[dmpogo.livejournal.com]

И то. Как говорит мой коллега - Дима, знал бы ты сколько диссертаций я написал. Этим летом - моя очередь, надо студента выпихивать :(

[zoya-g.livejournal.com]

ох, да! опять большой скандал у социологов. но пишут, в основном, что это, конечно, ужасно, что такие вещи происходят, но как же все-так хорошо, что жульничество удалось обнаружить.

на счет старшего автора. я думаю, что он слишком уж доверял своему аспиранту. конечно, если бы он попросил, ему бы не отказали. но если ты веришь, что твой аспирант делает все, как надо, то зачем?

это, кстати, не такое уж редкое явление. мой руководитель никогда не проверяла за мной статистические модели и вообще не видела, что и как я делала с данными. а теперь у меня вот свои аспиранты, и я не знаю, как им можно доверять?

[jenya444.livejournal.com]

Он аспирант - не сотрудник Принстона. Должен был получить профессорскую должность летом. А теперь, конечно, не получит. Потрясающая история! Я читал Ваш первый пост и заинтересовался результатами, всё выглядело очень красиво и правдоподобно.

[kireev.livejournal.com]

Спасибо за ссылку! У меня такое объяснение зачем было это делать: люди очень часто бывают очень passionate, когда речь заходит об однополых браках, геях и т.д. Причем, обе стороны.

Но что значит наука. Разоблачили и статью удалили, карьера может быть испорчена. А как на выборах/референдумах в РФ, ДНР, ЛНР, Севастополе, Казахстане? Разоблачили, а результаты никто не отменяет, на их основании у людей власть, на них как ни в чем не бывало ссылаются, а если докажешь фальсификацию, то говорят "Все равно результаты были бы такими", или говорят об "ошибках в экселе" и тому подобную чушь.

[scholar-vit.livejournal.com]

Ну, в науке, при всех дрязгах и скандалах, установление истины все же является конечной целью процесса. В политике установление истины носит вспомогательный характер: важно не то, как "на самом деле" проголосовали на выборах, а важно, что никто не будет оспаривать итог (может быть, с оружием в руках). Поэтому фальсификация на выборах возможна, если "народ безмолвствует".

[vdinets.livejournal.com]

Это только в РФ с оккупированными территориями. На Украине, например, подтасовка результатов выборов приводит к революции.

[thrasymedes.livejournal.com]

Раньше потеря контроля над аспирантом была характерна для сильно заслуженных профессоров сильно преклонного возраста.
В данном случае профессору около 50, Awards очень умеренные. Вундеркинд

[scholar-vit.livejournal.com]

Ну, это был не совсем его аспирант - в Колумбии был свой руководитель, а он соруководил.

[ppk_ptichkin]

А чем эта публикация была такой громкой? Что людей надо убеждать конкретными примерами - так это каждый политик знает от рождения, по моему.

[scholar-vit.livejournal.com]

Во-первых, очень велико количество переубежденных - это сенсация. Во-вторых, как отмечали комментаторы к прошлой заметке, соотношение конкретного и абстрактного в разных культурах разное.

[drw-grinder.livejournal.com]

Почему то вспомнился господин Талеяркан (Taleyrkhan) хоть он и не социолог - http://en.wikipedia.org/wiki/Rusi_Taleyarkhan

[oder_k]

> Во-первых, непонятно, как можно решиться подделывать сенсационные открытия: ясно ведь, что быстро разоблачат.

Случай Jan Hendrik Schön сразу вспоминается:
http://en.wikipedia.org/wiki/Sch%C3%B6n_scandal

[jenya444.livejournal.com]

Ну, в прошлом году японский учёный (http://en.wikipedia.org/wiki/Yoshiki_Sasai) покончил с собой, хотя мухлевала его подчинённая.

[ign.livejournal.com]

Я от науки человек далекий, но как-то мне кажется очень странным, что от фальсифицированной статьи можно отбрехаться тем, что дескать "не видел исходных данных". Казалось бы, поставил свою подпись под фальсифицированной статьей - иди на биржу труда искать новую работу, нет? Кого интересуют оправдания?

[gomberg.livejournal.com]

Зависит от обстоятельств. Наука, в значительной степени, работает на доверии. Если бы один человек мог сделать все, соавторства были бы не нужны. Проверка всех первичных данных на фальсификацию (особенно если фальсификатор неглуп) - штука нетривиальная. Если настолько не доверяешь соавтору, что вынужден это делать - так зачем с ним вообще работать? Естественно, встанет вопрос, насколько старший соавтор, в данном случае, должен был чего-то заподозрить раньше. В его пользу, очевидно, работает то, что он сразу, как возникли подозрения, отнесся к этому открыто и серьезно. Он может быть в чем-то виновен. Но это пока неочевидно. Если ничего нового не вскроется, то ему грозит только удар по самолюбию и репутации.

[psilogic.livejournal.com]

Это психология: разоблачение такого рода работ - дело редкое, въедливых студентов типа описанных крайне мало.

[maz-d.livejournal.com]

/Боюсь, что он сломал себе карьеру навсегда. /

так наоборот, хорошо, что его быстро вычислили.и он не успел ничего сделать за свою карьеру =)

[gomberg.livejournal.com]

Я подозреваю, что аспирант, когда начал эту работу, реально не осознавал, как далеко оно зайдет. Работа началась когда он был где-то на втором году аспирантуры. В это время многие пишут, вобщем, "проходные" статьи: будет потом глава в диссертации, но не главная, и, если и будет опубликована, в третьестепенном журнале. При этом, по молодости, он не понимал, что реально сенсационная статья пойдет далеко. Это стадия, когда пытаются заинтересовать в себе потенциальное научное руководство. Он поговорил с профессором, тот сказал, что идея неплохая, но осуществить будет непросто - мальчик решил пустить пыль в глаза. Пустил - слишком - успешно: профессор реально заинтересовался. Не аспирант - мечта. Сам нашел деньги, сам провел нетривиальное полевое исследование, профессору оставалось только давать советы чего именно делать, проинтерпретировать результаты, увязать с литературой. Оно, вобщем, всегда все на доверии: одному соавтору обмануть другого не так сложно.

Мальчику надо было соскочить раньше. Сослаться на какую-нибудь ошибку в коде, после исправления которой результаты оказались малоинтересными. Статья бы ушла в третьестепенный журнал (или просто бы заглохла с концами) и никто бы ее никогда не пытался реплицировать. Это, вроде бы, не основная статья его диссертации (собственно говоря, у него основная тема немного другая: влияние mass mediа). Да, старый грех всегда бы висел над ним: это все равно основание для самых суровых академических санкций. Но кто б захотел тратить время и силы на репликацию неинтересного нерезультата?

Ну а тут все пошло в духе Берни Мэдоффа. Каждый раз врать приходилось все больше - но и внимания к себе он привлекал все больше. В итоге, крушение карьеры (и позор для старшего соавтора). Хорошо хоть, оно было поймано практически сразу. Бывали примеры похуже. Представляю себе, с каким ужасом его основной научный руководитель сейчас проверяет, чего там в ИХ совместной статье. После десятка лет карьеры соавторов было бы больше.

Ну а профессор, даже если бы полез в первичные данные, скорее всего, не заподозрил бы ничего. Изначальное подозрение у тех, кто это обнаружил, закралось из-за того, что они попытались собрать свои данные - и поняли, что оно так хорошо не собирается. Только после этого они начали проверять остальное. Если не было бы подозрений, то никто б и не искал. Соавтор бы мог заподозрить, это если бы он сам проводил похожие опросы. Но тут, я подозреваю, проблема в том, что в этой области методология только устанавливается - вполне возможно (почти наверняка, на самом деле), что тут были какие-то методологические новшества, затрудняющие сравнение. На самом деле, что должно было соавтора остановить сразу, это вопрос денег: там очень дорогое исследование, требовавшее большого гранта, чего аспиранту получить было сложно. Это, походу, самый очевидный красный флаг.

[qkowlew.livejournal.com]

там очень дорогое исследование, требовавшее большого гранта, чего аспиранту получить было сложно. Это, походу, самый очевидный красный флаг.

Флаг радужный, это же явно квир.

[agasfer.livejournal.com]

В ПабМеде пока нет отметки, что статья отозвана, хотя у них все делается с опозданием.

Но там еще один персонаж был, и какова его роль, непонятно:

Green: I later introduced him to Dave Fleischer, who heads up the LGBT canvassing operation in Los Angeles, and they struck up a collaboration. Several weeks after the canvassing launched in June 2013, Michael LaCour showed me his survey results. I thought they were so astonishing that the findings would only be credible if the study were replicated. (...) Michael LaCour and Dave Fleischer therefore conducted a second experiment in August of 2013, and the results confirmed the initial findings.

Флейшер этот легко находится, http://www.leadership-lab.org/team/ однако, в чем была его роль и почему он не стал соавтором статьи? Увы, принтованного номера Саенса у меня нет.

" Фирма, которая была якобы нанята для опросов до и после интервенции, утверждает, что впервые об этом слышит."

Там несколько иной смысл в тексте по ссылке:

whereupon it was discovered that he on-line survey data that Michael LaCour purported to collect could not be traced to any originating Qualtrics source files. He claimed that he deleted the source file accidentally, but a Qualtrics service representative who examined the account and spoke with UCLA Political Science Department Chair Jeffrey Lewis reported to him that she found no evidence of such a deletion.

UPDT: Разобрался.

[andrey-katz.livejournal.com]

Честно говоря этот "профессор Беркли" во всей этой истории взбесил меня намного больше, чем горе-аспирант. Все, кто пишет или намекает на то, что подобные штуки - только проблема гуманитарных наук, социологии, политологии и т.д. и проч. - просто врет. Я к сожалению знаком с людьми, которые сделали карьеры, подписываясь под статьями, не зная, что в них вообще написано. Я уже не говорю о воспроизведении результатов. И что самое мерзкое - этому человеку все сойдет с рук, если он tenured professor. Как и в этом случае.

А какое "удовольствие" сталкиваться с подобными профессорами... Проблема в том, что у меня иногда может уйти слишком много времени, пока я пойму, что столкнулся с человеком, который хуже чем я знает содержание своих же статей.

[gena-t.livejournal.com]

Интересно все-таки, как такой эксперимент вообще можно было бы провести? Просто данные нарисовать конечно не сложно, а на самом деле? Это нужно нанять какое-то (какое?) количество геев и чтобы они ходили по домам и рассказывали гражданам о своих проблемах. Плюс ещё контрольные граждане, которых должны переубеждать гетеросексуальные товарищи. Как-то это все непонятно.

[vlkamov.livejournal.com]

Комментарии любопытны :-)