Perpetuum mobile

[scholar_vit]

Из недавней статьи я узнал о событии 2013 года, которое как-то прошло мимо меня. Вместе с событием, описанным в этой статье, оно знаменует некое замыкание круга.

Но сначала предисловие. Обслуживание науки: организация конференций, издание журналов, - становится все более выгодным бизнесом. И, как это всегда бывает, оно обросло разнообразными жуликами. Можно, например, объявить конференцию по Общей Теории Всего, пообещать строгий отбор и престижную публикацию в трудах, и под это дело собрать оргвзносы у наивных аспирантов из провинциальных университетов. Можно создать собственный open access journal (т.е. журнал, бесплатный для читателей, но вполне платный для авторов) под громким названием типа "International Journal of Veterinary, Dentistry and Neurology" и, опять-таки, собирать авторские взносы. Масса людей (впрочем, как мы увидим ниже, и некоторые вполне солидные издательства не гнушаются легким долларом) промышляют на этой ниве; см. известный черный список. Одна из характерных особенностей таких конференций и журналов — полное отсутствие рецензирования. В печать идет все присланное, лишь бы авторы платили. Что, разумеется, приводит к нулевой (а скорее, отрицательной) престижности публикаций в подобных изданиях.

Десять лет назад три аспиранта из MIT решили продемонстрировать, что на одну из подобных конференций берут все, что присылают. Они написали программу SCIgen для автоматического написания статей, основанную на генераторе случайных текстов. Программа выдавала наукообразные статьи с рисунками и литературой, которые были гарантированно бессмысленными. SCIgen выполнил свое предназначение: созданные им статьи организаторы конференции приняли.

Программа есть в открытом доступе, и многие люди использовали ее для проверки на вшивость журналов и конференций.

Это было предисловие. А теперь сами события.

Два года назад обнаружилось, что в ряде трудов конференций опубликованы статьи, явно написанные программой SCIgen. Среди издателей - солиднейшие Springer и IEEE, которые были вынуждены отозвать 122 статьи (!). Как видим, не только псевдожурналы страдают отсутствием нормального рецензирования.

Но возникает вопрос, зачем авторы посылали эти статьи для публикации? Это не попытка разоблачить сомнительные издания (если бы не случайность, статьи так и остались бы в сборниках), а для шутки дороговато.

Оказалось, произошло вот что. В некоторых странах есть конторы, хорошо известные россиянам: где за плату клиенту напишут диссертацию или опубликуют статьи в научных журналах за его подписью. Ну так вот, какие-то, скорее всего, китайские товарищи поняли, что дешевле не писать настоящие статьи, а генерировать их автоматически. Благо код SCIgen в открытом доступе, а клиент все равно не разберется.

Эти товарищи создавали статьи при помощи SCIgen и продавали их клиентам. Так сказать, жульничество второго уровня.

Что интересно, в ответ Springer разработал программу SciDetect: компьютерную систему для автоматического выявления текстов, созданных при помощи компьютера. Система заработала в этом году. Этому и посвящена статья выше.

Perpetuum mobile, как и было сказано.

Comments

[dima-stat.livejournal.com]

[pharmazevt.livejournal.com]

Интересно, сколько человеческих статей программа SciDetect определила как компьютерный вздор.

[profpr.livejournal.com]

Здорово. Несколько разрозненных мыслей по поводу увлечения scigen.
1. Возможен вот такой механизм попадания scigen-статей в конференции с рецензированием. Положим, по качеству нормальное распределение не только у статей, но и у ревьюеров. Обычно ревьюер не возьмет непонятную статью - в результате непонятная статья достанется ревьюеру из хвоста распределения.
2. Ревьюирование - добровольный труд из чувства профессионального долга. Поэтому для scigen-пранкеров, тестирующих качество ревьюирования, я бы одобрил внесение в черный лист с пожизненным баном на публикацию в журнале.
3. Уровень развития CS в России иллюстрирует то, что когда scigen-статьи посылались в русскоязычные журналы - по-моему, Гельфандом - они переводились с английского, а не генерировались на русском.

[pr-x.livejournal.com]

В т.ч. бан Гельфанду?

[scholar-vit.livejournal.com]

2. Пранкстеры обычно посылают статьи под выдуманным именем с одноразового адреса. Автор статьи по ссылке, Джон Боханнон, как-то затеял крупномасштабную проверку, послав пранкстерскую статью в три сотни журналов (http://www.sciencemag.org/content/342/6154/60.full). Статья была не автоматически генерированной, а просто откровенно ошибочной (точнее, детали трех сотен версий генерировались автоматически, но основной текст был написан вручную). Так вот, он написал программу, которая случайным образом генерировала имена авторов и их аффилиацию (где-нибудь в Африке), и создал собственный сервер afra-mail.com. Кстати, чтобы не вызвать подозрений, ему нужно было ухудшить английский язык статьи, для чего он перевел статью гуглопереводчиком с английского на французский, а потом обратно на английский.

3. Мне кажется, что из-за грамматики русского языка генерировать на нем тексты сложнее, чем на английском.

[a-konst.livejournal.com]

Мне кажется, что в России (т.е. именно с русскоязычными научными журналами) эта проблема не настолько актуальна, чтобы мобилизовать ресурсы способных людей из CS.

[dragon-ru.livejournal.com]

/* Что интересно, в ответ Springer разработал программу SciDetect */

Я бы это расценивал как собственноручное признание "Нормального рецензирования у нас нет, и не планируется" с соответствующими выводами для репутации журнала.

[scholar-vit.livejournal.com]

Увы, Springer - это не журнал, а огромное издательство, одно из крупнейших. Full disclosure: я тоже публиковался в этом издательстве. Как, впрочем, и все, наверное.

[praeinant.livejournal.com]

Я бы это расценивал как собственноручное признание "Нормального рецензирования у нас нет, и не планируется" с соответствующими выводами для репутации журнала.

По моему, тут есть очень удобно все валить на «большие» издатели, журналы, рецензенты...
А где тут роль «среднестатистического ученого», что он уже не в состоянии деталь самостоятельную оценку основ той или иной идеи, статьи (это не про узкопрофильное...).
Мол, тут все виноваты только не лично я.
А может наука «гниет» не от головы как рыба, а от уровня клеток (среднестатистического ученого).

p.s. я не представитель «больших», а представитель работы в «нестандарте». И приходится общаться с «среднестатистическими учеными». И там происходит мягко говоря «интересные приключения»...

[selfmade.livejournal.com]

Когда-нибудь очередная SCIgen сгенерирует научный аналог "Войны и Мира", какую-нибудь действительно Теорию Всего.

[prostak-1982.livejournal.com]

Вот дела, на две секунды я со своим комментарием опоздал. )))

[prostak-1982.livejournal.com]

Тут интересен другой момент. Написание статей за деньги никто не отменял. Деньги там крутятся, как я понимаю, немаленькие. Можно ожидать, что возьмут исходный код SciGen, перепишут его таким образом, чтобы обходить SciDetect. Чтобы это сделать, нужно написать более осмысленную статью. Издательства, опасаясь за свою репутацию, создают новый Детектор. Кто-то пишет новый Генератор.
Проходит несколько циклов и на выходе мы получаем ИИ, способный самостоятельно анализировать результаты каких-либо исследований и синтезировать на их основе новые ОСМЫСЛЕННЫЕ концепции. Профит.

[ymi-an-island.livejournal.com]

нечто подобное было где-то у Лема.

[seadevil001.livejournal.com]

И тогда нам конец.

[gegmopo4.livejournal.com]

Цикл разработки программы слишком длинный, и их понадобится очень много. Вот разве что написать программы, которые сами будут писать генератор и детектор…

[affidavid.livejournal.com]

Это дело известно по капче и борьбе с нею.

[ymi-an-island.livejournal.com]

>солиднейшие Springer и IEEE,

Springer солиднейший, а IEEE имеет так себе репутацию. Не гнушается, хотя и легитимный

[ymi-an-island.livejournal.com]

меня вот что поражает. в известном черном списке сотни названий, а он вряд ли полный. Поддерживать эти журналы, при всем незамысловатости бизнеса, все же стоит каких-то минимальных денег: надо переписываться с потенциальными авторами, рассылать спам, поддерживать хоть сколько-либо легитивно выглядящий сайт, генерировать pdf'ы, хранить их на сервере. Копейки, но все же. Как они находят столько лохов? Никаких провинциальных университетов в странах первого мира, где бы существовали столь наивные аспиранты, не существует. А в странах третьего наверное хватает, но они там бедные. Откуда берутся деньги?

[scholar-vit.livejournal.com]

Я ткнул наугад в несколько ссылок и посмотрел, откуда авторы статей. Флорида, Малайзия, Сербия...

[robert-myname.livejournal.com]

Я не помню, об этом вы писали когда-то?
http://en.wikipedia.org/wiki/Sokal_affair

[scholar-vit.livejournal.com]

По-моему, не писал

[ermenegilda.livejournal.com]

И кого обмануть хотят? Себя, людей или Бога? Если б у меня были бы свободные деньги на фальшивую диссертацию, я бы и без фальшивой диссертации отлично бы прожила.

[kondybas.livejournal.com]

Есть контингент, покупающий копеечные копии дорогих часов/сумок/телефонов.

[xgrbml.livejournal.com]

в ответ Springer разработал программу SciDetect: компьютерную систему для автоматического выявления текстов, созданных при помощи компьютера

Т.е. они расписались в том, что не могут наладить нормальное рецензирование. Печально.

[dmpogo.livejournal.com]

В моей области, если речь идет о материалов конференции, рецензирование полностью в руках редакторов, которые и есть - организаторы конференции. Издательство к этому мало отношения имеет (в том числе Springer, которые часто publisher of choice).

[p_govorun.livejournal.com]

в ответ Springer разработал программу SciDetect

Понял, что мне это напоминает. Из какого-то технического юмора:

Заявка: Имеются признаки течи масла в двигателе.
Ответ: Признаки течи масла устранены.

[potan.livejournal.com]

В этой гонке рождается Искусственный Интеллект!

[gineer.livejournal.com]

mobile in mobilis