Perpetuum mobile
Mar. 29th, 2015 08:24 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
scholar_vitИз недавней статьи я узнал о событии 2013 года, которое как-то прошло мимо меня. Вместе с событием, описанным в этой статье, оно знаменует некое замыкание круга.
Но сначала предисловие. Обслуживание науки: организация конференций, издание журналов, - становится все более выгодным бизнесом. И, как это всегда бывает, оно обросло разнообразными жуликами. Можно, например, объявить конференцию по Общей Теории Всего, пообещать строгий отбор и престижную публикацию в трудах, и под это дело собрать оргвзносы у наивных аспирантов из провинциальных университетов. Можно создать собственный open access journal (т.е. журнал, бесплатный для читателей, но вполне платный для авторов) под громким названием типа "International Journal of Veterinary, Dentistry and Neurology" и, опять-таки, собирать авторские взносы. Масса людей (впрочем, как мы увидим ниже, и некоторые вполне солидные издательства не гнушаются легким долларом) промышляют на этой ниве; см. известный черный список. Одна из характерных особенностей таких конференций и журналов — полное отсутствие рецензирования. В печать идет все присланное, лишь бы авторы платили. Что, разумеется, приводит к нулевой (а скорее, отрицательной) престижности публикаций в подобных изданиях.
Десять лет назад три аспиранта из MIT решили продемонстрировать, что на одну из подобных конференций берут все, что присылают. Они написали программу SCIgen для автоматического написания статей, основанную на генераторе случайных текстов. Программа выдавала наукообразные статьи с рисунками и литературой, которые были гарантированно бессмысленными. SCIgen выполнил свое предназначение: созданные им статьи организаторы конференции приняли.
Программа есть в открытом доступе, и многие люди использовали ее для проверки на вшивость журналов и конференций.
Это было предисловие. А теперь сами события.
Два года назад обнаружилось, что в ряде трудов конференций опубликованы статьи, явно написанные программой SCIgen. Среди издателей - солиднейшие Springer и IEEE, которые были вынуждены отозвать 122 статьи (!). Как видим, не только псевдожурналы страдают отсутствием нормального рецензирования.
Но возникает вопрос, зачем авторы посылали эти статьи для публикации? Это не попытка разоблачить сомнительные издания (если бы не случайность, статьи так и остались бы в сборниках), а для шутки дороговато.
Оказалось, произошло вот что. В некоторых странах есть конторы, хорошо известные россиянам: где за плату клиенту напишут диссертацию или опубликуют статьи в научных журналах за его подписью. Ну так вот, какие-то, скорее всего, китайские товарищи поняли, что дешевле не писать настоящие статьи, а генерировать их автоматически. Благо код SCIgen в открытом доступе, а клиент все равно не разберется.
Эти товарищи создавали статьи при помощи SCIgen и продавали их клиентам. Так сказать, жульничество второго уровня.
Что интересно, в ответ Springer разработал программу SciDetect: компьютерную систему для автоматического выявления текстов, созданных при помощи компьютера. Система заработала в этом году. Этому и посвящена статья выше.
Perpetuum mobile, как и было сказано.
![[identity profile]](https://www.dreamwidth.org/img/silk/identity/openid.png){kind=small}
no subject
Date: 2015-03-30 01:00 am (UTC)no subject
Date: 2015-03-30 01:17 am (UTC)no subject
Date: 2015-03-30 01:42 am (UTC)1. Возможен вот такой механизм попадания scigen-статей в конференции с рецензированием. Положим, по качеству нормальное распределение не только у статей, но и у ревьюеров. Обычно ревьюер не возьмет непонятную статью - в результате непонятная статья достанется ревьюеру из хвоста распределения.
2. Ревьюирование - добровольный труд из чувства профессионального долга. Поэтому для scigen-пранкеров, тестирующих качество ревьюирования, я бы одобрил внесение в черный лист с пожизненным баном на публикацию в журнале.
3. Уровень развития CS в России иллюстрирует то, что когда scigen-статьи посылались в русскоязычные журналы - по-моему, Гельфандом - они переводились с английского, а не генерировались на русском.
no subject
Date: 2015-03-30 02:21 am (UTC)no subject
Date: 2015-03-30 02:40 am (UTC)3. Мне кажется, что из-за грамматики русского языка генерировать на нем тексты сложнее, чем на английском.
no subject
Date: 2015-03-30 02:52 am (UTC)Я бы это расценивал как собственноручное признание "Нормального рецензирования у нас нет, и не планируется" с соответствующими выводами для репутации журнала.
no subject
Date: 2015-03-30 02:55 am (UTC)no subject
Date: 2015-03-30 03:02 am (UTC)no subject
Date: 2015-03-30 03:19 am (UTC)no subject
Date: 2015-03-30 03:21 am (UTC)Проходит несколько циклов и на выходе мы получаем ИИ, способный самостоятельно анализировать результаты каких-либо исследований и синтезировать на их основе новые ОСМЫСЛЕННЫЕ концепции. Профит.
no subject
Date: 2015-03-30 03:22 am (UTC)no subject
Date: 2015-03-30 03:24 am (UTC)Springer солиднейший, а IEEE имеет так себе репутацию. Не гнушается, хотя и легитимный
no subject
Date: 2015-03-30 03:29 am (UTC)no subject
Date: 2015-03-30 03:33 am (UTC)no subject
Date: 2015-03-30 03:38 am (UTC)no subject
Date: 2015-03-30 03:53 am (UTC)3. Согласен. Тем не менее, вторичность не радует.
no subject
Date: 2015-03-30 04:08 am (UTC)no subject
Date: 2015-03-30 04:33 am (UTC)no subject
Date: 2015-03-30 04:40 am (UTC)Завзятые разоблачители часто вызывают сомнения в моральности своего поведения.
Хотя бывают и исключения: Диссернет, например.
no subject
Date: 2015-03-30 04:54 am (UTC)no subject
Date: 2015-03-30 05:15 am (UTC)http://en.wikipedia.org/wiki/Sokal_affair
no subject
Date: 2015-03-30 05:40 am (UTC)no subject
Date: 2015-03-30 06:59 am (UTC)no subject
Date: 2015-03-30 07:31 am (UTC)no subject
Date: 2015-03-30 08:02 am (UTC)