scholar_vit

У Брэда ДеЛонга интересное наблюдение из комментариев о том, как много людей в статистике перешли на R. По ссылке оттуда любопытная дискуссия о том, почему R оказалась такой успешной, вместе с лекцией Джона Кука (см. видео ниже). Замечательная цитата Бо Каугилла: "Основное достоинство R - она написана статистиками. Основной недостаток R - она написана статистиками".

Про себя могу сказать, что я в последнее время тоже перешел на R. Если пару лет назад я на работе чаще всего писал файлы с расширением .tex, то теперь это, безусловно, .rnw (для непосвященных: это не значит, что я меньше времени провожу в TeXе: .rnw - это TeXовский файл со вставками на R; его пропускают вначале через R, которая проводит вычисления и рисует картинки, а потом через TeX, который верстает отчет).

Одно из последствий успеха R - широкое распространение относительно экзотических методов статистики. Раньше для того, чтобы напустить на данные нейронную сеть, нужно было потратить кучу времени. Теперь написал две строчки на R - и готово. Это, конечно, очень удобно. С другой стороны, это снижение порога входа неизбежно приводит к параллельному снижению уровня. Аналогичный процесс произошел с дискуссиями в Интернете. Когда-то, чтобы что-то поместить в сети, нужно было более или менее разбираться в том, как работает компьютер, модем, коммуникационные программы и т.д. Сейчас все это от пользователя уже не требуется: сравните интерфейс rn и фейсбука. Что привело к демократизации системы - но и к известному изменению среды. Утрачен элитный статус - со всеми его плюсами и минусами.

Впрочем, когда-то и читать умели далеко не все...

( Read more... )

peresedov задает вопрос, чего не было в "Прямой линии" Путина. Это вопрос, конечно, интересный, но методически правильнее, на мой взгляд, было бы спросить, что там было.

В качестве упражнения я нарисовал облако слов стенограммы. В нее входили как вопросы, так и ответы. Я убрал несколько очевидных слов вроде "который", предлогов и союзов. Вот текст программы:

library("tm")
library("wordcloud")
putin <- Corpus(DirSource(pattern="putin.txt"))
putin <- tm_map(putin,content_transformer(tolower))
putin <- tm_map(putin,removePunctuation)
putin <- tm_map(putin,stripWhitespace)
putin <- tm_map(putin,removeWords,stopwords("russian"))
putin <- tm_map(putin,removeWords,c("владимир",
                                    "владимиром",
                                    "владимирович",
                                    "путиным",
                                    "путин",
                                    "линия",
                                    "прямая",
                                    "мситтель",
                                    "кклеймёнов",
                                    "клеймёнов",
                                    "впутин",
                                    "мситтель:",
                                    "это",
                                    "вопрос",
                                    "ещё",
                                    "очень",
                                    "который",
                                    "которая",
                                    "которые",
                                    "которое"))
wordcloud(putin, max.words=200,
          scale=c(5,0.5),
          random.order=FALSE,
          use.r.layout=FALSE,
          colors=brewer.pal(8, "Dark2"))

А вот что у меня получилось:

Update: Облако Путина после обрезания.

Мне нужно было переделать пару картинок к постеру. Соавтор уезжает на конференцию, постер нужен срочно, плюс у меня ещё куча дел. Ну, захожу в директорию, меняю параметры, говорю make — и все вылетает с кучей ошибок.

Пошаговое прохождение показало, что все начинается с того, что Sweave выдает замечательное предупреждение:

Warning: '01_preparation.rnw' has unknown encoding: assuming Latin-1

Но исходный файл вовсе не в кодировке Latin-1: он обрабатывает полученные из России по-русски данные, и в нем есть процедуры типа

RussianToLevel <-  function(x) {
  x <- as.character(x)
  if (grepl("^нет",x)) return(1)
  if (grepl("^чуть",x)) return(2)
  if (grepl("^незнач",x)) return(3)
  if (grepl("^средн",x)) return(4)
  if (grepl("^сильн",x)) return(5)
  if (grepl("^очень",x)) return(6)
  return(NA)
}

В файле они превратились в такое:

RussianToLevel <-  function(x) {
  x <- as.character(x)
NA
NA
NA
NA
NA
NA
  return(NA)
}

Неудивительно, что на следующем шаге все вылетает.

Ок, вручную понабирал команды R, получил картинки, послал.

Затем стал думать, что же случилось. С момента, когда я делал эти картинки в прошлый раз, успел обновить R.

Почитал логи программистов. Замечательная запись:

[CHANGES IN R VERSION 2.13.2:] Sweave now knows about a few more Windows' encodings (including cp1250 and cp1257) and some inputenx encodings such as koi8-r.

Это случай так называемого вранья. На самом деле все в точности наоборот: раньше Sweave знала про эти кодировки, а именно в версии 2.13.2 перестала их извлекать из файла. Смена inputenc на inputenx не дала результатов.

Ещё немного экспериментов показало, что если указать кодировку явно, Sweave милостиво соглашается работать.

В итоге все вылечилось заменой в Makefile строчек

%.tex: %.rnw
    R CMD Sweave $<

%.R: %.rnw
   R CMD Stangle $<

на строчки

%.tex: %.rnw
    echo "Sweave ('$<', encoding='koi8-r')" | R --slave

%.R: %.rnw
   echo "Stangle ('$<', encoding='koi8-r')" | R --slave

И на что я, спрашивается, потратил день?!

Програм-м-м-мисты...