Облако Путина

[scholar_vit]

peresedov задает вопрос, чего не было в "Прямой линии" Путина. Это вопрос, конечно, интересный, но методически правильнее, на мой взгляд, было бы спросить, что там было.

В качестве упражнения я нарисовал облако слов стенограммы. В нее входили как вопросы, так и ответы. Я убрал несколько очевидных слов вроде "который", предлогов и союзов. Вот текст программы:

library("tm")
library("wordcloud")
putin <- Corpus(DirSource(pattern="putin.txt"))
putin <- tm_map(putin,content_transformer(tolower))
putin <- tm_map(putin,removePunctuation)
putin <- tm_map(putin,stripWhitespace)
putin <- tm_map(putin,removeWords,stopwords("russian"))
putin <- tm_map(putin,removeWords,c("владимир",
                                    "владимиром",
                                    "владимирович",
                                    "путиным",
                                    "путин",
                                    "линия",
                                    "прямая",
                                    "мситтель",
                                    "кклеймёнов",
                                    "клеймёнов",
                                    "впутин",
                                    "мситтель:",
                                    "это",
                                    "вопрос",
                                    "ещё",
                                    "очень",
                                    "который",
                                    "которая",
                                    "которые",
                                    "которое"))
wordcloud(putin, max.words=200,
          scale=c(5,0.5),
          random.order=FALSE,
          use.r.layout=FALSE,
          colors=brewer.pal(8, "Dark2"))

А вот что у меня получилось:

Update: Облако Путина после обрезания.

Comments

[greenkrokodilla.livejournal.com]

Правильно, так в стандартном анализе
и делают - находят слова, имеющие
отличную от средней по языку частотность.
Они несут смысл - тему текста и/или
особенности речи автора.

Другие подходы (высчитывание профилей
частотности служебных слов, в надежде,
что они уникальны для автора - или
переход на "триграммы" и т.д. -- теряют
осмысленность на уровне слов и
не подходят для заявленной цели)

[r-l.livejournal.com]

Блядь, ну нельзя же таким наглым быть. Я понимаю, жиды виноваты, но популярные пособия никто не отменял. Одно дело - когда человек честно говорит, что ничего в этом не понимает, другое - когда Пепка приходит этого человека учить.
Считается не средняя по языку частотность, а средняя частотность ближайшего контекста. Для отдельной речи - это другие речи того же автора, для корпуса политика - речи других политиков-современников - и так далее. Сравнение с общеязыковыми частотами ничего не дает практически никогда.

OMG

[greenkrokodilla.livejournal.com]

OMG.
Why don't you go practice something your halfbrain can handle, like
sitting on a chair or switching a TV set on or off?

OMG

[greenkrokodilla.livejournal.com]

OMG.
Why don't you go practice something your halfbrain can handle, like
sitting on a chair or switching a TV set on or off?

sunnylol. com/ images/ 2012/ July/ 1 /4ff0401e03825.jpg

Re: OMG

[r-l.livejournal.com]

ПЕПКА, ПРЫГНИ!