R и тривиальный совет пассажирам "Титаника"

[scholar_vit]

Вчера обновил на своих компьютерах R. Это такая очень удобная программа для разных статистических вычислений; в последнее время она стала одним из моих основных инструментов, вместе с пакетом knitr для автоматической генерации отчетов. Я использовал этот пакет для написания этой заметки.

Среди прочего в дистрибутив R входит больше ста разных наборов данных для тестирования, от количества авиапассажиров за каждый месяц с 1949 по 1960 год до роста и веса американских женщин в семидесятые. Один из этих наборов — статистика выживаемости на "Титанике". Это четырехмерный массив с четырьмя категориями: класс, пол, возраст, выжил человек или нет. Из него легко узнать, например, были ли больше шансы выжить у взрослых или детей:

apply(Titanic, c("Age","Survived"),sum)

##        Survived
## Age       No Yes
##   Child   52  57
##   Adult 1438 654

Мы видим, что спаслось больше половины детей, но только около трети взрослых:

prop.table(apply(Titanic, c("Age","Survived"),sum),1)

##        Survived
## Age            No       Yes
##   Child 0.4770642 0.5229358
##   Adult 0.6873805 0.3126195

Женщин тоже спасали в первую очередь:

apply(Titanic, c("Sex","Survived"),sum)

##         Survived
## Sex        No Yes
##   Male   1364 367
##   Female  126 344

prop.table(apply(Titanic, c("Sex","Survived"),sum),1)

##         Survived
## Sex             No       Yes
##   Male   0.7879838 0.2120162
##   Female 0.2680851 0.7319149

Однако самое интересное — это влияние на выживаемость социального статуса. На "Титанике" были пассажиры первого, второго и третьего класса, а также экипаж. Вот статистика по ним:

apply(Titanic, c("Class","Survived"),sum)

##       Survived
## Class   No Yes
##   1st  122 203
##   2nd  167 118
##   3rd  528 178
##   Crew 673 212

prop.table(apply(Titanic, c("Class","Survived"),sum),1)

##       Survived
## Class         No       Yes
##   1st  0.3753846 0.6246154
##   2nd  0.5859649 0.4140351
##   3rd  0.7478754 0.2521246
##   Crew 0.7604520 0.2395480

Видно, как по мере уменьшения статуса падают и шансы выжить. Это можно изобразить на графике:

mosaicplot(prop.table(apply(Titanic, c("Class","Survived"),sum),1),
color=TRUE, main="Survival and Class")

Интересно также посмотреть на выживание детей:

apply(Titanic[,,"Child",],
c("Class","Survived"),sum)

##       Survived
## Class  No Yes
##   1st   0   6
##   2nd   0  24
##   3rd  52  27
##   Crew  0   0

prop.table(apply(Titanic[,,"Child",],
c("Class","Survived"),sum),1)

##       Survived
## Class         No       Yes
##   1st  0.0000000 1.0000000
##   2nd  0.0000000 1.0000000
##   3rd  0.6582278 0.3417722
##   Crew       NaN       NaN

Спасли всех детей, плывших в первом и втором классе, но только треть детей из третьего (среди экипажа детей не было). Более того, выживаемость детей в третьем классе меньше общей выживаемости в первом и втором.

Посмотрим еще на выживаемость взрослых мужчин и женщин по классам:

prop.table(Titanic[,"Male","Adult",],1)

##       Survived
## Class         No        Yes
##   1st  0.6742857 0.32571429
##   2nd  0.9166667 0.08333333
##   3rd  0.8376623 0.16233766
##   Crew 0.7772622 0.22273782

prop.table(Titanic[,"Female","Adult",],1)

##       Survived
## Class          No       Yes
##   1st  0.02777778 0.9722222
##   2nd  0.13978495 0.8602151
##   3rd  0.53939394 0.4606061
##   Crew 0.13043478 0.8695652

Ну и общая картинка (в абсолютных числах):

mosaicplot(Titanic, color=TRUE)

Да, обещанный совет. Он, боюсь, тривиален, но все же.

Если вы плывете на "Титанике", постарайтесь быть вызывающим жалость пассажиром первого класса.

Comments

[evgknyaginin.livejournal.com]

Россия напоминает огромный "Титаник", на котором количество шлюпок ограничено.

[suricat.livejournal.com]

Интересно, делал ли кто-нибудь подобные разборы для "Эстонии".

[agasfer.livejournal.com]

Все эти цифры давно были в открытом доступе.

[maina-woopka.livejournal.com]

По-моему, из этого следует, что не стоит путешествовать вторым классом - тут уж или всё, "гуляй, рванина, на все деньги", либо эконом.

Кстати, действительно, отчего такой провал по мужчинам во втором классе?

[sivka2006.livejournal.com]

Не Россия, а планета.

Проблема России в том, что она в 3-м классе.

[evgknyaginin.livejournal.com]

Планете в обозримом будущем ничего не угрожает. В отличие от России.

[anna-frid.livejournal.com]

Ага, на kaggle.com тоже самый первый туториал - про "Титаник", только там еще данные более подробные. Правда, остальные переменные гораздо менее информативные.

[sivka2006.livejournal.com]

- Суслика видишь?
- нет
- А он есть!

Ну хорошо, не планете, а всем государствам планеты.

[evgknyaginin.livejournal.com]

Равно как айсберги представляют угрозу для всех кораблей.
Однако страдают от них преимущественно огромные и неповоротливые Титаники.

[ygam.livejournal.com]

https://pp.vk.me/c624331/v624331363/24f5e/nmBPNlvHwWk.jpg

[sivka2006.livejournal.com]

Не. Проблема России не в том, что она большой и неповоротливый Титаник, а в том, что в Титанике под названием Планета, она занимает место в 3-м классе.

[kray-zemli.livejournal.com]

Статистика -- лженаука. Можно получить любой результат, который хочешь, если правильно считать.

Я когда считал для себя, получил совершенно другой результат.



1. Если смотреть выживаемость мужчин (я же мужчина, бабы пусть за себя сами думают), то минимум наблюдается именно во втором классе. Из 3-го класса спаслось вдвое больше мужчин.

2. Надо понимать, что спастись из 3-го класса было сложнее по фундаментальным причинам. Это видно как раз по числу спасшихся женщин и детей. Третий класс ехал в жопе трюма, туда вода потекла в первую очередь, плюс свет из-за потопа отрубился, где выход неясно, да ещё те самые решётки (какие-то требования иммиграционного законодательства того времени), преграждающие выход, открывать которые никто не торопился.

2а. Если отнормировать процент спасшихся мужчин по проценту спасшихся женщин-детей, считая, что шансы выбежать из трюма наверх были у всех примерно равны, а уже наверху шансы женщин были такие же как у остальных классов, то получается: из числа тех мужчин 3-го класса, кто уже сумел выбраться из трюма наверх,
спаслось столько же процентов, как и из 1-го класса.

Итого имеем результат как в экономике: именно средний класс самый уязвимый. Именно средний класс платит больше всего налогов -- богачи от них шифруются, с лимиты взять нечего. И при этом по ним неблагоприятные экономические факторы бьют в первую очередь.

Иными словами. Богачи купили места в шлюпках ха деньги. Лимита пробилась локтями, им не впервой. А вот средний класс, не имея ни того, ни другого оказался между молотом и наковальней.

[selfmade.livejournal.com]

По-моему, более правильный совет - будь женщиной как минимум 2-го класса. Тем более сейчас это доступно.

Kaggle

[vzaliva.livejournal.com]

На Kaggle этот вопрос тоже изучали:

https://www.kaggle.com/c/titanic-gettingStarted

[thawing-wind.livejournal.com]

А женщин таки в команде выжило чуть больше, чем во втором классе, несмотря на то, что общая доля выживших в команде чуть меньше, чем в третьем классе.

[abba65.livejournal.com]

Вы оба правы.
Проблема России в том, что в Титанике под названием Планета, она занимает место в 3-м классе - как большой и неповоротливый Титаник.

[p_govorun.livejournal.com]

Правильный совет такой: выучите, куда бежать в случае катастрофы. После этого можете брать билет третьего класса и быть там статистическим выбросом.

(Выше уже написали: каюты третьего класса были, естественно, в дебрях, и многие не добежали оттуда до шлюпок.)

[ppk_ptichkin]

>постарайтесь быть вызывающим жалость пассажиром первого класса.

Или хотя бы успешно притворяться таким в очереди на шлюпку. Из шлюпки уже не выкинут.

[sivka2006.livejournal.com]

Нет. Большой и неповоротливый, это другая проблема.

Проблема России, в том, что она не понимает, что ее засунули в 3-й класс. Или делает вид, что не понимает.

[dmpogo.livejournal.com]

Ну с нижних палуб выбраться всегда сложнее

[vladoff-revolt.livejournal.com]

у писателя Никонова в его книжке про феминизм: "А на самом деле бедные хуже богатых. Фарид Закария в своей книге «Будущее свободы» приводит удивительный пример. Когда затонул «Титаник», среди спасшихся пассажиров первого класса было практически 100% женщин и детей. Среди пассажиров второго класса процент женщин и детей достигал 80%. А среди сброда, ехавшего в третьем классе, выжившими оказались одни мужчины, то есть самые сильные. Они, отталкивая женщин и детей, заняли спасительные шлюпки...».

Я эту цитату обнаружил на фикшнбуке уже очень давно, там же было обсуждение в комментариях, уже выпиленное, в котором комментаторы Никонова опровергали.

[grihanm.livejournal.com]

Хороший анализ

[egh0st.livejournal.com]

никонов в целом быдлО и гонит. но это всем известно кому интересно, конечно :)

[irene221b.livejournal.com]

Это же классика инфографики:

[scholar-vit.livejournal.com]

Не повезло пассажирам третьего класса. Сначала они гибли в холодной воде, а потом про них моралите придумывали.

[robert-lee-kmd.livejournal.com]

Лучше всего - надеть чистую одежду и запеть "Ближе, мой Бог, к Тебе, ближе к Тебе...", как завещали нам дирижер Уоллес Хартли и кочегар Джо Доусон.

[affidavid.livejournal.com]

Присоединуюсь к выводам. Но статистика не лженаука, а скорее, кхм, гейша, которая радостно исполняет запросы клиента. Из статистики можно получить и настоящие выводы, но хочет и умеет это делать очень небольшой процент клиентов.

[kray-zemli.livejournal.com]

Настоящие выводы можно обычно сделать, только если ты сам её собирал, да и то...

[affidavid.livejournal.com]

Как раз если человек сам собирает статистику, и сам обрабатывает, то это самая большая проблема, потому как в мусор идет не только выводы, но и сами статистические данные.

[kray-zemli.livejournal.com]

Какое-то фаталистическое утверждение.

[affidavid.livejournal.com]

Гуглите двойной слепой метод, и почему без него нельзя.

[kray-zemli.livejournal.com]

Там ситуация как раз обратная. Если врач-экспериментатор знает, что даёт пустышку, то будет давать ещё и другие таблетки -- он же врач, лечить-то надо. Если знает, что лекарство настоящее -- лишних таблеток давать не будет, неизвестно же, как оно там внутри провзаимодействует. Так что здесь врач не в статистике заинтересован, а в здоровье пациента.

Слепо́й ме́тод — процедура проведения исследования реакции людей на какое-либо воздействие, заключающаяся в том, что испытуемые не посвящаются в важные детали проводимого исследования. Метод применяется для исключения субъективных факторов, которые могут повлиять на результат эксперимента.

Когда работал в науке -- много таких экспериментов видел. Лажа полная всегда получается, когда исследователи не понимают что они делают. Но у нас физика была, конечно, а не живодёрство.

[eta-ta.livejournal.com]

ничего не поняла.
берём сиреневый 3й класс: ленточка идёт к точке МЕЖДУ м. и ж. , а оттуда - к точке МЕЖДУ да/нет.
Т.е. если ты гермафродит, путешествующий 3м классом, то...то ли спасёшься, то ли нет.
а что ещё за другая полоса вертикальная,шо оно значит?

какая белиберда

[vilomaxus.livejournal.com]

можно украсть ваш пост и представить его в обработке?

[scholar-vit.livejournal.com]

Пожалуйста

[irene221b.livejournal.com]

Сиреневый третий класс, следи сверху вниз. Большинство из них - мужчины, широкая полоса идет к линии male, узкая - female. Женская полоса раздваивается на выживших и нет (которых чуть больше). Мужская делится на широкую полосу не выживших, и более узкую выживших. Между female/male и No/Yes оставлен ведь разрыв, и в точки между ничего не идет. Разве только картинка сильно исказилась при публикации.

[eta-ta.livejournal.com]

широкая полоса идёт вертикально к линии пола, слова "male" не касается: оне были неизвестной природы. узкая полоса совершенно конкретно идёт к точке на отрезке посередине эм и жо: гермафродиты. ну и выжил, нет ли - неизвестно, то и др. как раз посредине.
Мало того, все эти пересечения с другими цветами тоже кое-где дают сиреневый, так что пытливый зритель (поклон) недоумевает, случился ли у участников предсмертный[революционный] секс с пассажирами 1 и 2 классов