scholar_vit: (Default)
scholar_vit ([personal profile] scholar_vit) wrote2009-05-28 10:23 pm

О об обмане при помощи статистики, судье Сотомайор и интеллектуальной честности

Вчера я вычеркнул из ленты одного старого френда. Через пять минут я восстановил его обратно. До сих пор не знаю, в какой момент я поступил правильно.

Дело не в том, что его политические взгляды становятся все дальше от моих. В моей френдленте самые разные персонажи, от единомышленников до оппонентов и даже до откровенных людоедов. Но есть качество, которое для меня важно: это интеллектуальная честность. Я физически не могу видеть, когда умный человек повторяет чьи-то очевидные глупости, не давая себе труда задуматься. Мне от этого плохо. С политическими высказываниями это происходит особенно часто, так как многие, по меткому замечанию Курта Воннегута, видят в политических идеях не содержание, а флажки, опознавательные сигналы "свой/чужой".

В данном случае мой френд в комментариях повторил новый мем из газеты Washington Times: судья Сотомайор, предложенная Обамой в Верховный суд, непрофессиональна, поскольку из её решений 60% было отменено. Давайте на секунду задумаемся: предположим, что это так. Мы многое знаем про Обаму, в частности, что он умен и очень хороший политик, переигравший и Хиллари, и Мак-Кейна. Его команда тоже не идиоты. Конечно, всякое бывает: они пропустили налоговые проблемы нескольких кандидатов, но уж такие вещи, как процент отмены они должны были проверить, правда? Может, имеет смысл проверить по независимым источникам, тем более, что у WT репутация вполне известна? Человек, не задавший себе эти вопросы, на мой взгляд, не является интеллектуально честным.

Что же было на самом деле с судьей Сотомайор? Это предмет недавней статьи Ната Сильвера. На самом деле это очень типичный случай обмана при помощи статистики. Поскольку случай вполне показательный, повторю вкратце то, что обнаружил автор.

Действительно, Верховный суд отменил 60% приговоров судьи Сотомайор, рассмотренных судом. Но дело в том, что выделенные курсивом слова тут важны.

Американская федеральная система устроена так. Приговоры судов нижнего звена попадают в апелляционные суды. В одном из них работает судья Сотомайор. Если её решение выглядит юридически безупречным, то проигравшая сторона апеллировать выше, в Верховный суд, скорее всего, не будет: довольно дорогое удовольствие. Но если в её решении есть зацепка, которая позволяет надеяться на отмену, имеет смысл играть дальше. Однако девять мудрецов в ВС вовсе не обязаны рассмотреть любую апелляцию: их время тоже не бесконечно, и в огромном большинстве случаев они просто не принимают жалобу к рассмотрению. Только если не менее четырех судей ВС посчитает, что у апеллянтов есть шансы выиграть, ВС принимает дело. Таким образом, в ВС попадают дела, прошедшие двойной фильтр: и апеллянты, и не менее четырех судей из девяти полагают, что с приговором апелляционного суда есть проблема. Таких дел у Сотомайор было пять. Из них приговор был отменен по трем. Действительно, 3/5=60%. А всего у неё было больше 150 дел. Если поделить 3 на 150, то получится несколько другой результат, верно?

Но может быть, отмена приговора по 60% попавших в ВС дел - это много? Сильвер приводит данные. В среднем из жалоб, которые рассматривает Верховный суд, приговоры апелляционных судей отменяют в 75% случаев. Опять же, эти цифры не должны удивлять: как объясняется выше, если ВС дело взял дело, то у Девяти, скорее всего, есть основания. Разумеется, то, что у Сотомайор не 75%, а 60% отмен, не значит ничего: на пяти точках статистику не построить.

Таким образом, приведенный мем - очень хороший пример обмана при помощи статистики.

Мог ли разумный человек увидеть обман? В качестве эксперимента я рассказал этот мем заведомо умному человеку: моей жене. Она мгновенно спросила: "А на что они делили? На поданные жалобы? А сколько дел не было опротестовано?". Да, у меня умная жена - но и этот френд ведь не идиот, вот в чем загвоздка.

Конечно, авторы мема из Washington Times эти вещи знали. Они не дураки, а негодяи, полагающие, что их аудитория глупа. То, что разумные люди доказывают правоту этого предположения, огорчительно. В конце концов, у человека есть обязательства перед самим собой. Интеллектуальная честность, на мой взгляд, одно из таких обязательств.

Re: ??

[identity profile] morgulis.livejournal.com 2009-06-01 09:29 pm (UTC)(link)
Два врача, каждый сделал по 30 операций. У одного опротестовали одну, он проиграл (100% поражений). У другого опротестовали 5, он проиграл 3, а в 2-х случаях надзорные органы признали требования истцов необоснованными. У него 60% поражений. Если мерить качество врача процентом поражений, то второй лучше первого. Если удовлетворенностью пациентов - которая выливается в малое число жалоб - то первый.

Re: ??

[identity profile] vryadli.livejournal.com 2009-06-01 09:56 pm (UTC)(link)
Извините, ради бога, за тугоумие и многословие, но я... мне казалось... в общем, я ведь привел ДВЕ цитаты, а слово "увязать" употребил в том смысле ( какие еще бывают у него смыслы?), что по отдельности они мне понятны.

Поскольку ничего относящегося к необходимости учета сложности случаев, я в Вашем прояснении не обнаружил (кроме довольно мистического совпадения их в числе 30), то мое недоумение еще более усилилось.


Еще раз на всякий случай

оставшаяся почти сиротой цитата в чуть расширенном виде:

"Проблема в том, что на посту судьи ВС придется рассматривать ТОЛЬКО СЛОЖНЫЕ, СПОРНЫЕ СЛУЧАИ. А по ним результат вовсе не 3/150.

Если это не очевидно, представьте себе хирурга, который помог 150 больным, большинству лекарство дал и отпустил. И сделал некоторое количество сложных операций для сложных случаев - мы не знаем, какое - ну пусть 30.И сделал некоторое количество сложных операций для сложных случаев - мы не знаем, какое - ну пусть 30. Из этих 30 случаев 5 дошли до надзорной организации, и она признала вмешательство хирурга непрофессиональным в 3 из 5 рассмотренных случаев."

Сделаю очевидно глупое предположение - На протяжении трех реплик ВАше мнение изменилось и Вы больше не считаете, что без учета сложности случаев процент тех, в которых возникли проблемы - штука довольно бессмысленная. Я понимаю, что на самом деле это не так, но как оно на самом деле не в силах даже предположить.

Re: ??

[identity profile] morgulis.livejournal.com 2009-06-02 12:41 am (UTC)(link)
Сделаю очевидно глупое предположение - На протяжении трех реплик ВАше мнение изменилось

Я полагаю, что для благополучного функционирования наших с вами мозгов будет правильным согласиться с вашим предположением, тем самым отказавшись от тезиса, противостоявшего вашему антитезису, а где нет противуречия тезиса и антитезиса, нет и спора.