О об обмане при помощи статистики, судье Сотомайор и интеллектуальной честности

[scholar_vit]

Вчера я вычеркнул из ленты одного старого френда. Через пять минут я восстановил его обратно. До сих пор не знаю, в какой момент я поступил правильно.

Дело не в том, что его политические взгляды становятся все дальше от моих. В моей френдленте самые разные персонажи, от единомышленников до оппонентов и даже до откровенных людоедов. Но есть качество, которое для меня важно: это интеллектуальная честность. Я физически не могу видеть, когда умный человек повторяет чьи-то очевидные глупости, не давая себе труда задуматься. Мне от этого плохо. С политическими высказываниями это происходит особенно часто, так как многие, по меткому замечанию Курта Воннегута, видят в политических идеях не содержание, а флажки, опознавательные сигналы "свой/чужой".

В данном случае мой френд в комментариях повторил новый мем из газеты Washington Times: судья Сотомайор, предложенная Обамой в Верховный суд, непрофессиональна, поскольку из её решений 60% было отменено. Давайте на секунду задумаемся: предположим, что это так. Мы многое знаем про Обаму, в частности, что он умен и очень хороший политик, переигравший и Хиллари, и Мак-Кейна. Его команда тоже не идиоты. Конечно, всякое бывает: они пропустили налоговые проблемы нескольких кандидатов, но уж такие вещи, как процент отмены они должны были проверить, правда? Может, имеет смысл проверить по независимым источникам, тем более, что у WT репутация вполне известна? Человек, не задавший себе эти вопросы, на мой взгляд, не является интеллектуально честным.

Что же было на самом деле с судьей Сотомайор? Это предмет недавней статьи Ната Сильвера. На самом деле это очень типичный случай обмана при помощи статистики. Поскольку случай вполне показательный, повторю вкратце то, что обнаружил автор.

Действительно, Верховный суд отменил 60% приговоров судьи Сотомайор, рассмотренных судом. Но дело в том, что выделенные курсивом слова тут важны.

Американская федеральная система устроена так. Приговоры судов нижнего звена попадают в апелляционные суды. В одном из них работает судья Сотомайор. Если её решение выглядит юридически безупречным, то проигравшая сторона апеллировать выше, в Верховный суд, скорее всего, не будет: довольно дорогое удовольствие. Но если в её решении есть зацепка, которая позволяет надеяться на отмену, имеет смысл играть дальше. Однако девять мудрецов в ВС вовсе не обязаны рассмотреть любую апелляцию: их время тоже не бесконечно, и в огромном большинстве случаев они просто не принимают жалобу к рассмотрению. Только если не менее четырех судей ВС посчитает, что у апеллянтов есть шансы выиграть, ВС принимает дело. Таким образом, в ВС попадают дела, прошедшие двойной фильтр: и апеллянты, и не менее четырех судей из девяти полагают, что с приговором апелляционного суда есть проблема. Таких дел у Сотомайор было пять. Из них приговор был отменен по трем. Действительно, 3/5=60%. А всего у неё было больше 150 дел. Если поделить 3 на 150, то получится несколько другой результат, верно?

Но может быть, отмена приговора по 60% попавших в ВС дел - это много? Сильвер приводит данные. В среднем из жалоб, которые рассматривает Верховный суд, приговоры апелляционных судей отменяют в 75% случаев. Опять же, эти цифры не должны удивлять: как объясняется выше, если ВС дело взял дело, то у Девяти, скорее всего, есть основания. Разумеется, то, что у Сотомайор не 75%, а 60% отмен, не значит ничего: на пяти точках статистику не построить.

Таким образом, приведенный мем - очень хороший пример обмана при помощи статистики.

Мог ли разумный человек увидеть обман? В качестве эксперимента я рассказал этот мем заведомо умному человеку: моей жене. Она мгновенно спросила: "А на что они делили? На поданные жалобы? А сколько дел не было опротестовано?". Да, у меня умная жена - но и этот френд ведь не идиот, вот в чем загвоздка.

Конечно, авторы мема из Washington Times эти вещи знали. Они не дураки, а негодяи, полагающие, что их аудитория глупа. То, что разумные люди доказывают правоту этого предположения, огорчительно. В конце концов, у человека есть обязательства перед самим собой. Интеллектуальная честность, на мой взгляд, одно из таких обязательств.

Comments

[jenya444.livejournal.com]

Красиво. Вообще, большинство тех, кто ел огурцы, уже давно умерли.

[meshko.livejournal.com]

...и когда я читаю истории вроде этой, меня это радует.

[gena-t.livejournal.com]

А так ли это? Про огурцы. Есть надежная статистика? Я даже слышал, что большинство из всех когда либо живших людей еще живы. Раньше ведь население меньше было.

[angerona.livejournal.com]

Таким образом, в ВС попадают дела, прошедшие двойной фильтр: и апеллянты, и не менее четырех судей из девяти полагают, что с приговором апелляционного суда есть проблема.

не совсем так. То есть так, но есть и еще один вариант: после того, как подается аппеляция, гражданское дело может завершиться сделкой. То есть отбор есть еще и третичный: сторона ответчика в аппеляции тоже посчитала, что у них хорошие шансы.

То есть получается вот что: на самом деле как раз те дела, где судья сильно отступил от прецедента, скорее всего не дойдут до верховного суда, потому что тогда одна из сторон посчитает, что ее дело плохо. И только дела, где судья довольно близок к прецеденту, но при этом у одной из сторон есть причины полагать, что верховный суд может захотеть изменить прецедент[1], доходят до верховного суда.

[1] такое может случиться в разных случаях: например, если со времени прошлого решения изменилось общее мнение общества по этому вопросу; или если верховный суд еще не решал именно этот вопрос, а в аппеляционных судах по этому вопросу намечается расхождение; или если случай вроде прецедентный, но факты именно этого дела как-то отличаются, что одна из сторон надеется использовать это отличие и увести разговор в другую сторону, и т.д.

И на самом деле в академических юридических слоях нет общего мнения по теме того, что являлось бы "хорошей" статистикой о reversals для определенного судьи (и даже как ее считать; ведь в криминальных делах калькулус совсем другой, чем в гражданских).

[scholar-vit.livejournal.com]

Да, конечно. Я про сделку не подумал - мне казалось, что когда стороны уже две ступени прошли, возможности для сделки более или менее исчерпаны.

Кстати, сразу вопрос как к специалисту: 5 из 150 дел, дошедших до ВС - это много или мало?

[dennett.livejournal.com]

неприятно, что в американской политике и прессе становится все больше и больше негодяев - что становится возможным оттого, что вокруг все больше и больше дураков.

[scholar-vit.livejournal.com]

Тут, скорее, человек "сам обманываться рад".

Тот же Воннегут продолжает, что отношение к идеям как к флажкам: когда неважно, что говорит "свой", - становится все более опасным. Уж очень серьёзны последствия этих идей.

было

[v-phi.livejournal.com]

Это американцы расслабились после победы в холодной войне.
Но теперь у Америки новых неприятностей достаточно, и она взялась за ум.
Быть может, это не скажется конкретно на Washington Times, но вот на президентских выборах, например, уже сказалось.

Примечание про свой-чужой. В начале правления Билла Клинтона встречалось благодушное отношение к нему со стороны избирателей-демократов. В одной повести Стивена Кинга главный герой, в ответ на яростные нападки на Клинтона, с правых позиций, думает про себя, что президент-то нормально справляется.
(А че особенно делать-то, когда вот уже и конец истории объявлен...)

[spin-one-half.livejournal.com]

Sorry, but in order to be intellectually honest, you should consider not the averages (of the reversal rates etc.) but averages for those who are nominated to the Supreme Court. After all, the discussion is not whether Sotomayor is better than average, but whether she is so much better that she can be a Justice (I might add, in spite of her unpleasant race/gender remark).

[angerona.livejournal.com]

That argument would still not make much sense without an idea of what it means to be "better." Is a low rate of reversal "better"? (in principle, all it can mean that SCOTUS took a case to demonstrate that yes, the precedent still stands, despite the change of public opinion; or that the judge is in line with the current SCOTUS, which is something the president may actually want to change) or is a high rate of reversal "better"? Is a low rate of having your cases end up in SCOTUS at all "better"? Or is a low rate "better"?

And can we talk about rates at all, when it's on the level of 5 cases out of 150? At that point I would think it would be more about the individual cases themselves than about the rates.

Besides, one of her cases is currently being decided by the supreme court and another one has just been picked up for certiriorari. That can change her rate wildly. Says much about the value of measuring the rates, doesn't it?

[labas.livejournal.com]

с 60% эффектно, надо сказать

[spamsink.livejournal.com]

На самом деле, как впоследствии выяснилось, ни одно из чисел - ни доля решений, которым дали certiorari, по отношению к количеству решений окружного суда, ни доля отмененных решений из принятых к рассмотрению - ничего не значат ни в какую сторону. Потому что дать certiorari с заведомой целью подтвердить решение ВС может попросту для того, чтобы распространить прецедент на всю страну; отказ от certiorari вовсе не означает соглашения с решением, как ВС уже устал подчеркивать, а принять дело к рассмотрению и утвердить его, кроме всего прочего, можно еще и потому, что правильное по сути решение было неубедительно изложено, так что слишком низкий процент отмены решений может свидетельствовать или об очень высоком проценте дел, создающих значимый для страны прецедент, или о не очень высокой квалификации судьи в части обоснования.

А ее решение по делу о спонсировании НГО мне совсем не понравилось. Сколько можно потворствовать католической клике ВС?

[spin-one-half.livejournal.com]

I can believe that she indeed has a problem justifying her position, if she argues that being a "wise Latina woman" (very modest self-characterization) makes her decisions on race/gender problems somehow more valuable than those of a white male. As far as I know, such point of view is called racism proper.

[sofadultra.livejournal.com]

>>Вчера я вычеркнул из ленты одного старого френда. Через пять минут я восстановил его обратно. До сих пор не знаю, в какой момент я поступил правильно.


Это Ваше еврейское изряднопорядочное пафосное "я его расфрендил...нет, зафрендил...нет расфрендил" так уморительно нелепо. Как и вы все, таки_неты, сколар_виты и прочие персонажи, занятые обсуждением бредовых, не имеющих отношения к реальной действительности ситуаций и считающих любой пост бессмысленным, если в нём не упомянут Холокост.

Думаю, что Вы так шутите...

[garret-lab.livejournal.com]

На тот маловероятный случай, если всё-таки не шутите - скажите, Вам не стыдно?

[hari-tc.livejournal.com]

Ух ты, как элегантно шестьдесят процентов превращаются в три случая из ста пятидесяти.

[morgulis.livejournal.com]

Извините, не могли бы Вы пояснить, почему "3/150"? Отменены 3 из 5 сложных, спорных случаев. 145 случаев не дошли до ВС, так как были сочтены различными инстанциями бесспорными, без противоречий, которые надо рассмотреть. Проблема в том, что на посту судьи ВС придется рассматривать ТОЛЬКО СЛОЖНЫЕ, СПОРНЫЕ СЛУЧАИ. А по ним результат вовсе не 3/150.

Если это не очевидно, представьте себе хирурга, который помог 150 больным, большинству лекарство дал и отпустил. И сделал некоторое количество сложных операций для сложных случаев - мы не знаем, какое - ну пусть 30. Из этих 30 случаев 5 дошли до надзорной организации, и она признала вмешательство хирурга непрофессиональным в 3 из 5 рассмотренных случаев. Почему Вы делите 3 на 150, а не 3 на 30? Да и то с оговоркой, что из этих тридцати 25 случаев осталось непроверенными надзорной организацией, так как все протесты по ним были улажены в офисе хирурга в ходе переговоров с больными?

[roman_sharp.livejournal.com]

тем более, что у WT репутация вполне известна

Можно для далеких от США лиц пару строчек об этой репутации?


Действительно, Верховный суд отменил 60% приговоров судьи Сотомайер, рассмотренных судом. Но дело в том, что выделенные курсивом слова тут важны.

Да, совершенно верно по-моему. Причем независимо от "жесткости системы".

[vtail.livejournal.com]

Можно вот здесь почитать: .

Основана преподобным Муном (http://ru.wikipedia.org/wiki/Мун_Сон_Мён), является убыточной и финансируется церквью объединения. (http://en.wikipedia.org/wiki/The_Washington_Times)

а что Вы думаете по поводу известной фразы?

[slavka.livejournal.com]

"I would hope that a wise Latina woman with the richness of her experiences would more often than not reach a better conclusion [as a judge] than a white male who hasn't lived that life."


via (http://stas.livejournal.com/569788.html?mode=reply&format=light&style=mine)

Re: а что Вы думаете по поводу известной фразы?

[alexakarpov.livejournal.com]

А тут вообще думать не надо, достаточно просто уметь читать. Латинская женщина с опытом будет судить лучше, чем белый мужчина без опыта. То есть, люди, которые на это возмущаются, почему-то считают, что "быть латинской женщиной" подаётся как само по себе преимущество в "опыте", но это лишь фантазия.

Вы попали в Топ-30 Зиуса!

[xeus-top-98.livejournal.com]

Ваш пост написан настолько интересно, что вы попали в Топ-30 Зиуса (http://xeus.ru/top/) самых обсуждаемых тем в Живом Журнале (http://www.livejournal.com/).
Это очень положительное явление. Пожалуйста, продолжайте в том же духе. © Зиус

[grey-horse.livejournal.com]

видят в политических идеях не содержание, а флажки, опознавательные сигналы "свой/чужой
Эээ... а какое еще содержание в них может быть? Да, конечно, читая любой политический текст, я сравниваю декларированные им ценности со своими собственными.

[ivan-gandhi.livejournal.com]

Она не Сотомайер, а Сотомайор. Разные вещи, э.

[scholar-vit.livejournal.com]

Фррррейд чертов. Спасибо, исправил.

[m-p.livejournal.com]

а почему 150 дел всего? в той же статье написано, что всего было 380.

[scholar-vit.livejournal.com]

150 civil cases. Силвер пишет: According to the terrific SCOTUSBLOG, "Since joining the Second Circuit in 1998, Sotomayor has authored over 150 opinions, addressing a wide range of issues, in civil cases". Even if we do not count the opinions she has authored in criminal, rather than civil, cases, that means the Supreme Court's reversal rate is not 60 percent, but at most 2 percent -- 3 cases out of 150

[beth4ever.livejournal.com]

Я как-то была перед похожей диллемой, когда мой друг выложил цитату из поста другого человека без контекста (вернее, с собственным комментарием). Читатели не шли по ссылке и соглашались с комментарием. Если бы пошли, то увидели бы контекст и, скорее всего, не согласились бы.

Читатели в ЖЖ - вроде детей. В библийском смысле. Их очень легко соблазнить, и это интеллектуальный грех.

[scholar-vit.livejournal.com]

Мммм. Представил себе Раша Лимбо с жерновом на шее. Он жирный, так что жернов нужен побольше

[ny-quant.livejournal.com]

Тот (к сожалению) редкий случай, когда я с Вами совершенно согласен.

[(Anonymous)]

Вообще, 150 решений по российским меркам - совсем немного. В России с таким количеством решений судья будет казаться ещё новичком. В день смотрят до 20 дел, и выносят хотя бы одно решение. Понятное дело, в Штатах по-другому.

[scholar-vit.livejournal.com]

Ну, в Traffic Court судья по сотне дел в день рассматривает. В апелляционном суде их меньше.

Но следует помнить, что 150 дел - это только гражданские дела, где судья Сотомайор была автором majority opinion. По американским правилам судья в коллегии может написать opinion, а может присоединиться к написанному другим судьёй. Обычно пишется одно или два opinions: мнение большинства и (если голоса разделились) мнение меньшинства. Но бывают и concurring opinions: когда судья пишет, что согласен с выводами коллеги, но вот ход рассуждений должен быть другим.

В апелляционном суде панель, если я не ошибаюсь, состоит из трех судей. Если не считать, что судья Сотомайор была особенно писучей, то ещё дел триста гражданских она рассмотрела, не будучи автором majority opinion. Плюс столько же, если не больше, уголовных дел. Так что получается где-то на порядок больше, чем 150.

[luzhin.livejournal.com]

Вы уверены, что упрекать других в отсутствии интеллектуальной честности - хорошая идея?

[t2t.livejournal.com]

Спасибо, хороший материал. И жена хорошая :)

[komelsky.livejournal.com]

Послушайте, но ведь это страшно просто! Мало того, что я всегда считал, что газета с таким громким названием - это неплохая газета, но ведь и о статистике я не задумался! Я просто не подумал, что статистика может быть _настолько_ переврана, _настолько_ очевидно неправильно построена!!

Ведь это означает, что верить вообще уже никому нельзя =) Где же авторитеты тогда? Меня всегда смущала наука история - как можно говорить о том, что было когда-то, если мы не можем даже здраво судить о том, что происходит сейчас? Это всё очень печально.