Микроэкономика для руководителей

Тема 16

Информация: аукционы, отбор и сигналы

Как торговаться, когда другие знают то, чего не знаете вы: ставки на аукционах, проклятие победителя, рынок «лимонов», гарантии как сигнал качества и рейтинги, которые помогают или вводят в заблуждение.

Сколько ставить на торгах

Кофейная сеть «Зерно» (условная компания) открывает новые точки и покупает оборудование на торгах по имуществу закрывшихся ресторанов. На очередных торгах продают профессиональную кофемашину. Управляющий посчитал, сколько она стоит для сети: новая обошлась бы дороже, а эту можно поставить в точку через неделю. Его оценка 80 тыс. ₽. Другие участники — такие же кофейни и рестораны, и у каждого своя оценка: кому-то машина нужна срочно, у кого-то есть запасная.

Вопрос

Ставки подают в закрытых конвертах. Побеждает самая высокая ставка, а платит победитель вторую по величине. Машина стоит для «Зерна» 80 тыс. ₽. Какую ставку сделать?

Четыре формата

Аукцион (auction) — организованный способ продать товар: правила собирают ставки и решают, кто получает лот и сколько платит.

  • Английский (English auction): цена растёт, пока не останется один участник; он платит цену, на которой вышел последний соперник.
  • Голландский (Dutch auction): цена падает, пока кто-нибудь не согласится; так в Нидерландах давно продают цветы.
  • Первой цены в конвертах (first-price sealed-bid): побеждает самая высокая ставка, победитель платит её.
  • Второй цены в конвертах (second-price sealed-bid, аукцион Викри): побеждает самая высокая ставка, победитель платит вторую по величине.

Голландский аукцион по сути совпадает с аукционом первой цены: каждый заранее решает, на какой цене скажет «беру», и платит её. Английский почти совпадает с аукционом второй цены: каждый решает, на какой цене выйти, а победитель платит цену выхода последнего соперника.

Те же правила работают при закупках, когда покупатель выбирает поставщика. Тогда побеждает самая низкая заявка, а при правиле второй цены победителю платят вторую по величине. Строительной компании в таком тендере выгодно заявлять свои издержки.

Четыре формата аукционов в двух парах. Английский аукцион с растущей ценой стратегически почти совпадает с аукционом второй цены в конвертах: победитель платит ставку последнего соперника, и ставить выгодно свою оценку. Голландский аукцион с падающей ценой совпадает с аукционом первой цены в конвертах: победитель платит свою ставку, и ставку выгодно занижать.

Открытые и закрытые аукционы попарно ведут к одинаковым стратегиям

Частные оценки

В торгах «Зерна» у каждого участника своя оценка, он её знает, а чужие оценки ему неизвестны. Такие оценки называют частными (private values). Во второй цене стратегия простая. В первой цене ставка, равная оценке, гарантирует нулевую прибыль: даже при победе вы платите всё, что машина для вас стоит. Ставку нужно занижать (bid shading). Насколько, зависит от того, как ставят другие.

Вероятность победы и лучшая ставка

Пусть у «Зерна» один соперник, его оценка с равной вероятностью может оказаться любой от 0 до 100 тыс. ₽, и он ставит половину своей оценки. Тогда его ставка равновероятно лежит где угодно от 0 до 50. Это равномерное распределение (uniform distribution) из темы 3.

Вероятность того, что равномерная на отрезке от 0 до 50 величина окажется ниже \(b\), равна доле отрезка: \(b/50\). При ставке 20 «Зерно» побеждает с вероятностью \(20/50 = 0{,}4\).

При победе прибыль равна \(80 - b\), при проигрыше нулю. Ожидаемая прибыль (тема 3) и её максимум:

\[\begin{aligned} E[\pi](b) &= (80 - b)\cdot\frac{b}{50} = \frac{80b - b^2}{50},\\ E[\pi]'(b) &= \frac{80 - 2b}{50} = 0 \;\Rightarrow\; b = 40,\\ E[\pi](40) &= 40\cdot 0{,}8 = 32. \end{aligned}\]

Выше ставка — выше шанс победы, но ниже прибыль при победе; лучшая ставка здесь половина оценки. Проверка: при оценке 60 лучшая ставка 30.

Если участников \(n\) и их оценки равномерны, в равновесии каждый ставит долю \((n - 1)/n\) своей оценки: при двух участниках половину, при четырёх три четверти.

Симуляция

В зале четыре участника, оценки каждого случайны от 0 до 100 тыс. ₽, соперники ставят равновесно. Ваша ставка равна доле \(s\) вашей оценки. Найдите лучшую долю сначала для аукциона второй цены, затем для первой. График показывает среднюю прибыль по тысячам торгов, кнопка «Сыграть» разыгрывает отдельные торги.

Во второй цене пик графика стоит ровно на \(s = 1\). В первой цене он около \(s = 0{,}75\): при четырёх участниках выгодно ставить три четверти оценки. Чем больше соперников, тем ближе равновесная ставка к оценке: конкуренция выжимает запас.

Кажется, продавцу выгоднее первая цена: победитель платит свою ставку, а не чужую. Но в первой цене все ставят меньше. При частных оценках и равновесных ставках эти силы точно уравновешиваются, и средняя выручка продавца одинакова в обоих форматах. Это теорема об эквивалентности доходов (revenue equivalence theorem). В симуляции средняя выручка около 60 тыс. ₽ в обоих форматах. Для четырёх участников с оценками от 0 до 100 это ожидаемая вторая по величине оценка: \(\frac{n - 1}{n + 1}\cdot 100 = \frac{3}{5}\cdot 100 = 60\).

Главное

Во второй цене ставьте свою оценку: ставка решает только, выиграете ли вы. В первой цене занижайте ставку, и тем слабее, чем больше соперников.

Проверьте себя

Аукцион первой цены, один соперник. Его ставка равномерно распределена от 0 до 100 тыс. ₽. Лот стоит для вас 70 тыс. ₽. Какая ставка даёт наибольшую ожидаемую прибыль? Ответ в тыс. ₽.

В аукционе первой цены пять участников, оценки равномерны, все ставят равновесно. Сколько поставит участник, для которого лот стоит 50 тыс. ₽?

Тендер на ремонт дороги: побеждает самая низкая заявка, а победителю платят вторую по величине. Ваши издержки на этот ремонт 70 млн ₽, издержки конкурентов вам неизвестны. Какую заявку подать?

С каким форматом стратегически совпадает голландский аукцион, где цена падает, пока кто-нибудь не скажет «беру»?

Проклятие победителя

Шесть нефтяных компаний (условные) участвуют в аукционе на участок под разведку. Нефть в участке стоит одинаково для всех: технологии у компаний похожие, и прибыль будет той же, кто бы ни победил. Но точно её не знает никто. Геологи «Северной нефти» оценили участок в 110 млн ₽ и честно предупредили: оценка может ошибаться на 20 млн в любую сторону. У каждого конкурента своя оценка с такой же точностью.

Вопрос

«Северная нефть» поставила свою оценку и выиграла. Что она узнала из факта победы?

Общая ценность

В торгах с общей ценностью (common value) лот стоит одинаково для всех, но участники по-разному его оценивают. Примеры: участки под добычу нефти, партия вина, которую покупают для перепродажи, картина, которую дилер сразу продаст, компания, которую покупают ради её денежных потоков. Противоположный случай — частные оценки из прошлого раздела: у каждого своя ценность, и чужие оценки ему ничего не говорят.

Каждая оценка в отдельности может быть точной в среднем. Ошибку создаёт отбор: побеждает тот, кто ошибся вверх сильнее всех.

Насколько завышена самая высокая оценка

Пусть ошибка каждой оценки равномерно распределена от \(-A\) до \(+A\). В среднем одна ошибка равна нулю. Нас же интересует средняя ошибка при условии, что оценка оказалась самой высокой из \(n\). Это условное среднее, и для равномерных ошибок оно равно

\[E[\text{ошибка победителя}] = A\cdot\frac{n - 1}{n + 1}.\]

Здесь \(E[\cdot]\) — ожидаемое значение, \(A\) — наибольшая возможная ошибка. Расчёт для \(A = 20\):

\[\begin{aligned} n = 2&:\quad 20\cdot\tfrac{1}{3} \approx 6{,}7,\\ n = 6&:\quad 20\cdot\tfrac{5}{7} \approx 14{,}3,\\ n = 12&:\quad 20\cdot\tfrac{11}{13} \approx 16{,}9. \end{aligned}\]

Проверка: при одном участнике формула даёт ноль, ведь выбирать не из кого. Выводить формулу не нужно: симуляция ниже даёт те же числа.

Симуляция

Все участники ставят свою оценку минус одинаковую поправку \(d\). Найдите поправку, при которой победитель в среднем выходит в ноль: сначала для 6 участников, потом для 12. Кнопка «Следующий лот» показывает отдельные торги.

Чем больше участников, тем сильнее завышена оценка победителя и тем больше нужно занижать ставку. То же верно, если соперники информированы лучше вас: тогда ваша победа означает, что знающие люди дали меньше. Проклятие действует и во второй цене, и в английском аукционе, только слабее, потому что победитель платит вторую ставку.

В 1971 году инженеры нефтяной отрасли описали эту закономерность: компании, выигравшие торги на участки, находили там меньше нефти, чем рассчитывали. Ставить выше остальных разумно, только если у вас есть особое преимущество: соседний участок, своя инфраструктура, лучшая технология. Но и тогда стоит спросить себя, нет ли такого преимущества у других.

Hertz и Dollar Thrifty

В апреле 2010 года прокатная компания Hertz договорилась купить конкурента Dollar Thrifty за 1,27 млрд долл. В борьбу вступила Avis с более высокой ценой, и после нескольких раундов предложений Hertz купила Dollar Thrifty за 2,3 млрд долл. Возможно, компания была выгодной покупкой и по исходной цене, но премия в 1,03 млрд долл. сильно сократила выгоду Hertz от сделки. При покупке компаний проклятие победителя проявляется особенно часто: компания-цель стоит примерно одинаково для всех покупателей, а побеждает самый оптимистичный.

Главное

Если лот стоит одинаково для всех, победа означает, что остальные оценили его ниже. Ставьте меньше своей оценки, и тем меньше, чем больше соперников и чем лучше они осведомлены.

Проверьте себя

Четыре компании оценивают участок с общей ценностью, ошибка каждой оценки равномерна от −30 до +30 млн ₽. На сколько в среднем завышена оценка победителя, если все ставят свои оценки? Ответ в млн ₽.

В каких торгах проклятие победителя опаснее всего?

Почему при большем числе участников в торгах с общей ценностью разумно сильнее занижать ставку?

У «Северной нефти» рядом с участком уже есть трубопровод и база, которых нет у конкурентов. Как это меняет её разумную ставку?

Рынок «лимонов»

Онлайн-площадка «Автоплощадка» (условная) продаёт подержанные машины. Продавец знает о своей машине всё: была ли она в авариях, как её обслуживали, что стучит. Покупатель видит фотографии и пробег. Аналитики площадки замечают тревожное: средняя цена объявлений падает, а хорошие машины всё чаще продают знакомым или сдают в зачёт новой. Руководство решает, запускать ли платную проверку машин перед продажей.

Вопрос

Покупатели не отличают хорошие машины от плохих и готовы платить за любую как за среднюю. Кто из продавцов первым уйдёт с площадки?

Неблагоприятный отбор

Когда одна сторона сделки знает о качестве больше другой, на рынке остаются худшие предложения. Это неблагоприятный отбор (adverse selection). Подержанную машину со скрытыми дефектами в США прозвали «лимоном», отсюда название рынок лимонов (market for lemons). Цепочка такая: цена определяет, кто продаёт; состав продавцов определяет среднее качество; среднее качество определяет новую цену.

Среднее качество тех, кто продаёт

Пусть ценность машин для продавцов равномерно распределена от 0 до 600 тыс. ₽, а покупатель ценит любую машину в \(k = 1{,}5\) раза выше продавца. Сначала покупатели платят за среднюю машину: \(1{,}5\cdot 300 = 450\).

Кто согласится продать по цене \(P\)? Только тот, чья машина стоит для него не больше \(P\). Для равномерного распределения среднее на отрезке от 0 до \(P\) равно его середине, \(P/2\). Это условное среднее: среднее качество при условии, что машину выставили.

\[\begin{aligned} P_1 &= 450, &\text{среднее выставленных} &= 225,\\ P_2 &= 1{,}5\cdot 225 = 337{,}5, &\text{среднее} &\approx 168{,}8,\\ P_3 &= 1{,}5\cdot 168{,}8 \approx 253, &\text{среднее} &\approx 126{,}6. \end{aligned}\]

Каждый раунд цена умножается на \(k/2 = 0{,}75\) и уходит к нулю. Рынок держится, только если \(k\cdot P/2 \ge P\), то есть \(k \ge 2\). Проверка: при \(k = 2\) первая цена \(2\cdot 300 = 600\), продают все, среднее 300, и цена снова 600.

Симуляция

Прокручивайте раунды и смотрите, какие машины уходят с рынка первыми. Найдите наименьшую надбавку покупателей \(k\), при которой рынок не разваливается. После этого включите режим платной проверки и сравните, сколько машин находит покупателя.

При \(k\) ниже 2 рынок схлопывается, хотя каждая сделка выгодна обеим сторонам: покупатель ценит любую машину выше продавца. Ценность теряется из-за одной лишь асимметрии информации. Если худшие машины стоят не ноль, распад останавливается на полпути: продаются только машины дешевле некоторого порога.

В режиме проверки владелец хорошей машины платит за осмотр и продаёт машину по её настоящей цене. Хорошие машины уходят с рынка «вслепую», но не из торговли: почти все находят покупателя. Тот же механизм работает и в других местах:

  • страхование: при единой цене полиса его охотнее покупают люди с высоким риском, и выплаты на одного клиента растут;
  • кредит: при высокой ставке охотнее занимают те, кто меньше собирается возвращать;
  • найм: при средней зарплате лучшие кандидаты уходят туда, где их отличат.

Ответ рынка — способы сделать качество видимым: проверки и сертификаты, гарантии, марки, репутация продавцов. Им посвящены следующие разделы.

Главное

Когда покупатель не видит качества, цена отражает среднее, лучшие продавцы уходят, и среднее падает. Чтобы рынок работал, качество нужно сделать видимым.

Проверьте себя

Ценность машин для продавцов равномерна от 0 до 400 тыс. ₽, покупатели ценят машину в 1,6 раза выше продавца. В первом раунде они платят за среднюю машину, во втором — за среднюю из выставленных в первом. Какой будет цена во втором раунде? Ответ в тыс. ₽.

Страховая компания продаёт всем одинаковые полисы добровольного медицинского страхования и поднимает цену на 20%. Почему средние выплаты на одного клиента могут вырасти?

Какая мера площадки сильнее всего остановит распад рынка подержанных машин?

Гарантия как сигнал

Новая марка «Восток-Авто» (условная) выходит на рынок, где покупатели помнят ненадёжные машины прежних новичков. Отдел маркетинга предлагает рекламу «Наши машины надёжны». Финансовый директор против: такие слова может сказать кто угодно. Он предлагает длинную гарантию. Осталось решить, на какой срок.

Вопрос

Почему длинная гарантия убеждает покупателей сильнее, чем реклама с теми же словами?

Сигналы

Сигнал (signal) — действие, которое сообщает о качестве, потому что его выгодно совершить только хорошему продавцу. Диплом сильной школы, долгая гарантия, крупная реклама товара, который покупают повторно, работают как сигналы, если плохому продавцу они обходятся дороже.

Реклама служит сигналом для товаров опыта (experience goods): их качество покупатель узнаёт после покупки. Производитель плохого стирального порошка не вернёт затраты на рекламу: второй раз порошок не купят. Хороший окупит рекламу повторными покупками. Поэтому крупная реклама говорит: «мы рассчитываем, что вы вернётесь». У товаров поиска (search goods), вроде бензина или бумаги, качество видно и так. У доверительных товаров (credence goods), вроде части медицинских услуг и ремонта, покупатель не узнаёт качество даже после покупки, и сигналы там особенно ценны.

В конце 1990-х Hyundai, которую в США считали маркой ненадёжных машин, предложила беспрецедентную 10-летнюю гарантию. Покупателям понравилась защита от расходов, но многие сделали и вывод: раз компания может позволить себе такую гарантию, машины должны быть надёжными. Продажи пошли вверх.

Учебные цифры

Покупатель заплатит 600 тыс. ₽ за машину, которую считает надёжной, и 450 тыс. ₽ за ненадёжную. Если различить нельзя, а надёжных и ненадёжных поровну, он платит 525. Надёжная машина ломается в среднем 0,1 раза в год, ненадёжная 0,5 раза, гарантийный ремонт стоит 100 тыс. ₽. Кроме того, гарантия обходится любому производителю в 10 тыс. ₽ в год на спорные претензии и злоупотребления. Покупатель, уверенный в надёжности, доплачивает за гарантию ожидаемую стоимость ремонтов надёжной машины, 10 тыс. ₽ в год.

Условие разделения

Чистая выручка с машины при гарантии на \(w\) лет:

\[\begin{aligned} \text{надёжный:}\quad & 600 + 10w - (0{,}1\cdot 100 + 10)\,w = 600 - 10w,\\ \text{ненадёжный, если скопирует:}\quad & 600 + 10w - (0{,}5\cdot 100 + 10)\,w = 600 - 50w. \end{aligned}\]

Гарантия работает как сигнал, если ненадёжному копировать её невыгодно, а надёжному она выгоднее рынка без сигнала:

\[\begin{aligned} 600 - 50w \le 450 &\;\Rightarrow\; w \ge 3,\\ 600 - 10w \ge 525 &\;\Rightarrow\; w \le 7{,}5. \end{aligned}\]

Проверка: при \(w = 2\) ненадёжный, скопировав гарантию, получит \(600 - 100 = 500 > 450\), и покупатель не может такой гарантии верить.

Симуляция

Найдите самую короткую гарантию, которую ненадёжному производителю невыгодно копировать, и самую длинную, которая ещё выгодна надёжному. Затем меняйте частоту поломок ненадёжной модели и следите за закрашенной полосой.

Лучший сигнал — самый дешёвый из работающих, левый край закрашенной полосы: три года. Когда ненадёжная модель ломается почти так же редко, как надёжная, полоса исчезает: гарантия стоит обоим почти одинаково и ничего не сообщает.

Расходы на спорные претензии объясняют, почему гарантий нет повсюду. В медицине трудно определить неудачу, а исход зависит и от самого пациента, поэтому такие расходы велики.

Гарантия на шунтирование

В 2007 году клиника Geisinger в Пенсильвании одной из первых стала бесплатно лечить осложнения, возникшие в течение 90 дней после аортокоронарного шунтирования. Гарантия успокаивала пациентов, которые боялись новых расходов, и сообщала о качестве: клиника с частыми осложнениями не смогла бы её выполнять. Несколько больниц последовали примеру. В 2011 году американская программа Medicare объявила, что будет удерживать до 3% выплат больницам со слишком частыми повторными госпитализациями, и в 2014 году половину больниц страны оштрафовали в сумме почти на 500 млн долл.

Раскрытие информации

Если качество можно проверить, иногда достаточно его показать. Представьте десять клиник, которые знают свою послеоперационную смертность. Лучшая опубликует данные, чтобы выделиться. После этого пациенты считают молчащих средними среди оставшихся, и второй по качеству тоже выгодно раскрыться, затем третьей, и так далее. Молчание само становится плохим знаком. Это раскручивание (unraveling): в пределе раскрываются все.

На практике раскрытие часто не начинается. Продавцы могут не знать, где они находятся относительно других. Покупатели могут неверно представлять, какое качество нормально: смертность 1% хороша, но клиника не станет её публиковать, если пациенты думают, что норма 0,5%. Наконец, если раньше на качестве не конкурировали, внимание к нему заставит всех тратиться. Тогда раскрытия требуют законы.

Калории в меню Нью-Йорка

В 2006 году городской совет здравоохранения Нью-Йорка обязал сетевые рестораны указывать калорийность блюд; правило заработало в середине 2008 года. Экономисты изучили больше 100 млн покупок в кофейнях Starbucks в Нью-Йорке, Бостоне и Филадельфии за 14 месяцев, где Бостон и Филадельфия служили сравнением. Средняя калорийность покупки упала на 6%, с 247 до 232 ккал, и эффект со временем не исчез. Почти всё снижение пришлось на еду, калорийность напитков почти не изменилась. Покупатели, которые брали в среднем больше 250 ккал, сократили калорийность на 26%. Выручка Starbucks в целом не изменилась, а у кофеен рядом с Dunkin’ Donuts выросла на 3%: видимо, посетители узнали, что бублик со сливочным сыром у конкурента калорийнее любой еды Starbucks. Добровольно Starbucks вряд ли раскрылась бы первой: даже её «лёгкие» позиции содержат сотни калорий.

Репутация и крупица сомнения

Репутация — тоже сигнал, растянутый во времени. В теме 15 обратная индукция говорила, что сети магазинов незачем воевать с первыми конкурентами. Достаточно, однако, крупицы сомнения. Если конкуренты хотя бы с небольшой вероятностью допускают, что сеть «жёсткая» и ей выгодно воевать, обычной сети имеет смысл воевать в первых городах: уступив, она сразу выдаст свой тип, и войдут все. Чем длиннее игра, тем меньшая доля сомнения нужна. Тот же механизм поддерживает сотрудничество в повторяющихся играх с известным концом и честность продавцов, которые дорожат отзывами.

Главное

Сигнал работает, когда его отправка дешевле для того, кто действительно хорош. Обещание, которое любому одинаково легко дать, ничего не сообщает.

Проверьте себя

Машину, которую считают надёжной, покупают за 800 тыс. ₽, ненадёжную за 620 тыс. ₽. Ненадёжная ломается в среднем 0,4 раза в год, надёжная 0,1, ремонт стоит 150 тыс. ₽, спорные претензии обходятся любому производителю в 15 тыс. ₽ за год гарантии. Покупатель, уверенный в надёжности, доплачивает за год гарантии 15 тыс. ₽ (ремонты надёжной машины). Какой наименьший срок гарантии в годах ненадёжному невыгодно копировать?

Новый ресторан хочет убедить гостей, что кормит хорошо. Какое действие лучше всего работает как сигнал качества?

Девять из десяти клиник города опубликовали свою послеоперационную смертность, десятая молчит. Что разумно подумать пациенту о десятой клинике?

Почему калорийность в меню Нью-Йорка появилась только по требованию закона?

Рейтинги и их ловушки

Страховая компания «Медполис» (условная) хочет направлять пациентов на операции на сердце в лучшие больницы и собирается публиковать рейтинг. У неё есть данные о смертности за год в шести больницах. Проще всего отсортировать больницы по доле умерших. Аналитик предупреждает, что такой рейтинг опасен.

Вопрос

Кардиоцентр, куда направляют самых тяжёлых пациентов, оказался в рейтинге по доле умерших на последнем месте. Что можно сказать о его качестве?

Зачем нужны рейтинги

Рейтинг, или отчёт о качестве (report card), — оценка продавцов третьей стороной. Хорошо построенный рейтинг помогает трижды: покупатели находят лучших продавцов; спрос становится чувствительнее к качеству, и продавцам выгодно его улучшать; самые требовательные покупатели попадают к лучшим продавцам. Исследования больничных рейтингов находят все три эффекта. В 1990 году штат Нью-Йорк начал публиковать рейтинг кардиохирургии с поправкой на риск. Спрос сместился к больницам с высокими местами, качество, судя по всему, выросло, а самых тяжёлых пациентов стали чаще оперировать лучшие хирурги.

Ожидаемая смертность и отношение «факт / ожидание»

Ожидаемое число смертей — сумма вероятностей по всем пациентам. Пусть в средней больнице лёгкий пациент умирает с вероятностью 2%, а тяжёлый с вероятностью 12%. У кардиоцентра 1000 пациентов, из них 750 тяжёлых, и за год умерли 49:

\[\begin{aligned} \text{ожидание} &= 250\cdot 0{,}02 + 750\cdot 0{,}12 = 5 + 90 = 95,\\ \frac{\text{факт}}{\text{ожидание}} &= \frac{49}{95} \approx 0{,}52. \end{aligned}\]

Смертей почти вдвое меньше, чем ожидалось бы для таких пациентов. Доля умерших при этом \(49/1000 = 4{,}9\%\), одна из худших. Проверка: у частной клиники 50 тяжёлых из 1000, ожидается \(950\cdot 0{,}02 + 50\cdot 0{,}12 = 25\) смертей, умерли 24, отношение 0,96.

Симуляция

Переключайте вид рейтинга и порекомендуйте больницу тяжёлому пациенту. Затем уменьшите число пациентов и прокручивайте годы, а потом посмотрите, что будет, если больница Д начнёт завышать тяжесть пациентов в отчётах.

Три ловушки

Шум. При 100 пациентах в год несколько случайных смертей переворачивают рейтинг: лучшая больница может оказаться в середине, а средняя на первом месте. Шумные рейтинги возвращаются к среднему (mean reversion): тот, кому в этом году повезло, в следующем, скорее всего, опустится. Хвастаться первым местом в таком рейтинге не стоит, как не стоит удивляться падению с него.

Отбор клиентов. Если поправки нет или она неточна, больнице выгодно отказывать рискованным пациентам. После введения рейтинга в Нью-Йорке одно исследование нашло, что больницы стали реже оперировать чернокожих и латиноамериканских пациентов, у которых риск был выше предсказанного моделью.

Подгонка отчётов. Больница может записывать пациентов более тяжёлыми, чем они есть (upcoding), и улучшать отношение «факт / ожидание», ничего не меняя в лечении. В симуляции худшая больница Д так поднимается почти на самый верх.

Учить под тест

Рейтинг измеряет одни стороны работы и молчит о других. Если у работника ограничены время и силы, он перебросит их на измеряемое. Это проблема многозадачности (multitasking problem), в быту «учить под тест». Она возникает при двух условиях: показатели неполны, а ресурсы ограничены и делятся между задачами.

Как связаны измеряемое X и неизмеряемое Y Что будет, если поощрять X
дополняют друг друга больше X и больше Y
заменяют друг друга больше X и меньше Y

Тесты в школах Техаса

В 1994 году Техас ввёл обязательный тест TAAS для учеников 3–8 классов и связал с его результатами оплату и продвижение учителей и директоров. К 1998 году баллы по математике и чтению резко выросли, а разрыв между белыми учениками и меньшинствами сократился. Но тест не проверял естественные науки, обществознание и искусство, и многие школы на недели отменяли эти уроки ради подготовки. На тесте NAEP, от которого ничего не зависело, общие результаты почти не изменились, а разрыв между группами даже вырос. В 2011 году в Атланте выяснилось, что 178 учителей и директоров из 44 школ участвовали в подтасовке результатов государственного теста.

Иногда помогает второй показатель. Когда в начале 2000-х в США стали публиковать долю успешных родов в клиниках ЭКО, показатель вырос, отчасти потому, что клиники стали переносить больше эмбрионов, а это повышает риск многоплодной беременности. Когда в отчёт добавили долю многоплодных родов, она заметно снизилась, а доля одноплодных поднялась выше прежнего уровня.

Правила для тех, кто строит рейтинг:

  • показывать результат просто и наглядно, иначе покупатели его не заметят;
  • сводить много показателей в несколько составных оценок;
  • измерять результат на уровне, который труднее подогнать: по всем пациентам с болезнью сердца, а не по одной операции;
  • дополнять результаты показателями процесса и ресурсов, если те надёжно связаны с результатом;
  • делать поправку на риск везде, где результат зависит от клиента.

Подбор вместо рейтинга

Для одних товаров «лучший» один для всех, для других у каждого свой: фильмы, рестораны, одежда. Там полезнее подбор, который учитывает вкус конкретного человека.

Приз Netflix

В 2006 году Netflix, тогда сервис проката DVD по почте, объявила приз в 1 млн долл. тому, кто на 10% улучшит точность её рекомендательной системы Cinematch. Точность мерили среднеквадратичной ошибкой прогноза оценок: у Cinematch она была 0,9514 звезды. Первые улучшения появились через неделю, а до 10% добрались только в июле 2009 года, почти одновременно две команды; по заранее объявленным правилам победила BellKor’s Pragmatic Chaos. Точные рекомендации держатся на трёх вещах: пользователях, оценивших сотни фильмов, множестве других пользователей с похожими вкусами и хорошем алгоритме. Накопленные за годы оценки привязывали клиентов к Netflix: уходя, они теряли подбор под свой вкус.

Главное

Рейтинг полезен, когда учитывает состав клиентов, опирается на достаточно данных и измеряет то, что действительно важно. Иначе он награждает удачу, отбор клиентов и подгонку отчётов.

Проверьте себя

В больнице за год 400 лёгких пациентов (ожидаемый риск 2%) и 600 тяжёлых (10%), умерли 48. Чему равно отношение фактических смертей к ожидаемым? Округлите до сотых.

В городском рейтинге школ по среднему баллу выпускного теста небольшая школа с 40 выпускниками в этом году заняла первое место, хотя раньше была в середине списка. Чего разумнее всего ожидать в следующем году?

Колл-центр банка начал премировать операторов за короткие звонки. Через месяц средняя длительность упала, но клиенты стали чаще перезванивать. Что произошло?

Рекомендательная система предсказала три оценки фильмов: 4, 3 и 5 звёзд. Пользователь поставил 5, 3 и 3. Чему равна среднеквадратичная ошибка: корень из среднего квадрата ошибок? Округлите до сотых.