Мы используем термин лотерея, чтобы подчеркнуть роль случайности в выборе андеррайтера или оценщика убытков. В обычных условиях на каждое дело назначается один специалист, и никто не задается вопросом, что бы произошло, если бы вместо него назначили кого-то другого.

Лотереи бывают полезны, и в них необязательно видеть что-то плохое. Полезные лотереи используют как для распределения «благ», например при розыгрыше допуска к определенным университетским курсам, так и для раздачи «повинностей», например во время призыва в армию. Такие лотереи успешно выполняют свою функцию. Но в процессе вынесения суждений лотереи ничего не распределяют и не раздают – они лишь порождают неопределенность. Представьте, что андеррайтеры в страховой компании не выносят шумных оценок и всегда назначают оптимальные ставки премий. Однако затем некий механизм случайным образом изменяет эти ставки, и клиентам предлагается конечный результат. Очевидно, что для подобной лотереи нет никаких оснований. Как нет никаких оснований для существования системы, в которой конечный результат зависит от личности специалиста, случайно назначенного для вынесения профессионального суждения.

Если судья, выносящий приговор, или единственный стрелок, представляющий свою команду, назначаются при помощи лотереи, это приводит к разбросу результатов, однако остается незамеченным. Ревизия шума, аналогичная той, что была проведена на материале приговоров, выносимых федеральными судьями, помогает решить эту проблему. В процессе ревизии одно и то же дело оценивается большим количеством специалистов, и разброс в их заключениях становится очевидным.

Это особенно хорошо работает в случае с андеррайтерами и страховыми оценщиками, чьи решения основываются на информации, представленной в письменном виде. Для проведения ревизии шума руководство компании подготовило детальные описания пяти типичных кейсов для каждой из групп специалистов (андеррайтеров и оценщиков). Каждый специалист должен был самостоятельно оценить два-три кейса; при этом испытуемые не знали, что целью исследования была оценка разброса в их суждениях.

Прежде чем продолжить чтение, попробуйте сами ответить на следующие вопросы. Насколько сильно будут отличаться оценки двух случайным образом назначенных квалифицированных андеррайтеров или оценщиков в преуспевающей страховой компании? В частности, какова будет разница между двумя оценками в процентах от их среднего показателя?

Мы задали этот вопрос большому количеству руководителей компании, а в последующие годы получили подобные оценки от широкого круга специалистов в различных областях. К нашему удивлению, один ответ встречался намного чаще остальных. Большинство топ-менеджеров в страховой компании предположили, что эта разница составит 10 или менее процентов. Затем мы опросили 828 генеральных директоров и руководителей из различных отраслей, предложив им оценить ожидаемые различия в экспертных суждениях, подобных вышеописанным. Медианной, и наиболее популярной, снова стала оценка в 10 %. (Второй по популярности была оценка в 15 %.) Разница в 10 % означала бы, к слову, что один из андеррайтеров назначил ставку премии в 9500 долларов, тогда как второй – в 10 500. Разница не выглядит такой уж ничтожной, но она вполне допустима для подобной организации.

Расхождения, выявленные нами во время ревизии шума, оказались куда более серьезными. По нашим оценкам, медианная разница у андеррайтеров составила 55 % – в пять раз выше, чем того ожидали большинство опрошенных, включая руководителей. Это означает, что, если один андеррайтер назначает премию в 9500 долларов, оценка второго будет вовсе не 10 500, а 16 700 долларов. Для оценщиков страховых убытков медианное соотношение составило 43 %. Подчеркнем, что эти результаты медианные: в половине пар кейсов разница между двумя оценками оказалась еще выше.