Составление подобного теста – эксперимент по имитации случайности. Обычно тест с несколькими вариантами ответов представляет собой либо вертикальный список, либо строку. Можно ожидать, что составитель неосознанно предпочтет одни варианты другим, и последовательность правильных ответов не будет случайной.

В тот или иной момент большинство преподавателей, вероятно, получают предупреждение об этих проблемах. Журнальные статьи и учебники советуют работникам образования располагать правильные ответы случайно, хотя редко признают, что это легче сказать, чем сделать. Для эффективной рандомизации составителям тестов требуются компьютерные программы, игральные кости или монетка. Однако они вряд ли прибегнут к этим средствам, если не поймут, что проблема действительно серьезна и у них есть возможность ее избежать. Знают ли они, беспокоятся ли?

Именно это я и попытался выяснить. В настоящее время университеты публикуют в интернете архивы старых тестов с ключами ответов. В сети также имеется невероятное количество других тестов. Я набрал статистику из выборки в количестве 100 тестов – 34 из школ и колледжей и 66 из других источников, всего 2456 вопросов. Были взяты экзаменационные тесты для средних и старших классов школы, выпускных экзаменов колледжей и профессиональных училищ, экзаменов на права из десяти штатов (в том числе Нью-Йорка, Пенсильвании, Джорджии и Калифорнии), из программ самотестирования для процедуры натурализации, квалификационных испытаний для пожарных и операторов любительской радиосвязи, из газетных тестов на знание текущих событий, спорта и жизни знаменитостей, тестов из журнала Cosmopolitan («50 фраз, которые предпочитают мужчины»), а также тестов по технике безопасности (электричество, контрацепция и пищевые отравления). Я искал стратегии, помогающие угадать верный ответ, и вычислял степень их полезности.

Составители разных тестов не похожи друг на друга. Некоторые стремятся перемешать ответы, другие об этом даже не задумываются. Студенту, выполняющему несколько тестов, составленных одним и тем же профессором, полезно сохранить их (или найти в сети) и поискать закономерность в расположении правильных ответов, чтобы определить алгоритм действий составителя. Собранные мной данные, однако, дают основание предположить: даже не зная материала, можно делать ставку на некоторые распространенные закономерности.

Начнем с экзаменационных вопросов, предполагающих выбор ответа «да» или «нет». Преподаватель использует такого рода тесты потому, что их легче всего составлять и проверять. Составитель тестов, выбирающий тест с вопросами, требующими ответа «да» или «нет», идет кратчайшим путем, и с точки зрения стратегии это хорошо.

В данном случае выявились две закономерности. Первая: ответов «да» больше, чем ответов «нет». В среднем 56 процентов приходится на «да» и 44 процента на «нет».

Причину найти нетрудно. Ответ «да» первым приходит на ум. Мы вспоминаем какой-либо факт быстрее, чем придумываем ложь. Составители тестов следуют по пути наименьшего сопротивления, и у них получаются тесты с преобладанием ответа «да».

Другая закономерность вполне ожидаема – ответы «да» и «нет» чередуются гораздо чаще, чем при настоящей случайной последовательности. Вот, например, ключ к ответам теста из учебника для колледжа, состоящего из 20 вопросов (Plummer, McGeary, Carlson’s Physical Geology, девятое издание): НДДНДННДДНДДНДДДНДДН. Изобразим этот ключ в виде черных и белых квадратов, где белые обозначают ответ «да».