Тем не менее создать такую разновидность эмоционального интеллекта было крайне сложно. Компьютер мог обнаружить в изображении линии и границы, но распознать и распределить объекты по категориям в зависимости от их важности было принципиально иной задачей. Оставался вопрос: как мы решаем, что имеет значение, когда рассматриваем изображение?

В 1991 году, в свой первый год работы в Массачусетском технологическом институте, Пикард прочла статью на первой полосе «Wall Street Journal» об ученом и музыканте Манфреде Клайнсе. Клайне был выдающимся человеком, автором целого ряда успешных изобретений. Большинство его работ посвящены нейронаукам в музыке, но внимание Пикард привлек именно его «сентограф», машина, предназначенная якобы для измерения эмоций. (На латыни глагол «sentire» означает «чувствовать».) Машина Клайнса измеряла малейшие изменения колебательного сигнала пальцев человека, нажимавшего на кнопку. Он говорил, что эти изменения следуют характерным моделям, отражающим разные эмоции. Пикард заинтересовала идея измерения эмоций, и она сохранила статью.

Исследование продвигалось, и Пикард обнаружила, что сталкивается с проблемами, которые показывают, насколько ограниченным был ее прежний подход. Она сотрудничала с учеными, исследовавшими зрение, и изучала и моделировала визуальную область коры головного мозга, тот участок, который отвечает за обработку зрительной информации. Подход был в чем-то полезен, но системы все равно не выполняли того, что требовалось, и в процессе работы возникли дополнительные вопросы. Например, откуда мы знаем, на что следует обратить внимание? Почему один объект или фигура интересует нас в один момент времени и совершенно не интересует в другой? Или, как в случае с Эллиотом после операции, как наше разум присваивает ценность?

Другая работа в области цифровой обработки информации заставила Пикард задать те же вопросы о мотивации и расстановке приоритетов. Конечно, можно было создать системы, которые бы проходили последовательность жестко заданных шагов, устанавливая фильтры и определяя степень важности различных элементов, но такие подходы не работали, если на входе оказывалась необычная или неожиданная информация. Программное обеспечение по-прежнему было слишком нестабильным. Она считала, что нужен другой подход, чтобы повысить стабильность и адаптивность системы и сделать ее устойчивой.

Как-то во время рождественских каникул Пикард читала книгу «Человек, который пробовал формы на вкус» (The Man Who Tasted Shapes), написанную неврологом Ричардом Ситауиком. В книге исследовался мир синестезии – явления, при котором люди воспринимают одну разновидность входящей сенсорной информации как совершенно другую. Например, некоторые синестетики воспринимают звуки как цвета. В случае лексико-вкусовой синестезии слово может обладать вкусом того или иного блюда или вещества. Среди догадок Ситауика было утверждение, что восприятие ощущений связано с лимбической системой и соответствующими зонами коры головного мозга. Это особенно интересовало Пикард, учитывая то, что лимбическая система – это часть мозга, имеющая первостепенное значение для памяти, внимания и эмоций.

Молодой профессор уже тогда интересовалась процессами памяти и внимания, так что она начала читать многочисленные работы по нейронаукам, узнав из них, что эмоции возникают постоянно. Различные исследования подтверждали, что эмоции неразрывно связаны с памятью, вниманием, восприятием и принятием решений. Пикард начала думать, что нашла недостающий фрагмент головоломки.