В 1563 году в жизни десятилетнего Рудольфа произошел крутой поворот: на династическом совете было принято решение отправить их с братом Эрнстом в Мадрид, ко двору родного дядюшки – короля Филиппа II. Произошло это по настоянию его матери Марии, испанской принцессы, сестры испанского короля Карла V, которая была кузиной (двоюродной сестрой) своего супруга Максимилиана, отца Рудольфа. Максимилиан, если судить по строгим испанским канонам, был не столь ревностным католиком, как хотелось его испанской родне. Поэтому мать Рудольфа, испанка по происхождению, не хотела, чтобы ее сын перенял религиозную мягкость своего отца Максимилиана. Рудольфа обучали, главным образом, иезуиты. Он говорил по-кастильски, одевался по-испански (впрочем, в тогдашней Европе была такая мода), усвоил возвышенные манеры двора и твердое убеждение в божественном происхождении своей власти. Воспитание, которое эрцгерцоги получили в строгой и чопорной католической Испании (где иезуиты имели немалый вес), без сомнения, сыграло немалую роль в их судьбе. Именно оттуда берет свое начало пристрастие Рудольфа к тяжеловесной церемониальности, к сокрытию, даже табуированности для простых смертных, самой фигуры монарха. Можно с уверенностью сказать, что годы пребывания при дворе Филиппа II наложили неизгладимый отпечаток на манеры и наружность будущего императора. В последующем Рудольфу постоянно ставили в вину его высокомерие, грубость, привычку молчать и не любили за строгое исполнение этикета. Современники, впрочем, не отказывали ему в некоторых достоинствах. Так, пишут, что император на всех производил впечатление интеллектуального, начитанного, разностороннего человека. «Он обладал глубоким умом, был дальновидным и рассудительным, обладал сильной волей и интуицией… Однако ему был присущ такой серьезный недостаток, как робость, причиной которой была его склонность к депрессии. На этой основе у него развилось стремление к бегству от действительности, выражавшееся в нереальных планах. Испанские придворные манеры поощряли его стремление отгородиться от мира, и политическая пассивность становилась все более характерным признаком его правления» – писал немецкий историк Фолькер Пресс. С юных лет Рудольф отлично владел немецким, латинским, испанским, итальянским, французским языками. По свидетельствам современников, он общался на «славянском языке» с московской миссией царя Федора Иоанновича, который послал ему в дар меха (Рудольф распродал их в нескольких городах Европы, получив около миллиона талеров). Выбрав своей резиденцией Прагу, Рудольф приложил немало усилий, чтобы овладеть языком своих чешских подданных. Начиная с 1571 года у Рудольфа был учитель чешского языка Севастьян Паховский из Платина.

В Испании Рудольфа обручили с трехлетней дочерью Филиппа II Изабеллой Кларой Евгенией. Дядя готовил его к управлению Испанским королевством, так как после трагической смерти в 1568 году сына, дона Карлоса, у него не осталось прямых наследников мужского пола. Династия Габсбургов находилась в зените своего могущества и боялась упустить «испанское наследство». Однако в 1570 году вторая супруга короля Анна Габсбургская (кстати, родная сестра Рудольфа) родила королю долгожданного сына – также Филиппа, и обещание дяди повисло в воздухе. Более того, много лет спустя, в 1598 году, испанский король обручил любимую дочь с самым младшим братом Рудольфа, Альбрехтом, назначив того еще и своим наместником в Нидерландах. Это была уже настоящая пощечина самолюбию несостоявшегося испанского владыки, после чего даже упоминание об Испании и пиренейских родственниках стало запретной темой при его дворе.