Империя включала в себя не только владения семи принцев-электоров, но и сотни больших и маленьких княжеств и графств, управлявшихся светскими и духовными феодалами. Число этих государств, территория которых порой включала в себя лишь несколько деревень, с годами менялось. Часть этих правителей, имевших статус прямых имперских вассалов, имели право на место в совете князей (Reichsfürstenrat), одной из палат рейхстага – ревниво оберегаемая привилегия, дававшая значительный престиж и кое-какое влияние на политическую жизнь. В середине XVII столетия в составе совета имперских князей насчитывалось 43 светских и 33 духовных правителя, но в дальнейшем это число неуклонно продолжало увеличиваться.

Положение о коллегии выборщиков было законодательно закреплено так называемой Золотой буллой 1356 года, выпущенной императором Карлом IV Люксембургским, королем Чехии. Тем самым был окончательно закреплен избирательный характер императорской власти, а наследственная монархия ушла в прошлое. Золотая булла превратила выборщиков (принцев-электоров) в фактических соправителей императора, они получили столь обширные привилегии, что могли сравниться с суверенными государями. Империя же отныне становилась объединением княжеств, располагавших широкой автономией, а император – чем-то вроде президента этой необычной федерации.

С 1438 по 1740 год Священной Римской империей правили императоры из дома Габсбургов. Первоначально австрийские Габсбурги не обладали особенно высоким статусом, но немецкие электоры, тем не менее, предпочли выбирать императоров именно из их числа, поскольку большая часть наследственных владений Габсбургов находилась за пределами формальных границ империи. В 1440 году на трон Священной Римской империи под именем Фридриха III был избран герцог Штирии Фридрих V (эрцгерцог Австрии с 1458 года). Он стал последним императором, коронованным папой в Риме. Его правнук, император Карл V (1500–1558), одновременно являлся императором Священной Римской империи, герцогом Бургундии, Брабанта и Милана, королем Неаполя, Сицилии и Испании и был последним германским императором, которого короновал непосредственно папа римский. Будучи не в состоянии эффективно управлять своими обширными владениями, Карл в 1556 году отказался от короны Испании, итальянских и бургундских владений в пользу своего единственного сына Филиппа II, а затем сложил с себя императорские полномочия, обеспечив избрание своего брата Фердинанда, который стал первым Габсбургом, объединившим императорскую корону с коронами Австрии, Венгрии и Чехии.

Сильный удар по императорской власти нанесла Реформация. Она привела к усилению позиций протестантской династии Гогенцоллернов в северных пределах империи (особенно в связи с приобретением Гогенцоллернами герцогства Пруссия) и преобразованию церковных земель в наследственные феодальные владения. Религиозные войны XVI столетия и Тридцатилетняя война в XVII веке привели к дальнейшему ослаблению власти императоров, даже при том, что позиции Габсбургов в Чехии упрочились. Число электоров было увеличено в 1648 году до восьми: этот наследственный статус получили герцоги Баварии из династии Виттельсбахов (пфальцграфы Рейнские также происходили из этой династии, так что род Виттельсбахов получил два голоса в коллегии выборщиков). В 1696 году коллегия выборщиков получила пополнение в лице герцога Брауншвейг-Люнебургского, который стал принцем-электором Ганновера (объединившегося с британской короной в 1714 году).