После того как стало ясно, что Немецкий имперский комитет физической культуры прекратит свое существование, Карл Дим стал искать новое место работы. В качестве такого он видел Имперское министерство труда. Именно туда 25 марта 1933 года Дим подал специально подготовленную программу, претендуя на должность «руководителя спорта». Весьма показательна дата, когда был сделан этот шаг. За два дня до этого, 23 марта, Гитлеру были предоставлены чрезвычайные полномочия. Можно предположить, что Дим предвидел, что новый канцлер со временем станет диктатором. Некоторые места из представленной в министерство труда программы по своей стилистике весьма напоминали национал-социалистическую риторику. Приведем несколько примеров: «Физическая культура во всех народных кругах и возрастных группах должна быть унифицирована с учетом общенациональной точки зрения, что имеет своей целевой установкой воспитание здорового и сильного поколения. Спорт должен стать средством национального воспитания… Необходимо осуществить полную унификацию всех органов и учреждений, что должно содействовать единообразному физическому воспитанию… Внедрение в школах обязательных ежедневных уроков физкультуры… Спортивная нагрузка для всех студентов 4-го семестра обучения должна составлять не менее четырех часов в неделю. Во время отдыха на каникулах для них обязательно участие в военно-спортивных занятиях. Национальная одержимость спортом».

Невзирая на то что программа Карла Дима нашла поддержку не только в министерстве труда, но и в военных кругах, в частности в министерстве по делам рейхсвера, она так и не была принята. Причин этого может быть несколько. С одной стороны, внутри самой национал-социалистической партии началась борьба между отдельными личностями и группами, которые стремились занять ключевые позиции в государстве. Карл Дим сделал неверную ставку. Он предпочел опираться на рейхсвер, в то время как верх одержало Имперское министерство внутренних дел, возглавляемое национал-социалистом Вильгельмом Фриком. С другой стороны, причина могла крыться в самой личности Карла Дима. Со своими консервативно-националистическими взглядами он считался представителем ушедшей в прошлое политической системы. Однако в начале 1933 года представители консервативных кругов все еще верили в то, что смогли бы в перспективе «приручить» Гитлера, ограничив его диктаторские притязания. Реакция национал-социалистического руководства на подобные попытки была предельно жесткой. Уже к середине 1933 года все важные должности и посты в политической и общественной сфере были заняты исключительно национал-социалистами. Спорт не был исключением. Только так можно объяснить то, что контроль над спортивной жизнью Германии был поручен ранее никому не известному выходцу из СА Гансу фон Чаммеру.

Однако Карлу Диму нельзя отказать в настойчивости. Он решил продолжить свою деятельность даже после того, как оказался распущен Немецкий имперский комитет физической культуры. Он смог сыграть на слабостях Чаммера, который не имел достаточных организационных навыков в сфере спорта. Выполняя свои прежние функции, но уже в аппарате Имперского комиссара по вопросам спорта, Дим не только сохранил свою зарплату, но и смог «укрепить» свою репутацию в среде «революционных» национал-социалистов. Поскольку имперский комитет прекратил свою деятельность, то его место должна была занять новая организация. На некоторое время таковой стал «Имперский союз руководителей немецкого спорта», который был учрежден 12 июня 1933 года. Однако это была переходная организационная форма, главная задача которой заключалась только в том, чтобы подготовить полную реорганизацию и унификацию немецкого спорта, что должно было сопровождаться созданием новой имперской организации. Членами «Имперского союза руководителей немецкого спорта», как правило, были люди, до этого работавшие в составе имперского комитета физической культуры. Однако подбор был поручен лично Чаммеру, а кроме этого все члены «Имперского союза» (кроме самого Чаммера) не имели права принимать решения, они обладали лишь правом совещательного голоса. Однако внедрение «фюрер-принципа» в область спорта поначалу мало что изменило. Канцелярия бывшего имперского комитета стала канцелярией имперского союза, почти не изменился и состав технического персонала. Неделю спустя после создания «Имперского союза руководителей немецкого спорта» Карл Дим уже претендовал на должность генерального секретаря этой организации.