После семи лет народной школы он начал учиться на токаря по металлу в Кенигсбронне, но через два года вынужден был по причине слабого здоровья отказаться от намерения получить эту профессию и начал обучаться столярному искусству в мастерской Роберта Заппера. Экзамен на звание подмастерья он сдал весной 1922 года в ремесленном училище в Хайденхайме лучше всех. Георг гордился своей профессией, и мебель, выходившую из-под его умелых рук, отличала особая красота. Поэтому, естественно, он рассчитывал на достойную оплату своего труда. Но в пору инфляции и массовой безработицы, терзавших Германию в 1920-е годы, сыскать хоть какую-нибудь работу было далеко не просто, и для Георга началась пора вынужденных странствий. Поиски рабочего места приводили его даже в соседнюю Швейцарию.

Еще в школьные времена он проявил недюжинные музыкальные способности и с увлечением играл на цитре. Потом освоил контрабас и с оркестром таких же любителей играл на танцах и вечеринках. Несмотря на скромность и даже застенчивость, он пользовался успехом у барышень. Их привлекали в нем хорошие манеры и галантность, которые выгодно отличали его от шумной и простоватой кенигсброннской молодежи. Нравы тогда царили отнюдь не пуританские, и недостатка в подружках Георг не испытывал. Одна из них, Матильда Нидерманн, даже родила ему в 1930 году сына Манфреда, которому Эльзер аккуратно выплачивал алименты. Но ни одно из увлечений не переросло в прочный союз.

Ни о какой политике Георг Эльзер в те времена не задумывался. «пивной путч» остался для него, как и для большинства сверстников, пустым звуком. Но первые импульсы, давшие толчок его политическому сознанию, Эльзер почувствовал уже в конце 1920-х годов. Юный подмастерье вступил в профсоюз деревообделочников, а затем, в 1928 году, в Союз красных фронтовиков, к чему его подтолкнули долгие уговоры коллег по работе. Но стоит отметить, что Георг никогда не считал членство в обеих организациях к чему-то обязывающим и не принимал активного участия в их деятельности. Вплоть до 1933 года он голосовал на выборах за КПГ, вполне искренне почитая компартию наилучшим выразителем интересов рабочих, поскольку предвыборными обещаниями коммунистов было повышение зарплаты, приличное жилье и улучшение условий труда. Однако из этого не следует, что он был знаком с какими-либо программными документами коммунистов, хотя, возможно, он читал их листовки. По свидетельствам современников, если что-то кроме книг Георг и читал, так это специализированные журналы по милому его сердцу ремеслу, и уж крайне редко у него в руках можно было увидеть какую-нибудь газету.

Казалось бы, шовинистическая и националистическая риторика нацистов должна была найти отклик у такого человека, как Эльзер. Но, несмотря на то, что он был мастеровым до мозга костей, рьяным почитателем традиционного швабского национального костюма и членом соответствующего союза, несмотря на то, что он воодушевленно распевал во время походов по природным достопримечательностям Вюртемберга народные песни, Георг никогда не присоединялся к толпам, заполнявшим тротуары во время факельных шествий штурмовиков, не вскидывал руку в гитлеровском приветствии и не прилипал к приемнику после сообщения об ожидаемом выступлении фюрера. Он не принимал идей национал-социалистов. Похоже, что это неприятие не имело под собой каких-то особенных идеологических оснований, а было результатом исключительно пытливого ума, ведь после событий 1933-го Георг быстро убедился, что до чаяний простых немцев гитлеровцам никакого дела нет. Как позже он утверждал на допросах, его неприятие нацизма имело, как минимум, экономические основания. В протоколах его допросов гестапо зафиксированы его высказывания: «Так, например, я убедился, что зарплаты стали ниже, а вычеты выше… Почасовая оплата труда столяра составляла в 1929 году 1 рейхсмарку, сейчас же платят всего по 68 пфеннигов». Но несмотря на значимость таких причин для рабочего, не только они повлияли на неприятие режима. Ущемление прав и свобод личности возмущали его ничуть не меньше: «Рабочий не имеет, например, больше права менять место работы по своему усмотрению, он лишен гитлерюгендом звания отца своих детей, и в религиозном отношении он не может делать свободного выбора».