Причём это вовсе не означало, что Фред начал выступать. Нет, музыкой он занимался только дома, в свободное время, а его было немного: семья бедствовала, и с подросткового возраста Фред должен был работать – официантом, чистильщиком ковров, барменом… О том, чтобы заняться музыкой всерьёз, он задумался только в начале 50-х, и опять из-за Чарли Паркера: на этот раз он услышал великого саксофониста живьём – в последний, как оказалось, приезд «Птицы» в Чикаго для выступлений в клубе Beehive.
Но настоящая история Андерсона-музыканта начинается только в середине 1960-х, когда в маленьком баре в западной части Чикаго собираются отцы-основатели будущей AACM — Андерсон, пианисты Мухал Ричард Абрамс и Джоди Крисчен, барабанщик Стив Макколл, трубач Келан Фил Корэн и другие. В этот период джазовые клубы чикагского Саутсайда, которых в 1940-1950-е годы насчитывались десятки, стремительно закрывались из-за смены культурных приоритетов городского афроамериканского населения. Старый «салонный» джаз больше не пользовался спросом, интересы публики стремительно переключились на ритм-н-блюз и соул, и остававшиеся в бизнесе клубы не рисковали представлять публике новое поколение чикагских джазменов, игравших резкую, сложную, весьма радикальную музыку. «Мы поняли, что для нас нет места, где мы могли бы выступать и быть услышанными. Большинство клубов не торопились приглашать исполнителей новой музыки, да и клубов-то в то время было уже совсем немного. Поэтому мы решили, что должны представлять себя сами, создать организацию, которая представляла бы нас, а не ждать, пока кто-то придёт и сделает это для нас».
Результатом стал стремительный прорыв как минимум двух имён из круга AACM – композитора-саксофониста Энтони Брэкстона и обширного коллектива Art Ensemble of Chicago, в который входили саксофонисты Роско Митчелл и Джозеф Джарман, трубач Лестер Боуи, басист Малаки Фэйворс Магостут и барабанщик Фамуду Дон Мойе. Однако прорыв этот произошёл не в США, а в Европе: первые успехи Art Ensemble of Chicago были связаны с работой во Франции, да и выступления Брэкстона с группой Circle в основном проходили вне США. Но Андерсон оставался в Чикаго, где не только активно записывался с соратниками по AACM, но и занимался организацией клубной жизни. В конце 1970-х он был менеджером клуба Birdhouse, а затем перешёл в клуб на Южной Индиана-Авеню, который в 1982 году выкупил у прежнего владельца и назвал Velvet Lounge. Благодаря запущенной им программе воскресных джем-сешнов «Бархатная ложа» скоро стала центром притяжения для всех чикагских джазменов, исповедовавших новую импровизационную стилистику AACM, где соединялись ярость раннего фри-джаза, «земные» интонации блюза и практика свободного объединения элементов всех джазовых стилей всех эпох. Любой музыкант-экспериментатор, как бы радикально он ни звучал, мог получить «гиг» в Velvet Lounge. Это неудобное крошечное помещение, втиснутое между куриным грилем и пунктом обмена валют, вмещало всего 72 стула; тем не менее оно стало настоящим центром чикагской импровизационной музыки, гостеприимно открывая свою сцену всё новым поколениям музыкантов, уже не обязательно принадлежащих к AACM и даже не обязательно афроамериканских – так, именно здесь показывал свои первые программы будущий лауреат макартуровской «стипендии гения» саксофонист Кен Вандермарк. Значение клуба для чикагской сцены было так велико, что в 2006 году, когда старое здание было снесено, чикагские музыканты собрали на концертах-бенефисах сто тысяч долларов, необходимых для переезда клуба в новое помещение. Часть фондов поступила и от европейских поклонников Андерсона. Новый