В 1937 году в этот дом ночью вошли люди, Шаламов был арестован во второй раз, счастье продлилось всего 3 года. Арестовали Шаламова по доносу брата жены, сотрудника НКВД, за антисоветские высказывания. Его увозят сначала в Бутырскую тюрьму, а потом отправляют на Колыму. Вернётся он в этот дом только в 1953 году и будет тайно встречаться с семьёй, так как жить ему надлежало за 101 километром. Брат жены продолжал следить за парой и писать доносы.

В 1937 году его отправляют в Магадан на золотодобывающие прииски. 13 лет он кочует по шахтам и посёлкам в качестве землекопа, забойщика, лесоруба, поменял пять приисков. В Колымских лагерях пытается бежать, попадает в штрафной прииск – и добавляет себе срок. Здесь он заканчивает медицинские курсы, работает в лагерных больницах фельдшером.

Работает в Якутии, зарабатывая на билет в Москву.

«Колымские рассказы» – программное произведение состоит из шести циклов. Шаламов описывает жизненный путь людей, которые были сломлены системой. Шаламов был убежден, что лагерь абсолютно для всех является отвратительной и ужасной школой. Он негативно отзывается о Солженицыне. Отказывается от предложения Солженицына работать над «Архипелагом ГУЛАГ» вместе и запрещает Солженицыну использовать свое имя в его материалах. Шаламов считает, что Солженицын сделал себе имя за счёт спекуляции темы лагерей. «Архипелаг ГУЛАГ» оставляет в тени «Колымские рассказы». Шаламов хотел, чтобы его рассказы выходили в своей стране, чтобы вышли за пределы самиздата, но этого не случилось, этому помешала популярность Солженицына.

Шаламов считает, что лагерь – это опыт отрицательный полностью, что лагерь растлевает всех. Для Солженицына, и это видно в «Одном дне Ивана Денисовича», лагерь – место очищения, и, вообще, Россия должна пройти «большевистское искушение», чтобы очиститься. Шаламов считает, что Солженицын пишет не всю правду о лагерях. В «Одном дне Ивана Денисовича» в лагере живёт кошка. Шаламов считает, что в лагере на Колыме кошку бы съели.

Шаламов категорически не хотел участвовать в политических играх. Он писал, что самиздат и тамиздат – это оружие двух разведок. А Солженицын в борьбе участвовал, и сам был орудием «холодной войны». И в этом тоже разница в их судьбах, – большая разница. Единственный легальный рассказ Шаламова вышел в 1965 году в журнале «Сельская молодежь». А «Колымские рассказы» вышли уже после смерти писателя. В 1965 году на полуофициальном вечере, посвященном памяти Осипа Мандельштама, Шаламов читал рассказ «Шерри-бренди».

В основе сюжета – умирающий в ГУЛАГе поэт. Рассказ – дань поэта своему другу по искусству и судьбе. Больной Мандельштам читает у костра сонеты Петрарки. В президиуме заволновались и передали ведущему вечера записку: прекратить чтение. Ведущим был Илья Эренбург, он спрятал записку в карман и дал возможность дочитать рассказ. Выступление было принято с восторгом. Шаламов вошёл в литературный круг Эренбурга. Завязалась дружба с Надеждой Мандельштам. Вскоре он был представлен Анне

Ахматовой. Шаламов отказался от своих диссидентских взглядов, и некоторые расценили это, как предательство…

16 лет лагерей сломали Шаламова только физически. Последние годы он провел в доме престарелых Литфонда.

Будучи сыном священника, Варлам Шаламов всегда считал себя неверующим. Тем не менее, отпели и похоронили его с соблюдением всех православных традиций на Кунцевском кладбище Москвы.