Возникали и исчезали другие предрассудки, начинались и кончались другие преследования. Церковь в Наваррё была католической, потом протестантской, потом снова стала католической, но все это время в ней была отдельная дверь для каго. Накануне Французской революции некоторые священники все еще отказывались впустить своих прихожан-каго в основную часть церкви и хоронить их вместе с остальными христианами. В городке Люрб приходский священник заставлял их брать воду из колоды, откуда поили животных, и попытался покарать своего старшего брата за женитьбу на девушке-каго. Это происходило в 1788 году, когда стало труднее обнаружить каго в городских регионах, хотя в Бресте отдельная община каго была еще в 1810 году. Преследования каго на местах продолжались в течение жизни многих поколений. В 1840-х годах историк, искавший «про́клятые народы» Франции и Испании, обнаружил примерно сто пятьдесят городов и деревень, где жили люди, которых относили к народу каго. В городе Борс в 1830 году мэракаго заставили уйти с должности. В городке Арамиц мужчинам-каго было трудно найти хороших мужей своим дочерям. В городах Доньен и Кастебон в 1847 году умерших каго хоронили на отдельном кладбище, и было еще много кладбищ для умерших в этой коммуне каго из других мест. В городе Энебон, на юге Бретани, пекарь потерял всех своих клиентов из простого народа, когда женился на «какуз» (женский род от «каку», местного названия каго). В 1964 году учитель из Сали-де-Беарн, из тех мест, где холмистые предгорья Пиренеев начинают сглаживаться, постепенно превращаясь в равнинные Ланды, обнаружил, что над некоторыми семьями до сих пор смеются из-за того, что они потомки каго.

Никто не знает и не знал, почему каго были изгнаны из общества и за что их преследовали. Свидетельства о рождении и другие официальные документы указывали, что эти люди – каго лишь потому, что их родители тоже были каго. В сравнительно недавнее время, в 1890-х годах, появились свидетельства о странных генетических отклонениях во внешности этих людей, причиной которых считали события туманного прошлого.

У каго отсутствовали ушные мочки, была специфическая форма ногтей, светло-синие или серовато-зеленые глаза, желтовато-блеклая кожа, перепонки между пальцами рук и ног, младенческий пушок вместо волос на голове у взрослых людей. На юго-западе многие считали, что предками каго были вестготы, побежденные королем Хлодвигом в VI веке, и что слово «каго» происходит от слов «готский пёс» на беарнском диалекте или на латыни; однако более вероятно, что оно находится в родстве со словом, означающим «экскременты». Группа каго, которая в XVI веке послала прошение папе Льву X, называла себя потомками еретиков-катаров, которые были истреблены в XIII веке во время Крестовых походов против альбигойцев. Но каго появились раньше, чем катары, и нет никаких данных о том, что их религия была неортодоксальной. Выдвигалась и другая похожая гипотеза: каго – первые галльские христиане (одно из их названий было «chrestiens» – «крестьен»), а когда остальное население страны тоже приняло христианство, старый языческий предрассудок сохранился. В некоторые исторические периоды и в некоторых местностях каго путали с прокаженными, хотя колонии прокаженных существовали во Франции за несколько столетий до первых известных поселений каго. И ранние указы упоминают прокаженных и каго как разные категории нежеланных людей