Яндра спрятала Коссу от преследователей, и утром он ушел. Пораженный ее необыкновенной красотой, Косса решил добиться ее любви и на следующий день явился вновь. Однако его ожидала неудача. Инквизиция выследила «чародейку» и в то самое время, когда в ее в доме находился Балтазар, произвела налет. Косса отчаянно сражался, пытаясь вместе с Яндрой прорваться в город, где он рассчитывал затеряться в толпе. Но они были схвачены и посажены в тюрьму. Арестованных допрашивал сам великий инквизитор Италии Доменико Бранталино. Яндру обвинили в том, что она отреклась от Спасителя и поклоняется дьяволу, Коссу в том, что он ее пособник и любовник. Обоих ожидал костер.

Одной из любовниц Коссы (Име Давероне) удалось добиться свидания с ним. Она успокоила Балтазара сообщением, что казнь состоится не раньше чем через три месяца. Балтазар через Иму Даверону сумел передать весть брату Гаспару и своим соученикам. Не прошло и месяца со дня ареста, как он оказался на свободе, причем совершил побег с присущей ему дерзостью. Косса убил стражника и в его одежде вышел из тюрьмы, после чего затерялся на улицах Болоньи.

Балтазар встретился с Гаспаром, и они разработали план по спасению Яндры, предусматривавший штурм тюрьмы. Под началом Гаспара насчитывалось сто двадцать пиратов, которые могли захватить не только тюрьму, а даже весь город. Кроме того, пиратам вызвался помочь кондотьер Альберинго Джуссиано. За две тысячи эскудо он дал им в помощь сто своих наемников. В феврале 1385 года они захватили тюрьму, перебили стражу и освободили Яндру. У стен тюрьмы и внутри разыгралось настоящее сражение. Балтазар был в очередной раз ранен. Вскочив на лошадей, Косса и Яндра, сопровождаемые друзьями, вырвались из Болоньи. С группой ближайших сподвижников и Яндрой Балтазар бежал в Пизу и снова стал пиратом. Четыре года его корабли бороздили воды Средиземного моря, набрасываясь на все проходившие суда независимо от их национальной и государственной принадлежности, захватывая их экипажи и пассажиров. От нападений его флотилии страдали берега Франции, Испании и Италии, арабских стран Магриба.

Как-то возвращаясь после очередного налета, флот Коссы попал в сильный шторм. Погибли все суда и весь награбленный груз, в том числе пятьсот рабов. Вместе с Коссой в лодке спаслись только Яндра, Ринери Гуинджи и одноглазый гигант Гуиндаччо Буонакорсо. Более суток мотало их по морю, пока не выбросило, полуживых, на берег. В лодке Балтазар и Гуиндаччо дали обет, что в случае спасения станут священнослужителями. Купив у какого-то пастуха осла для Яндры, потерпевшие кораблекрушение тайно стали пробираться вдоль берега, но через три дня были опознаны жителями и, несмотря на отчаянное сопротивление, схвачены. Их поместили в подвале какого-то дворца. Случаю было угодно, чтобы во дворце в этот момент оказался папа Урбан VI, как раз ведший борьбу с коалицией светских и духовных князей, противников его избрания. Урбану VI обманом удалось захватить нескольких кардиналов, епископов и архиепископов и подвергнуть их пыткам, чтобы они «признали свою вину»; в этом случае можно было бы вместо них назначить своих приверженцев.

Источники не указывают имени человека, которому Урбан VI поручил следствие над кардиналами. В них говорится только, что «следствие… понтифик поручил бывшему пирату, ставшему священнослужителем». Варианты, конечно, возможны, но уж слишком бросаются в глаза совпадения. Итак, Косса, безмерно разбогатевший, отошел от беспокойной жизни пирата, а точнее – сменил ее на стезю папского тайного агента. Позднее Коссе довелось выполнять тайные поручения нескольких пап: он самолично пытал и казнил кардиналов, обвиненных в заговоре.