Как и большинство кинорежиссеров, Барнет женился в основном на актрисах. В первый раз это случилось в середине 20-х, когда Барнету было едва за двадцать. Но тот брак продержался недолго – где-то год-два. Затем женой Барнета стала актриса Елена Кузьмина. Свою первую роль в кино она сыграла в 1928 году, когда училась на последнем курсе ФЭКСа, – это был фильм «Новый Вавилон». Ей было всего 19 лет, когда ее увидел Барнет. Их знакомство закончилось свадьбой и рождением дочери Наташи. В «Окраине» Кузьмина играла уже главную роль – Маньку. В фильме «У самого синего моря» она сыграла рыбачку Машу, тоже главную героиню.

В 1935 году Барнету присвоили звание заслуженного артиста РСФСР, и он по праву считался одним из самых талантливых молодых режиссеров советского кино. Ему прочили блестящее будущее, и Борис был вполне удовлетворен своей личной и творческой жизнью. Но в 1936 году его брак неожиданно распался. Виной всему оказался не менее известный режиссер кино Михаил Ромм, который пригласил Кузьмину на главную роль в свой фильм «Тринадцать». Съемки проходили вдалеке от Москвы – в пустыне под Ашхабадом. Именно там между актрисой и режиссером и вспыхнул внезапный роман. Свидетелями их отношений были все члены съемочной группы, и кто-то из доброжелателей тут же дал знать об этом Барнету в Москву.

Когда весть достигла адресата, Барнет буквально взорвался. В прошлом он был прекрасным боксером и проигрывать не любил. Поэтому решил во что бы то ни стало поговорить с Роммом по-мужски и отправился к месту съемок. Как рассказывает В. Вульф, перед столь важной встречей Барнет так разволновался, что решил для храбрости выпить. Однако он не учел одного обстоятельства: после того как на съемках фильма произошел скандал с актером Николаем Крючковым (он систематически прикладывался к бутылке), в съемочной группе было принято решение все спиртное уничтожить. Столкнувшись с этой проблемой, Барнет в конце концов не нашел ничего лучшего, как влить в себя флакон одеколона «Сирень». И только после этого отправился к Ромму.

Между тем Ромм, который, в отличие от Барнета, не был ни боксером, ни вообще активным спортсменом, испытывал не менее сильные переживания. Он уже знал, что приехал разъяренный муж Кузьминой и что встречи с ним ему не миновать. Поэтому тоже решил залить свои терзания спиртным, но, естественно, ничего не нашел и выпил полфлакона одеколона, только другой марки.

Однако встреча двух знаменитых режиссеров, вопреки ожиданиям завистников, прошла вполне мирно – никакого скандала не произошло. Барнет неожиданно легко простил своего соперника и отпустил жену на все четыре стороны. Дочь Наташа ушла вместе с матерью… Как гласит одна из легенд, однажды Барнет пришел в дом Михаила Ромма навестить свою дочь. Услышав от Наташи: «А папы нет дома», оскорбленный Барнет с тех пор предпочитал встречаться с дочерью вне этой территории.

После развода с Кузьминой наш герой был женат еще два раза и, разумеется, исключительно на актрисах. Его третьей женой стала артистка театра Валентина N (в дальнейшем она станет женой режиссера Г. Козинцева). Послушаем ее рассказ о Барнете:

«Борис Васильевич знал меня с детства, поэтому относился ко мне и как к жене, и как к ребенку. Он говорил: «Как удобно стало ходить с тобой под руку, а не водить тебя за ручку». В Москве мы жили в крохотной комнатушке, но там собирался весь цвет литературы – Катаев, Светлов, Олеша… У нас с Борисом была необыкновенная дружба, но как муж он был невыносим. Его любили все – женщины, мужчины, дети, собаки, кошки, птицы – все. И он любил всех…»