Ранняя история
Первоначально на месте Бро стояла большая римская крепость, предназначенная для того, чтобы контролировать прилегающий участок дороги.

В 1090-х гг. в северной части территории римского укрепления Вильгельм II построил обнесенный стеной замок — один из первых каменных замков Англии. Бро защищал английскую границу до 1136 г., пока он и соседний замок Эпплби не были захвачены шотландцами. В 1157 г. англичане отбили замок обратно. В 1173 — 1174 гг. замок осадил шотландский король Вильгельм Лев. Гарнизон Бро, состоявший всего из шести рыцарей и небольшого количества простых воинов, не смог долго сопротивляться — вскоре замок пал, после чего был сожжен и разрушен шотландцами.

Сохранившийся до наших дней донжон был построен в 1180 г. Теобальдом де Валуином, который начал восстанавливать замок. В 1203 г. король Иоанн Безземельный пожаловал Бро Роберту Вьепонту, и тот завершил строительство и укрепление нового замка.
ароны Клиффордские

В 1268 г. Бро перешел в собственность баронов Клиффордских, которые уже владели расположенным неподалеку замком Брохэм. Около 1300 г. Роберт Клиффорд воздвиг в замке дополнительные сооружения, в том числе круглую башню в юго-восточной части замка — так называемую Башню Клиффорда, — а в середине XIV в. его внук Роджер перестроил верхний уровень замка, превратив его в большой зал, опоясанный палатами.
Донжон замка

Клиффорды жили в замке на протяжении неполных трех веков, пока Бро не сгорел на Рождество 1521 г. После пожара замок простоял заброшенным около 140 лет. В 1659 г. замком занялась леди Анна Клиффорд, которая восстановила Бро (а также другие фамильные замки Клиффордов) и провела в нем значительную часть жизни. После ее смерти в 1676 г. замок снова опустел.
Период упадка

После смерти леди Клиффорд Бро перешел по наследству к графам Танетским. В 1715 г. на аукционе за 55 фунтов было продано покрытие крыши замка, а в 1763 г. он был наполовину разобран на камни для строительства соседнего завода. В 1920 г., когда Бро перешел под опеку Министерства труда, от него остались одни руины. В настоящее время охраной замка занимается организация «Английское наследие».