W pobliżu kościoła przy ul. Starowiejskiej znajdują się skrzydła boczne dawnej bramy-dzwonnicy, która pierwotnie miała kształt łuku triumfalnego o trzech arkadach. Brama została wzniesiona na zlecenie Aleksandry Ogińskiej w latach 1773-1776. Rada Miejska podczas I wojny światowej nadała dzwonnicy miano "Bramy księżnej Ogińskiej". W 1941 r. brama, która utrudniała przejazd pojazdów pancernych, została rozebrana przez Niemców. Obecnie pozostały jedynie skrzydła boczne zawierające niewielkie pomieszczenia użytkowe.