Budynek zaprojektowany przez architekta Atonio Corazziego wzniesiono w latach 1827-1828. Pierwotnie w miejscu budynku mieściła się austeria przy Trakcie Brzeskim, w której za czasów Aleksandry Ogińskiej wydawano posiłki dla biednych. W dawnej oberży młode lata spędził Aleksander Orłowski, przyszły malarz batalista. Poczta to dwukondygnacyjny budynek wybudowany na planie prostokąta. Budynkowi nadano charakterystycznego wyglądu poprzez reprezentacyjnie zaprojektowany fronton. W 1979 r. na frontowej ścianie poczty wmurowano tablicę poświęconą pamięci pracowników siedleckich poczt i telekomunikacji, bohaterskich ofiar poległych z rąk okupantów w czasie II wojny światowej.