A la banda nord de la Plaça Sant Domènec hi ha la torre i la porta Rufina. La porta donava accés a l’actual carrer del Portal Nou, i connectava aquesta part de la ciutat amb la Via Agusta.
Inicialment només existia la porta que pel seu tipus de construcció, en baioneta, feia innecessària la presència d’una torre de defensa. La torre actualment té una aparença atalussada, fruit de les reformes del s. XIV. En el basament de la torre, a tocar de la porta, trobem carreus quadrangulars de pedra sorrenca. En aquests blocs es pot apreciar l’encoixinat decoratiu, que també es pot veure als trams conservats a la torre Gironella. Aquests blocs formarien part de la muralla, no pas de la torre, que no està documentada fins al s. XIV.
La porta tenia uns 2 metres d’amplada, i la seva construcció en baioneta proporcionava un accés sinuós que facilitava la seva defensa. Amb aquest sistema defensiu, es creaven un seguint d’angles interns que obligaven a l’atacant a estar constantment mancat de protecció. A l’alta edat mitjana (s. X i XI) les pedreres de sorrenca procedien de Domeny, d’un indret conegut com Parietes Rufini d’aquí prové el nom de la porta.
