L'antico castello di Ormea pare sia sorto intorno al X secolo e da quell'epoca ha segnato la storia del borgo. Come tutti i primi insediamenti occupava la zona che offriva maggiori possibilità di difesa. La montagnola rocciosa che si stacca dalle ultime falde del monte Antorotto era infatti ideale per dominare tutta la valle del Tanaro ed era quasi inespugnabile. Dal castello era possibile bloccare il passaggio alle popolazioni liguri confinanti qualora avessero tentato di invadere la valle per raggiungere la pianura; questo fu il principale scopo di tutti i vari possessori del baluardo che cercavano in ogni modo di arginare le continue incursioni dei nemici. In un primo tempo era costituito da una piccola cerchia di mura che circondava una preesistente alta torre cilindrica. Con la cessione del territorio ai marchesi di Ceva iniziò l'ampliamento della fortezza. Il marchese Giorgio Il detto il "nano" e Garcilasco furono i maggiori artefici del suo sviluppo: il "nano" nel 1296 incluse il castello al borgo con una seconda e vasta cerchia di mura; nel 1538 Garcilasco lo rafforzò aggiungendo altri bastioni e torrioni. Nel 1625 fu acquistato dal Principe Maurizio di Savoia che lo completò con la costruzione di 3 baluardi: uno a ponente, uno a mezzogiorno e l'altro a levante, tutti con ampie feritoie per l'uso delle bocche da fuoco. La costruzione era una fortezza e con ogni probabilità non venne mai abitata dai signori dei luogo; si pensa infatti che essi risiedessero nella casa di via Tanaro. Il castello fu smatellato nel 1795 quando l'esercito francese lo distrusse a forza di mine provocando danni anche alle case sottostanti. Negli ultimi mesi deI 1794 continuava l'occupazione di Ormea. Il generale MoIIis, che aveva preso possesso del borgo...... iniziò ad abbattere il castello a forza di mine. Incendiò inoltre la chiesa parrocchiale provocando ingenti danni in quanto andarono in fumo il pulpito, i banchi e tutti gli arredi sacri. Attualmente rimangono i suoi ruderi, ricoperti dal verde dei pini, a sovrastare la città ricordandoci i suoi otto secoli di storia. (Dal libro "Ormea piccola patria" di Sandro Pelazza edito Bordone Bertilino – Mondovì).

Questa torre costruita interamente in pietra in origrne misurava 27 metri di altezza e all'interno era composta da 9 piani con un diametro di metri 3. Questa costruzione, nota come torre dei Saraceni, è circondata da un alone leggendario; infatti la credenza popolare tramanda un aneddoto che ci spiega quanto quel popolo invasore fosse odiato per la sua barbarie. Si narra che la torre avesse un'unica entrata a precipizio sul fiume; questo ingresso era così angusto che permetteva il passaggio di un solo uomo alla volta. Quando i Saraceni uscivano per compiere una delle loro solite scorrerie, lasciavano un'unica sentinella all'interno. Al loro rientro si scambiavano come segnale di riconoscimento un fischio particolare, al quale ne rispondeva un altro. La sentinella, riconosciuto il segnale convenzionale, sporgeva la mano e ad uno ad uno faceva entrare i compagni che con un balzo potevano introdursi nella torre. Continua la leggenda che un giovane contadino di Barchi della famiglia Zitta, avesse spiato i movimenti dei barbari e imparato il loro segnale, avesse escogitato un piano per liberarsi della loro scomoda presenza. Un giorno lo Zitta aspettò che tutti i Saraceni fossero usciti dalla torre e, dopo essere riuscito ad entrarvi, uccise la sentinella. Al ritorno dei Saraceni, egli rispose dall'interno al segnale convenuto ed essi, ignari del tranello, offrirono la mano fiduciosi. Lo Zitta, anziché introdurli nella torre, li scaraventà ad uno ad uno nel precipizio. Il rumore fragoroso del Tanaro copri le grida degli sventurati che furono tutti uccisi. Continua la leggenda raccontando che i valligiani ancora infuriati con i Saraceni cercarono di distruggere la torre lasciando però il moncone che tuttora e visibile. Nella realtà i Saraceni batterono in ritirata abbandonando la valle Tanaro quando neI 983 furono sconfitti dal Marchese Guglielmo di Provenza che li aveva combattuti per liberare l'abate di Clunj San Maiolo che essi tenevano come loro prigioniero.