Byggnaden byggdes redan på 1400-talet som försvarsborg mot danskarna. Det ståtliga stenhuset är idag en av de bäst bevarade medeltidsbyggnaderna i hela landet. Med en sådan lång historia är det självklart att Torpa stenhus omgärdas av berättelser från förr.
Det var bland annat här som Gustav Vasa fann sin tredje hustru, Katarina Stenbock. Hon var blott 17 år vid vigseln 1552 i Vadstena klosterkyrka. Kyrkan motsatte sig bröllopet eftersom Katarina var släkt med Gustav Vasas bortgånga exhustru. Men vigseln genomfördes ändå och Katarina blev drottning och senare änkedrottning under lång tid. Gustav Vasa var 56 år när han tog Katarina till hustru.
En annan händelse på Torpa stenhus är mer höljd i dunkel. Det sägs att en riddare av ätten som huserade på Torpa hade två döttrar. Storasystern var just hemkommen från Danmark och berättade vid återkomsten om att pesten just brutit ut i grannlandet. Fadern blir livrädd, Pesten var fruktad och smittsam. Mitt natten hämtas storasystern av fadern och förs till ett avlägset rum i slottet. Här väntar redan fyra andra män, utrustade med tegel och murarredskap. Flickan beordras att sätta sig på en stol inne i rummet och männen börjar sedan att mura igen dörren. Sten för sten bönerna hjälper inte.
Fadern har bestämt sig för att pesten inte skall ges en chans att få fäste på slottet. Flickan muras in i rummet och efter några dagar hörs inte längre några ljud bakom tegelväggen. Ingen vet dock om sägnen är sann. Men faktum kvarstår än idag står muren framför dörren…
Klipp ur BT (Borås Tidning)- 11 juni 2009
Slottsspöken
Grå frun
Grå frun sägs ha varit en dotter till en av borgens herrar för länge sedan. Hon skall ha blivit förälskad i en av fångarna som fadern tagit med hem från Danmark. När fadern fick veta detta dödade han fången varvid dottern blev sjuk av sorg och dog inom kort. Hon har därefter inte fått någon ro utan irrar nu omkring i slottets salar.
De vita hästarna
Varje gång en ägare till Torpa är nära sin egen bortgång sägs personen se fyra vita hästar som drar en ståtlig vagn. De drar vagnen fram till stenhuset där de stannar en stund, varefter de långsamt kör bort igen.
