År 1631 såldes egendomen till Falk Lykke som lät bygga den nuvarande huvudbyggnaden om tre våningar. Han lär enligt sägnen ha svårt att få ro i sin grav eftersom han lät riva Gärsnäs kyrka för att bygga slottet. Helena von Grothusen gjorde i modern tid