Jens Brahe, gift med Anne Bille, begyndte i 1553 at opføre det nuværende slot på resterne af en middelalderbygning, som går tilbage til mindst 1200-tallet. Over borgporten satte han en stentavle, som har Brahes og Billes våbenskjold og udtrykker forhåbning om, at Vittskövle Slot altid må være i slægten Brahes eje. Sådan kom det imidlertid ikke til at gå. Efter at være i forskellige familiers eje har Vittskövle Slot siden 1837 tilhørt slægten Stjernswärd.