På Ramsherrred nær kirken ligger Svendborgs ældste hus, Anne Hvides Gård, fra 1560, der nu er museum. Huset er den sidste rest af en længere husrække, så gavlen er fra en restaurering i 1914. Tavlene mellem bindings­værket er nu kalkede, hvad der er mere i overens­stemmelse med det oprinde­lige udseende.