Agersø By var i gamle dage en rigtig landsby med gårdene i kreds omkring gadekæret, en by der havde alt: Smedje, præstegård, fattighus, kirke, skole, landhandel, mølle, mejeri og havn. En del er bevaret til idag.