Det begyndte med den kongsgård, der lå her i slutningen af 1000-tallet. Det var herfra, kong Knud den Hellige i 1086 blev fordrevet af vrede vendelboer, der forfulgte ham helt til Odense, hvor han blev myrdet. Hændelsen er blandt andet beskrevet af den engelske præst Ælnoth omkring 1120 i hans martyrkrønike om Knud den Hellige.