Med sin historie, som rækker tilbage til vikingetiden, hører Aggersborggaard til blandt landets allerældste herregårde, som er placeret i kanten af vikingeborgen Aggersborgs cirkulære voldanlæg.
I perioden fra 1086 til 1579 fungerede Aggersborggaard som kongsgård for de danske konger på grund af gårdens betydningsfulde placering ud mod Limfjorden.

Vikingeborgen Aggersborg blev bygget af Harald Blåtand i slutningen af vikingetiden, ca. år 980, er klart den største af de berømte ringborge fra vikingetiden som fik sin placering ud mod Limfjorden på grund af det gode udsyn og muligheden for at fungere som kontrolpost af søfarten.

I 1086 blev kongsgården Aggersborg plyndret af vendelboernes bondehær, som gjorde oprør mod kongen (Knud den Hellige), der dog var flygtet til en nærliggende bispegård.

Knud den Hellige, en herremand og Fanden selv

Aggersborggaards mest prominente spøgelse er ingen ringere end Knud den Hellige, som døde i 1086. Og han hører til den stædige type genfærd, der flytter med, thi uagtet gården er brændt eller blevet ødelagt og bygget op fra grunden mindst tre gange siden hans dage, rumsterer han stadig ved midnatstid i salen og et tilstødende værelse.
En mandlig gæst, der overnattede i bemeldte værelse, vågnede ved, at der lød tunge, slæbende trin fra salen; han havde ellers aldrig været bange af sig, men nu følte han en uforklarlig angst. Da trinene nærmede sig kammeret, og dørhåndtaget lidt efter drejedes ned, gemte han sig derfor skyndsomt under dynen.
Ligesom tøvende fortsatte trinene hen til sengen; manden fornemmede, hvordan en tung vægt lagde sig over ham og stemmede mod hans bryst, så han var ved at kvæles. Det varede vel nogle minutter, men de forekom ham lange som timer. Så lettede presset, og der lød atter trin, som fortalte, at spøgelset var på vej ud. I salen gik det endnu et par gange frem og tilbage, men så blev alt stille, og der skete ikke mere den nat.
Ifølge traditionen er det kong Knud, der her gang på gang må gennemleve de tunge timer, han tilbragte på Aggersborg, inden han besluttede at flygte sydpå for vendelboerne, som dog indhentede og dræbte ham i Sankt Albani Kirke i Odense.

Hvor Limfjorden ved Aggersund åbner sig i Løgstør Bredning , ligger det ældgamle herresæde, Aggersborggaard. Gården er kendt allerede fra omkring år 1000, hvor der på området lå en vikingeborg, hvis voldsted endnu er kendeligt.
I 1086 afbrænder vendelboerne stedets kongsgård under jagten på Knud den Hellige.