Det begyndte med den kongsgård, der lå her i slutningen af 1000-tallet. Det var herfra, kong Knud den Hellige i 1086 blev fordrevet af vrede vendelboer, der forfulgte ham helt til Odense, hvor han blev myrdet. Hændelsen er bl.a. beskrevet af den engelske præst Ælnoth omkring 1120 i hans martyrkrønike om Knud den Hellige.

Foruden en kongsgård lå her også en domkirke. Børglum var Vendsyssels kirkelige centrum. Længe mente man, at det første nordenfjordske bispesæde fra ca. 1060 blev oprettet i Vestervig, hvorfra det i første halvdel af 1100-tallet blev flyttet til Børglum, da Limfjordens åbning mod Vesterhavet sandede til. Nyere undersøgelser indikerer dog, at stiftet måske allerede fra sin begyndelse havde hovedsæde i Børglum. Sandsynligvis lå kongsgård og domkirke side om side på et højt bakkeparti, hvorfra bygningerne har været synlige i store dele af det vestlige Vendsyssel.

Det er usikkert, hvornår klosteret blev anlagt, men formentlig skete det i 1140-50’erne eller 1180-90’erne, i de første årtier måske som augustinerkonvent. Klosteret kendes med sikkerhed fra 1215-16, da en broder Eskil blev sendt til Rom med ansøgning om at få klosteret flyttet, måske fra en tidligere beliggenhed i nabolaget. Alternativt kan en første klosterstiftelse være flyttet hertil fra Vrejlev i begyndelsen af 1200-tallet.