I Trap Danmark berettes det om stenen, der ligger i en lille indhegning ved vejen: "På Assenbølle mark ligger Skt. Knuds sten, på hvilken Knud den Hellige skal have hvilet på sin flugt for oprørerne; de, som drog til Skt. Knuds marked i Odense, plejede at kaste en lille sten på stedet, og i det hele taget valfartede man hertil i middelalderen.

Stenen er af naturen formet som et sæde; på den fremstående ryg findes en skålformet fordybning." - fordi stenen var blødere end Kong Knuds fjenders hjerter, som H.C. Andersen så smukt skrev om stenen.

Tidligere var stenen et yndet udflugtsmål. I Dronning Christines hofregnskaber fra 1507 hedder det: "Jeg gav seks et halvt mark for at få min frues folk til Skt. Knuds sten (Sancti Knutz steen)", og i 1618 kostede det tre mark at leje en vogn fra Odense til den hellige sten. Langt op i tiden vedblev stedet at have tilknytning til konger. Frederik V (5) skulle engang komme forbi og så fik herremanden på Erholm Gods travlt med at pynte op: Han lod pladsen omkring stenen skuffe og bestrø med sand og blomster.

I Just Mathias Thieles Danmarks folkesagn første bind hedder det: "På vejen mellem Gribsvad og Vissenbjerg Kirke i nærheden af Odense skal der findes en stor sten, som Kong Knud satte sig på for at hvile sig, da han blev forfulgt af de oprørske jyder. På det sted, hvor han sad, blev der mærker i stenen af hans sæde, og rundt om den findes der mange mindre sten, som folk der var på vej til Odense marked, har kastet efter den for at skaffe sig god lykke."

Det bringer altså held at kaste en sten her, så husk din egen sten, at lægge ved Skt. Knuds sten. Jeg har allerede bragt min egen, en sten som kommer fra det mægtige Børglum Kloster i Vendsyssel.

Siden 1887 har stenene og arealet omkring dem været fredet. Der er skåltegn - simpel helleristning fra tiden mellem yngre stenalder og bronzealder - på oversiden af stenen, så interessen for Skt. Knuds sten strækker sig helt tilbage til oldtiden.