Navnet Børsen kommer sandsynligvis af Bøssen, en betegnelse der stammer fra stedets funktion som toldsted. Byens vestre bom lå nemlig på dette sted. Den første bebyggelse fandt sted omkring 1820.