De Heemkundige Kring de Semse werd gesticht in 1985 onder impuls van de gemeente Zemst. Het werkgebied omvat de vijf deelgemeenten van de fusie Zemst. Als naam van de heemkring werd de oudste in de archieven gevonden naam, “de Semse” gekozen.

Bij haar stichting werd de Semse ondergebracht in de Schranshoeve te Eppegem. Zij beschikte er over een vergaderlokaal, een cafetaria, een tentoonstellingszaal en een grote opslagruimte op de zolders. De cafetaria werd eerst uitgebaat door vrijwilligers, later door een gerant. Eind 1999 besloot de gemeente de Schranshoeve te verhuren aan een brouwerij en de Semse moest op zoek naar een nieuw onderkomen. Uiteindelijk werd gekozen voor de voormalige jongensschool te Zemst waar enkele lokalen vrij waren na het vertrek van de judoclub die naar de Budohal te Elewijt verhuisde. De rest van de lokalen van het schoolgebouw werd toen nog ingenomen door de hoofdbibliotheek van Zemst. Vanaf 1 april 2000 kon de Semse de vrijstaande lokalen in gebruik nemen.