De naam Rumsdorp stamt af van Rums = Romeins = kern van de vroegere Romeinse vicus midden de vruchtbare landen, dus een zeer oud Romeins dorp, gelegen te paard op de Dormaalbeek (vroegere Molenbeek), tegenover de Kastel van Attenhoven. P. Kempeneers (2000) betwist deze uitleg. Rumsdorp is volgens hem te reconstrueren als rumas-torpa of dorp van Rumo. Het eerste lid uit hrôm of 'roem', is een bekende voornaam, die niets met de Romeinen te maken heeft.

In 1904 onderzocht men er de Romeinse villa 'Spijkel', naast het Spikkaertpad (spicarium of graanschuur voor de gemeenschap). Een familie bouwde er haar verdedigingstoren op de motheuvel en trok ernaast een kapel op. In de 13de eeuw werd het dorp verdeeld in drie kleine heerlijkheden, afhangend van Brabant, maar het kapittel van de Luikse Sint-Lambertuskathedraal - het prinsbisdom Luik lag in de onmiddellijke omgeving - inde alle parochiale inkomsten en bezat eveneens benoemingsrecht van de parochieherders. De heerlijkheid Rumsdorp kwam in 1645 in handen van Antoine Vandergracht, afkomstig uit Vlaanderen, nadien bij Jean-Florent

Vanthulden uit 's Hertogenbosch. Karel VI verleende op 10 mei 1720 de baronstitel van Rumsdorp aan zijn nakomelingen die te Mechelen woonden. De laatste titeldragers, de Pitteurs en de Velpen-Everaerts bewoonden het kasteel van Roost en werden er in 1828 begraven.

Een grote brand van 1727 vernielde alle archieven van de gemeente, met inbegrip van de woning van secretaris Matheus Vanberwaer.

De gemeente werd samengevoegd met het naastliggende Landen zodat ze haar zelfstandigheid op 31 december 1971 verloor.