C'est à l'époque gallo-romaine qu'auraient été creusées les premières carrières de moellons (pierre calcaire tendre, riche en fossiles), à l'endroit où se trouve aujourd'hui la rue Carnot, la plus ancienne de la cité (elle existait déjà en 1390). C'est de cette activité ancestrale que Carrières tire ainsi son nom, apparu officiellement au début du XIIe siècle.
On le trouve mentionné dans une charte datée de 1162, par laquelle Thibaut de Marly, en partance pour les croisades, fait don d'une "chapelle et de terres situées à Carrières, sur le coteau de Saint-Blaise" à des religieux de l'ordre de Saint Norbert (les Prémontrés), afin que ces derniers puissent y ériger un prieuré.
A lire les registres de l'État civil, on constate que le nom de la ville a beaucoup changé au cours des siècles suivants. En 1660, seule l'appellation "Carrières" est mentionnée, alors qu'en 1668 elle se trouve accompagnée de "sous Poissy", une adjonction qui disparaît en 1675 pour ressurgir en 1680.