Le gravier est ce matériau fait de petits cailloux, dont on recouvre les allées, les chaussées, etc. Cette dénomination rappelle la proximité des carrières de pierres de Charlesbourg-Ouest, aujourd'hui dans le quartier de Neufchâtel Est/Lebourgneuf.

Ancien toponyme
Municipalisée le 6 novembre 1961, la rue des Graviers s'est tout d'abord appelée rue Kirouac en l'honneur du Dr Charlie Kirouac qui a pratiqué la médecine outre-mer pendant la Deuxième Guerre mondiale pour s'installer ensuite aux Îles-de-la-Madeleine et à Charlesbourg.