Cette rue doit son nom au milieu naturel dans lequel elle a été aménagée. En effet, bien que la colline de Québec soit formée de schistes rouges et gris, il existe à quelques endroits, le long du Saint-Laurent, à la limite des anciennes villes de Sainte-Foy et de Sillery, des massifs de grès vert qui affleurent sous forme de gros rocs ou masses de pierre dure. Ces grésières sont exploitées dès le Régime français jusqu'au milieu du 20e siècle. La pierre sert notamment à la construction de la Citadelle de Québec et des fondations du Château Frontenac ainsi qu'au pavage des chemins. La présence de ces formations rocheuses plus dures que le schiste explique l'étroitesse du fleuve à cet endroit, où l'on choisira de construire le pont de Québec. Plusieurs des maisons de ce secteur reposent directement sur le roc et sont par le fait même dépourvues de sous-sol.