Tout a commencé avec un modeste marché qui se tenait au même endroit, à l'extérieur des murs de la ville, au temps du Moyen Âge. La place s'appelait alors Plaza del Arrabal puis par la suite, au gré de l'histoire, Plaza de la Constitución, Plaza Real et Plaza de la República. Toutefois, pour les habitants elle a toujours été « la place principale » : Plaza Mayor. Le roi Philippe de Habsbourg, surnommé Philippe le Beau, trouvait que la place était un désastre. Il ordonna alors à l'architecte de la cour Juan de Herrera de la rénover entièrement avec la Casa de la Panadería (Maison de la Boulangerie), richement ornée de fresques, comme pièce de résistance. Après une série d'incendies, la place prit peu à peu sa forme actuelle : rectangulaire avec des portes de chaque côté, 2 tours de guet se faisant face et bordée de bâtiments de couleur rouge ocre sur 4 étages. Les madrilènes pouvaient également assister aux exécutions publiques et aux corridas depuis l'un des 237 balcons en fer forgé surplombant la place.