La plaça i l’edifici de l’Ajuntament de París estan estretament lligats a la història de la ciutat des del període medieval. Fins 1141, la plaça no era res més que un terreny pedregós, però en aquell any els mercaders que transportaven mercaderies pel riu Sena i els comerciants de la Cité van establir-hi un port amb l’objectiu d’alleugerar el que ja funcionava a la Cité. Així, a l’anomenat port de Greve arribarien els vaixells amb provisions de blat, fusta, vi, carbó, etc. El 1170, el rei va concedir a aquests comerciants el monopoli dels aprovisionaments, fet que els donava un gran poder ja que la major part dels abastiments de la ciutat arribava pel riu
El 1246, Lluís IX va crear la primera municipalitat de París: els comerciants escollien el seu representant davant el monarca. El seu cap era anomenat Prevot des Marchands i va arribar a prendre un gran poder a la ciutat. El 1357, el prebost Etienne Marcel, fent us del poder que li atorgava el monopoli comerciant dels seus representats va adquirir com a seu de les autoritats municipals un edifici gòtic anomenat “la casa dels pilars”, situat a la Plaça de Greve, simbolitzant d’aquesta manera les llibertats municipals adquirides enfront del poder del rei Carles V.
Des de finals de l’edat mitjana, la petita Plaça de Greve va ser escenari de festes, de revoltes i d’execucions i suplicis –que incloïen apallissaments, esquarteraments i morts a la foguera, entre d’altres–. En temps de la Revolució, seria la Plaça de Greves on per primer cop es faria servir la guillotina, espectacle que va resultar força decebedor per un poble acostumat a execucions lentes i penoses pels ajusticiats.
D’altra banda, en el segle XVI, sota el regant de Francesc I, la casa dels pilars va ser substituïda per un veritable palau renaixentista, seu de l’Ajuntament a l’actualitat. Seguint el disseny de l’arquitecte italià Boccador, la construcció va realitzar-se entre 1533 i 1628. Escenari privilegiat de la Revolució francesa, quan per primer cop va gaudir d’un veritable govern municipal, aquest palau seria àmpliament reformat per ordre del rei ciutadà Lluís Felip entre 1836 i 1850, sempre conservant la façana renaixentista original. Des de Napoleó, París perdria el seu règim municipal com a conseqüència d’un fort procés centralitzador estatal i seria governada per un prebost del govern: el Préfet de la Seine.
Tant el 1848 con el 1870, l’Hôtel de Ville va servir com a refugi dels republicans que proclamarien la Segona i la Tercera República després de les caigudes de Lluís Felip i Napoleó III respectivament. La caiguda del Segon Imperi va resultar especialment dramàtica: en el context dels fets de la Comuna, un grup de parisencs van ocupar l’edifici de l’Ajuntament el 28 de març de 1871, donant lloc a un incident amb les autoritats que acabaria amb l’incendi de l’Hôtel que resultaria reduït a cendres, tant l’edifici com tots els seus arxius.
Entre 1873 i 1882 van realitzar-se les obres de reconstrucció de l’edifici a càrrec del govern de la Tercera República, una còpia ampliada del vell palau renaixentista aixecat en temps de Francesc I. A la seva façana, nombroses escultures representen els 108 personatges més importants de la història de la ciutat. L’interior de l’edifici està decorat amb pintures, marbres, detalls d’or i fusta noble, testimoniant la magnificència de la Tercera República. Això si, fins el 1977, ja en temps de la Cinquena República, la ciutat de París va seguir amb el seu règim especial i no va gaudir de govern municipal escollit democràticament. Amb el canvi i la desaparició de la figura del Préfet de la Seine Jacques Chirac arribaria a l’alcaldia del municipi.