El parc està situat als terrenys on Felip V va fer construir una gran ciutadella militar per controlar la ciutat l'any 1715, després que aquesta es rendís l'11 de setembre de 1714. Per construir-la, es van enderrocar les muralles de l'extrem nord-est de la ciutat i 1.262 cases del barri de la Ribera.
Construït al final del segle XIX, va ser el primer parc dissenyat específicament com a parc públic. L'any 1869 el general Prim −l'estàtua eqüestre del qual podem contemplar dins l'actual espai verd− va lliurar la ciutadella a Barcelona a fi d'obtenir el suport de la burgesia industrial barcelonina. La condició fou que calia dedicar el solar a parc públic. La fortalesa militar va ser enderrocada per brigades de voluntaris.
La recuperació d'aquests terrenys va permetre crear un gran espai verd molt necessari en una Barcelona cada cop més massificada pel desenvolupament industrial. Calien llocs on "poder respirar", com molt bé definia Josep Fontserè en el lema del projecte: "Els jardins són a la ciutat el mateix que els pulmons al cos humà". El traçat original determinat per Fontserè l'any 1872 es va modificar per incloure l'Exposició Universal de 1888 i, més tard, per instal·lar-hi el Zoo de Barcelona, un dels més importants d'Europa i que ocupa la meitat dels terrenys.