Avant de devenir la très célèbre maîtresse du roi Henri II, Diane de Poitiers fut mariée à Louis de Brézé, Grand Sénéchal et Gouverneur de Normandie, mort en 1531.

           Si Diane de Poitiers est liée à la Normandie et à Rouen par son mari, il est cependant peu probable qu'elle fut à l'origine de la construction de cette maison ni même qu'elle l'ai occupé. Le nom même de "Maison de Diane de Poitiers" semble n'être apparu que vers 1870. On le découvre en effet pour la première fois dans le livre de Lucien Hura, "Rouen, ses monuments et ses souvenirs historiques" (1877). Elle était auparavant désignée sous le nom de "Façade aux Médaillons" faisant ainsi référence au deux portraits qui ornent le deuxième étage.

           Dans sa "description historique des maisons de Rouen", Eustache de Laquerrière, signale que les médaillons furent enlevés en 1794, ce qui peut laissé penser qu'ils représentaient des figures emblématiques de l'Ancien Régime... Peut être celui de Diane de Poitiers ?

           L'édifice occupait jadis le N° 129 de la Rue du Gros Horloge. En 1862, lors de l'ouverture de la Rue Jeanne d'Arc, il fut entièrement démonté puis remonté en 1868, dans le petit square aménagé autour de la Tour Saint André a l'angle de la Rue Jeanne d'Arc et de la Rue aux Ours. 

          En 1932, le syndicat d'initiative s'y installa. Malheureusement l'ensemble du Square Saint André fut incendié en 1944 et il n'en subsiste rien hormis la tour.