El Colegio Nuestra Señora del Recuerdo fue inaugurado el día 24 de Septiembre de 1880, en la finca denominada «El Recuerdo», ubicada en Chamartín la Rosa, entonces pueblo cercano a Madrid. La finca fue cedida por los Duques de Pastrana (D. Manuel de Toledo Lasparre y Dona Dionisia Vives y Cires) a la Compañía de Jesús, con la clara voluntad de que se fundara en ella un centro educativo.

Con ello se continuaba la tradición de los colegios de Jesuitas en Madrid, que había comenzado en 1572, solamente dieciséis años después de la muerte de San Ignacio, con la fundación del Colegio Imperial (actual Instituto San Isidro, en la calle Toledo). Esta fundación fue posible gracias a la dotación que dio la Emperatriz María de Austria, hija de Carlos I, para hacer un colegio gratuito. En él estudiaron, entre otros, Lope de Vega, Calderón de la Barca, Quevedo y el Beato Diego Luis de San Vitores, jesuita mártir. Su Iglesia, denominada de San Isidro, fue Catedral de Madrid hasta la consagración de la nueva catedral de la Almudena.

El Colegio Nuestra Señora del Recuerdo fue durante unos años Facultad de Filosofía de la Compañía de Jesús, volviendo a ser colegio de primera y segunda enseñanza en 1959, para lo que se construyeron nuevos edificios más acordes con la pedagogía del momento. A él se trasladaron los alumnos, profesores y comunidad de jesuitas del Colegio de Areneros, que había sido fundado en 1907 en la calle Alberto Aguilera, quedando este edificio para estudios superiores de Ingeniería (ICAI) y Derecho, Dirección de Empresas (ICADE); siendo hoy una de las sedes de la Universidad Pontificia Comillas.