El Duque de Lerma llevó a cabo la construcción de un convento de frailes carmelotas; estos podían servir de confesores a las monjas de su misma orden, que en rigurosa clausura, se albergaban en el Monasterio de la Madre de Dios. Fue inaugurado el 27 de octubre de 1617, asistiendo Felipe III con toda su Corte.

El convento presenta la planta clásica de la época, de cruz latina.

Como dato curioso Teresa de Ávila fue Beatificada el 24 de abril de 1614 y canonizada como santa Teresa de Jesús el 12 de marzo de 1621 apareciendo en Lerma con anterioridad ya que el Duque era uno de aquellos que promulgaban a favor de la fundadora.

La desamortización de Mendizabal provocó el abandono del edificio, pasando a albergar en la actualidad su claustro el Excmo. Ayuntamiento de Lerma, Juzgados y otras instituciones junto con la oficina de Turismo y el Centro de Interpretación de la Villa Ducal, mientras que la iglesia se mantiene como iglesia parroquial en los meses de invierno.