Tuvo su origen en las huertas altas del desaparecido convento de mínimos de la Victoria. Ya en 1575, el Padre Antúnez adquirió estas huertas para construir aquí su vivienda, aunque lo que hoy conocemos tiene su origen en el siglo XIX.

Su extensión actual es el fruto de la unión de dos parcelas: el carmen del Pencal y el del Olivarillo. Su zona más antigua es el paseo de cipreses que se encuentra en su parte alta, a los que complementan cuadros de frutales y plantas de adorno rodeadas de setos entre las que aparecen pequeñas fuentes. Todo el conjunto es un claro ejemplo de los cármenes regionalistas del siglo XIX.

Actualmente es la residencia de invitados de la Universidad de Granada.