Sebastian de Lili y su mujer Magdalena de Amilibia son los últimos miembros de la familia en residir en el palacio de Lili, hasta 1680.

Se nota un gran movimiento en el valle de Urola, hay varias obras públicas en marcha en Zestoa, la construcción de la basílica de Loyola avanza, se hallan aguas termales en el paraje llamado Gesalaga y los Lili inician su explotación. Pero no son buenos tiempos para los Lili, los bosques se van agotando y las herrerías tradicionales están en decadencia, no pueden mantener las infraestructuras de los baños termales y estos pasan a manos del Marques de San Millán…

En esta época, los hombres de la familia Lili se dedican a la carrera militar y pasan muchos años de su vida alejados de Zestoa, gastando las rentas que les producen las ferrerías, molinos, caseríos y el propio palacio.

Además, el palacio de Lili no es la vivienda más adecuada para sus nuevas necesidades sociales y la familia lo pone en alquiler. El edificio sufre muchísimo por la falta de mantenimiento.

Hacia 1760 Vicente de Lili, en disputa por la herencia del mayorazgo con su hermano mayor, falsifica varios documentos históricos y se arroga el título nobiliario de Conde de Alacha para sí y la familia Lili.