En 1746, Felipe V compra unos terrenos para crear una Real Fábrica de Paños en el lugar que ocupa San Fernando de Henares. Poco después fallece y el proyecto se lleva a cabo durante el reinado de Fernando VI quien nombra como gobernador del Real Sitio a Ventura de Argumosa.

El Rey Fernando VI pasaba largas temporadas en San Fernando de Henares.

Alrededor de la fábrica se construyen viviendas para los trabajadores de la fábrica lo que daría origen al actual San Fernando de Henares. Frente a la fábrica se crea una plaza con forma cuadrada (llamada actualmente Plaza de España) que se unía con un eje con una segunda plaza, redonda en este caso (actualmente Plaza de Fernando VI). Esta estructura está declarada conjunto histórico artístico por lo que no puede ser modificada al igual que las casas originales que aún se mantienen.

Durante los 200 años de historia San fernando de Henares ha sufrido múltiples altibajos. Su edificio emblemático, la fábrica, ha sido destinado a múltiples labores, destacando su conversión a hospicio. En la actualidad, se conserva la fachada principal que ha sido restaurada y alberga el ayuntamiento.

El Real Sitio es vendido en pública subasta durante una desamortización a medidados del siglo XIX.