Andratx había sido despoblado desde la época prehistórica. Fue inicialmente una parte del distrito de Ahwaz Al-Madina cuando los musulmanes llegaron a este lugar y tomaron el poder. Este lugar fue después concedido a Berenguer de Palou, obispo de Barcelona después de la Reconquista.

Andratx fue la capital del condado de Andratx, este área incluía Calvià; Puigpunyent; Estellencs; Banyalbufar; Marratxí; Algunas áreas de Pla de San Jordi y la Iglesia de la Santa Cruz.

Para la mayor parte de la gente de Andratx que vive cerca de la costa, dirante el siglo XV fueron constantes los ataques piratas, es por ello que el pueblo fue creciendo en el interior de la Isla. El sistema defensivo fue construido a lo largo de toda la costa, hoy en día aún se pueden ver las torres vigías, que son atracciones turísticas destacadas.
El obispo de Barcelona controló este área hasta el año 1835, cuando Mendizabal permitió expropiar y vender bienes de la iglesia mediante subasta pública.

El turismo llegó a Andratx en los años 60, este fue el inicio de un enorme proceso de cambio que hizo de esta zona una de las más importantes zonas turísticas de la Islas de Mallorca.