Andratx tinha sido desabitadas desde tempos pré-históricos.Foi inicialmente uma parte do distrito de Ahwaz Al-Madina quando os muçulmanos chegaram a este lugar e tomaram o poder. Este lugar foi depois concedido a Berenguer de Palou, o bispo de Barcelona depois da reconquista.

Andratx foi a capital do condado de Andratx, esta área incluía Calviá;Puigpunyent; Estellencs; Banyalbufar; Marratxí;Algumas áreas de Pla de San Jordi e a Igreja de Santa Cruz.

Para a amior parte das pessoas de Andratx que vive perto da costa, durante o século XV foram constantes os ataques piratas, e por isso a povoaçao foi crescendo para o interior da ilha. O sistema defensivo foi construído ao largo da toda a costa, hoje em dia ainda se podem ver as torres vigias, que sao atracçoes turísticas de destaque.
O bispo de Barcelona controlou esta área até ao ano 1835, quando Mendizabal permitiu expropriar e vender bens da igreja mediante hasta pública.

O turismo chegou a Andratx nos anos 60, este foi o ínicio de um enorme processo de mudança de fez desta zona uma das mais importantes zonas turísticas das Ilhas Baleares.