For 3500 år siden var Mauritania et fruktbart slettelandskap med spredte befolkninger og en rik fauna og flora. Det er gjort steinalderfunn fra både paleolittisk og neolittisk tid. Mauritania har i mange hundre år vært delt mellom berbiske og arabiske folkeslag fra nord og afrikanske folkegrupper fra sør.
Islam var utbredt allerede mot utgangen av 600-tallet. Nordområdene ble innlemmet i det puritanske almoravide-riket på 1000-tallet, og Mauritania ble deretter en del av deres store rike i Vest-Afrika, Marokko og Spania.
På 1500-tallet erobret marokkanske styrker store deler av landet og innførte arabisk språk og kultur, og europeiske stormakter anla midlertidige handelsstasjoner langs kyststripen. I århundrene som fulgte leverte høvdingene i Mauritania slaver og varer til europeere som seilte til Senegalelvas utløp.
I 1815 fikk Frankrike kontroll over Mauritania- og Senegal-kystene. I 1904 ble Mauritania en del av Fransk Vest-Afrika, og i 1920 ble landet en fransk koloni med de nåværende grensene. Mauritania ble selvstendig i 1960.
Landets første president var Moktar Ould Daddah som innførte ettpartistyre i 1964. Først samarbeidet han nært med Frankrike, men ble senere mer uavhengig. Gruveindustrien ble nasjonalisert i 1974. I 1975 gikk mauritanske styrker inn i Vest-Sahara for å forhindre at Marokko skulle utvide territoriet sitt sørover. Etter et militærkupp i 1978 da Ould Daddah ble styrtet, trakk Mauritania seg ut av Vest-Sahara.
De neste årene ble Mauritania styrt av ulike regjeringer som avsatte hverandre ved militærkupp. I 1980 ble slaveriet formelt opphevet. Flere partier ble tillatt i 1991. Den valgte presidenten ble avsatt ved et kupp i 2008, og general Mohamed Ould Abdel Aziz tok makten.
I 2019 tok Mohamed Ould Ghazouani over som president. Han har stabilisert Mauritania og vant gjenvalg i 2024. Samtidig er landet blitt kritisert for alvorlige brudd på menneskerettighetene.