Se empezó a construir como mezquita en el año 785, tras la invasión musulmana de la península Ibérica, en el lugar que ocupaba la basílica visigótica de San Vicente Mártir, el templo cristiano más importante de la ciudad, construido a su vez sobre un templo romano dedicado a Jano. Hoy todo el conjunto constituye el monumento más importante de Córdoba, y también de toda la arquitectura andalusí, junto con la Alhambra.
Con 23 400 metros cuadrados, fue la segunda mezquita más grande del mundo en superficie, por detrás de la Mezquita de La Meca, siendo sólo alcanzada posteriormente por la Mezquita Azul (Estambul, 1588). Una de sus principales características es que su muro de la qibla no fue orientado hacia La Meca, sino 51º grados más hacia el sur, algo habitual en las mezquitas de Al-Ándalus.