El 4 de febrero de 1550 se constituyó la Hermandad del Pan de Pobres, que edificaría, en el mismo solar que hoy ocupa la Basílica y convento adyacente, y mediante la unión de uno o varios pares de casas, un hospital para las mujeres naturales de Sanlúcar sin recursos económicos.
Acogida esta acción social bajo la protección de los Sres. Duques, especialmente de la duquesa Dª Ana, se levantó, entre los meses de febrero y junio de 1606, un edificio funcional acorde con su misión hospitalaria y una capilla.
En junio de 1608 se trasladó la imagen de la Stma. Virgen de la Caridad a la capilla del hospital. Con la llegada de la imagen, se procedió al remozamiento de la capilla, ubicada en el lugar de la actual sacristía, realizándose las obras entre los meses de octubre y diciembre de 1608, siendo rehecho el campanario en febrero de 1609.
A pesar de las obras de mejora realizadas, el conjunto no resultó del agrado de los duques fundadores, que decidieron su derribo y la construcción en su lugar de una magna iglesia. Se compraron una serie de casas adyacentes y en junio de 1610 se empezaron a acumular los materiales de construcción. La dirección facultativa, tanto del derribo de la antigua capilla como la de la edificación de la nueva iglesia, quedó en manos del arquitecto Alonso de Vandelvira, que fue nombrado Maestro Mayor de la obra de la Iglesia de la Caridad.
Terminada la iglesia a falta del campanario y pequeños detalles, fue bendecida con la advocación de Sta. Ana, en recuerdo de la duquesa ya fallecida, y abierta al culto el día 12 de agosto de 1612. El cuerpo de campanas de la torre se comenzó a principios de 1613, quedando terminado para septiembre de ese mismo año.
Su Santidad el Papa Juan Pablo II mediante Breve (ver) dado el día 19 del mes de Febrero del año 1997, concedió la elevación al título y dignidad de BASILICA MENOR del Santuario de Nuestra Señora de la Caridad. La ceremonia de la Dedicación y Elevación a Basílica Menor, se celebró el día 1 de Agosto de ese mismo año.
Bibliografía: "El Santuario de Ntra. Sra. de la Caridad de Sanlúcar de Barrameda. Estudio histórico-artístico" de D. Fernando Cruz Isidoro
Semana Santa en Sanlúcar de Barrameda. http://www.semanasantasanlucar.org