Le site de Ksar Sghir se situe sur le littoral méditerranéen entre Tanger à Sebta, sur la rive droite à l'embouchure d'une rivière qui porte le même nom.
La zone de Ksar Sghir a été occupée dès le premier siècle av. J.-C. et pendant la période romaine et dont témoigne les vestiges d'une usine de salaison. Nos informations sur le site pendant le Haut Moyen-Age sont très sobres. Selon Ziyani, en 708-709 une forteresse qui portait le nom de Ksar Mesmouda, existait à l'emplacement actuel de cette citadelle. Sous les Idrissides, il faisait partie de la principauté d'al Kacem Ibn Idriss II. En 971, les Omeyyades d'Espagne tentèrent de s'en approprier suite à une expédition ordonnée par le calife Al Hakam Al Moustansir. Al Bakri, géographe du XI ème siècle le cite sous le nom de Madinat Al Yam (la ville de la mer) ou Al Kasr AL Awwal (le premier château ).
L'origine du site remonte au XI ème siècle, il fut utilisé comme forteresse militaire pour les Almoravides (Ksar Mesmouda) et servait à l'embarquement des troupes musulmanes à destination de l'Espagne. Les Almohades en font également, leur port qu'ils baptisèrent Kasr Al Majaz. Les Mérinides sous le règne du sultan Abou Youssef Yaakoub, le baptisèrent Ksar al Majar et s'en servirent comme base de départ pour leurs troupes, dans leurs traversées vers l'Andalousie. En 1287 le sultan Abou Yaakoub Youssef fit fortifier Ksar Sghir d'une enceinte circulaire couronnée de bastions et percée de portes monumentales.
A partir de la 2ème moitié du XV ème siècle la ville subit un nouveau sort. En effet, les Portugais y débarquèrent en 1458 et s'emparèrent de la place fortifiée. Après son évacuation par les portugais, le site servit au début du XVIIème siècle, de port pour le débarquement des Morisques refoulés de l'Andalousie.
La ville de Ksar Sghir présente un plan de forme circulaire plus ou moins régulier, ce qui marque une exception dans l'urbanisme médiéval du Maroc. Elle s'étend sur une superficie de 5000m² avec un diamètre d'environ 200m. L'enceinte mérinide, épaisse de 2m et haute de 5m, est flanquée au Nord d'un réduit défensif et à l'Est d'une porte défensive. Cet ouvrage défensif est protégé par 29 tours circulaires et percée de trois portes monumentales (Bab al Bahr, Bab Sebta, Bab Fès).
Après l'occupation lusitanienne en 1458, la ville islamique a subi des rajouts et des transformations qui ont modifié sa physionomie. A ces modifications s'ajoutent de nouvelles réalisations telles que la construction d'une nouvelle église connue sous le nom de Saint Sébastien et le creusement d'un fossé de 4m de profondeur et de 6m de large au pied des tronçons nord-est et sud des remparts. (source : ministère de la culture)