La Kasbah fut une petite ville fortifiée et perchée avec les structures collectives habituelles au fonctionnement d'une ville, excepté les commodités.
La porte d'entrée de la Kasbah donnait accès à la partie sud-ouest de la cité (éperon sud-ouest) d'où la vue sur la baie était merveilleuse.
Dans cette partie sud-ouest, furent créés l'Hôpital puis le Café maure, la Maison de l'Artisanat, le Théâtre de plein air et le Jardin exotique. Il semblerait que les visiteurs de la Kasbah aient eu essentiellement accès à cette partie de la forteresse où se trouvaient dans les années 50, les structures accueillant le public.
Au siècle précédent, il arrivait que des personnalités soient accueillies dans la Maison du pacha à l'intérieur de la Kasbah.
En juin 1913 la Kasbah fut occupée entièrement par les Français.

Occupation de la Kasbah en 1913

Depuis la porte d'entrée de la Kasbah, on accédait à la Mosquée surmontée d'un minaret. Au pied de la mosquée se trouvait le Hammam géré par les Habous et un petit souk. Depuis la Mosquée, les habitations étaient desservies par une rue circulaire au pied des remparts (rue principale) et par une rue centrale qui se poursuivait par des passages couverts, des petites places, des ruelles latérales et des impasses sans nom. Les ruelles étaient étroites, rarement pavées. Il n'y avait pas d'arbres à la Kasbah d'Agadir en dehors de ceux du jardin exotique. Certains quartiers portaient le nom de Mellah, de Place du Makhzen, de Quartier arabe, noms donnés par les photographes pour légender les cartes postales. En 1913, sous l'occupation militaire française de la Kasbah, un hôpital (dispensaire), une poste et une trésorerie furent mis en place. Le Souk de la Kasbah se trouvait sous des arcades le long de la rue centrale abritant à demeure quelques artisans. En 1954, ces arcades n'existaient plus. Une école fut construite près de cet emplacement vers le milieu des années 50, école musulmane dépendant de M. Simon, directeur de l'école musulmane de garçons de Talborjt.

Un château d'eau fut bâti vers 1957 du côté de la façade Ouest de la Kasbah permettant la desserte de la cité en eau potable. Une fontaine publique se trouvait sur une petite place.
Un certain nombre de mausolées étaient dispersés parmi les maisons d'habitations de la Kasbah car les saints étaient nombreux à être vénérés dans le Souss et la Kasbah était réputée pour les siens.