En 1630, la Kasbah d'Agadir appartenait au sultan saadien Abd el Malek (1627-1631). Il s'y trouvait une garnison avec un lieutenant et environ 300 hommes.

Au mois de mars 1623, après avoir pris le fort de Tildi, Sidi Ali, petit-fils de Sidi Ahmed ou Moussa, qui depuis le Tazerwalt tenait le Souss contre le sultan saadien, décida d'assiéger le caïd saadien d'Agadir Ouflla avec une armée de 12 à 14 000 hommes ; sans succès.
Son ennemi dans le Souss, Sidi Yahia Ben Abdallah El Hahi (de la Zaouya de Zouddarha) réussira à prendre la Kasbah d'Agadir au sultan saadien Moulay Zidane et à la garder jusqu'à l'assassinat de Sidi Yahia en 1626 dans la Kasbah de Taroudant.
Après la mort de ce dernier, Sidi Ali sera le maître du Souss à l'exception de la Kasbah d'Agadir qu'il remettra au sultan Moulay Zidane (1626) en échange d'une indemnité (D. Jacques-Meunié, II, 623). Le sultan installa un khalifa dans la Kasbah mais refusera de s'acquitter des versements convenus.

En 1636, Sidi Ali fit établir le blocus d'Agadir obligeant le sultan à ravitailler la forteresse par la mer grâce aux vaisseaux hollandais (D. Jacques-Meunié, II, p. 654).

En août 1637, Sidi Ali s'emparera de la Kasbah d'Agadir Ouflla, y placera un caïd dévoué à sa cause, et le commerce qui avait été paralysé par la grande peste, pourra reprendre (D. Jacques-Meunié, II, 625).
Un trafic important s'effectuait avec les marchands européens qui venaient mouiller dans la rade ; mais les affaires se traitaient à Iligh, capitale du Tazerwalt (à une centaine de kilomètres de là).

Le port d'Agadir était fréquenté par des Anglais et par des Hollandais qui dérogeaient à l'interdiction de vendre des armes à Sidi Ali et qui disposaient ainsi d'une monnaie d'échange pour racheter leurs captifs quand les navires s'échouaient ou étaient attaqués par les corsaires (1641 à 1646). Jusqu'en 1651, les Hollandais furent quasiment les seuls fournisseurs de Sidi Ali. Les esclaves hollandais étaient nombreux à Iligh, et le futur vice-amiral hollandais Michel de Ruyter essaiera d'en racheter le plus possible à l'occasion de ses voyages à bord de la "Salamandre".

Les Juifs tenaient une part du trafic commercial qui se faisait à Agadir et au Tazerwalt avec les marchands chrétiens pour le compte de Sidi Ali ou pour leur compte. En 1664, en échange de marchandises livrées par Michel de Ruyter, les Juifs fournissaient des peaux et de la cire (D. Jacques-Meunié, II, 862). Parmi ces derniers l'un se nommait Castro qui trafiquait à Agadir, l'autre se nommait Daniel et accompagnait De Ruyter dans ses voyages.

Les successeurs de Sidi Ali tinrent le port et la place forte d'Agadir jusqu'en 1670 date à laquelle Moulay Rachid à l'origine de la dynastie alaouite s'empara de la Kasbah d'Agadir.