La "Goutte de Lait" se trouvait entre la rue de Paris et la partie basse non goudronnée et pentue de la rue d'Athènes.

Créée en 1915 au Maroc, l'"Œuvre de la Goutte de Lait" avait pour objectif de lutter contre la mortalité infantile du 1er âge.
À sa création, elle s'occupait d'enfants européens puis son action fut étendue à tous les enfants marocains dénutris ou pas, pour une distribution de lait de vache stérilisé et de lait en poudre.

À Agadir, le bâtiment de "La Goutte de Lait" aurait été construit fin des années 20 ou début des années 30 sur un terrain ayant appartenu à des allemands, peut-être aux Mannesman.

En 1932, Mme Saint accompagne son mari le résident général Lucien Saint en déplacement à Agadir et dans le Souss. Madame Saint visite, crée et peut-être, inaugure à cette occasion la "Goutte de Lait d'Agadir".

De 1940 à 1950, c'est la doctoresse Marianne Langlais (surnommée la "femme au burnous" et plus communément la "Toubiba") qui est responsable de la Santé Publique dans le Souss et de La "Goutte de Lait". Elle sera par la suite remplacée dans ses fonctions par Mademoiselle Blairiot.

La "Goutte de Lait" fut administrée par M. Schwob qui occupa par la suite une villa dans l'enceinte de l'établissement.

Elle comprenait un bâtiment haut, celui des consultations, proche de la rue de Paris, juste derrière la villa des Schwob, et un bâtiment bas le long de la rue de Londres ou Lactarium pour la distribution du lait. Ces deux bâtiments étaient reliés par un escalier donnant dans la grande cour. L'entrée se faisait uniquement par la rue d'Athènes, rue caillouteuse non enrobée, où il y avait semble-t-il une entrée haute et une entrée basse (souvenirs de Pierre et Jean Bouvier).

La "Goutte de Lait "devenue indépendante de l'hôpital restera une œuvre de charité dont la gestion et les frais de fonctionnement seront pris en charge par le Lions Club (ayant pour devise : " Liberty, Intelligence, Our Nations' Safety, Liberté et compréhension sont la sauvegarde de nos nations "). Elle cessera cette activité en 1957.

Le jeune Lahsen, dans les années 50, venait chercher tous les jours le lait pour une famille de Talborjt qui habitait la rue Illala. Le bruit que faisaient les bouteilles en s'entrechoquant dans la cage métallique lui faisait penser à celui de l'orchestre de la Guinguette à " Robinson ", là où le poussait sa curiosité sans qu'il puisse y entrer. Il y pensait tout le long du chemin du pont de Tildi, en remontant le boulevard de l'Hôpital, Diégo Brosset et rue Illala. Il se souvient d'une femme en burqa blanche qu'il prenait pour une musulmane et qui lui donnait avant de partir un bon verre de lait froid et une tranche de pain blanc. Elle lui répétait constamment les consignes : - " Ne pas ouvrir les bouteilles " - et Lahsen avait bien compris que c'était pour cette raison qu'elle lui donnait le pain et le lait (souvenirs de Lahsen Roussafi).

La "Goutte de Lait" deviendra ensuite un Centre de dépistage de la Tuberculose (jusqu'en 1980) et les malades dépistés seront envoyés à l'hôpital d'Inezgane qui soigne les malades mentaux et les tuberculeux.

En mars 2010, La "Goutte de Lait" sert de logement au personnel retraité du Centre.

La Goutte de Lait est un des immeubles rescapés du séisme.