Champlain fait ériger le fort Saint-Louis au sommet du Cap-aux-Diamants en 1620, un site qui domine stratégiquement la ville. Après la destruction de l’Habitation par les frères Kirke, le fort devient le centre administratif de la ville, en plus de la résidence de son commandant.

Quatre forts Saint-Louis se succèdent sur le même site. Le premier est constitué de quelques bâtiments de bois entourés d’une palissade. Le fort est agrandi et ceinturé de remparts de terre et de bois pour former le deuxième fort. Le troisième est construit par Charles Huaut de Montmagny en 1636, et le dernier, par le gouverneur Frontenac à la suite du siège de l’amiral Phips en 1690.

Durant le Régime français, le fort abrite une petite garnison et permet une surveillance contre les invasions maritimes. Sous le Régime britannique, par contre, il perd sa valeur défensive et n’est utilisé que temporairement comme citadelle ¹.