Das Castle Clinton wurde ursprünglich als West Battery gebaut. Die West Battery wurde im Jahr 1811 fertiggestellt und im Jahr 1815 wurde es nach dem New Yorker Bürgermeister Dewitt Clinton benannt. Dessen Namen trägt das Fort bis zum heutigen Tag. Das Castle Clinton wurde vom Militär nur bis zum Jahr 1821 als Artilleriestellung genutzt. Anschließend wurde es als Theater und Biergarten verwendet.

Zu dieser Zeit wurde das Fort als als Castle Garden bezeichnet. Das Gebäude befindet sich im heutigen Battery Park und diente eine Zeit lang auch als Einwanderungsstation. Nachdem die Einwanderer über Ellis Island einreisten, wurde das Castle Clinton unter anderem als Aquarium genutzt. Heute beherbergt es ein Museum. Zudem werden im Castle Clinton die Fahrkarten für die Überfahrt zur Freiheitsstatue und nach Ellis Island verkauft.