Auf Initiative Hamburger Bürger wurde nach einem Entwurf von Georg Theodor Schirrmacher und Hermann von der Hude 1863-1868 auf der Alsterhöhe, einem Teil der ehemaligen Befestigung, die Kunsthalle errichtet. Die reichhaltig mit Figurenschmuck verzierte, im italienischen Renaissance-Stil errichtete Kunsthalle wurde zu ca. zwei Dritteln aus privaten Mitteln finanziert und verschlang 300.000 Mark.
Nach Entwurf von Albert Erbe entstand von 1914-1919 der Erweiterungsbau aus Muschelkalk im neoklassizistischen Stil.
1886 zum ersten Direktor berufen, prägte Alfred Lichtwark maßgeblich die Einrichtung und war auch an dem Entwurf des Erweiterungsbaus beteiligt.