Seit frühester Zeit siedelten bereits Menschen auf einer der Altstadt vorgelagerten Insel, dem sogenannten Holm. Über Jahrhunderte waren es zum Großteil Fischer mit ihren Familien, die hier lebten. Erst seit 1933 ist die Insel mit dem Festland verbunden. Der besonderen Lebensweise ihrer Bewohner und der von ihnen betriebenen Fischerei ist ein Raum im zweiten Geschoss des Palais gewidmet. Eine Foto-Dokumentation zum Holm findet sich auch im Holm-Museum, einer Dependance des Stadtmuseums.