Die Sammlungen der Abteilung Kunstgeschichte des Instituts für Kunstgeschichte und Musikwissenschaft enthalten über 100 Abgüsse, rund 600 Originalwerke (Grafiken, Gemälde, Autografen und Plastiken), über eine Million Arbeitsbilder (Reproduktionsgrafiken, Dias, Negative, Fotos, Postkarten etc.), einige historische Geräte und ca. 1.000 Typoskripte (Examensarbeiten).
Teile der Abguss-Sammlung stammen aus dem Besitz des ehemaligen Mainzer Bürgervereins für plastische Kunst (gegründet 1871), welcher Gipskopien der berühmtesten Skulpturen zusammentrug.
Nach dem Zweiten Weltkrieg wurden die Reste der stark in Mitleidenschaft gezogenen Sammlung der Johannes Gutenberg-Universität Mainz geschenkt und auf die Institute für Kunstgeschichte und für Klassische Archäologie verteilt. Hier diente sie zunächst der Lehre, heute hat sie dokumentarischen Charakter und repräsentiert den Kanon der Kunstwerke, die um 1900 von besonderem Interesse waren. Erhalten sind unter anderem Abgüsse des Moses von Michelangelo (Bereichsbibliothek Georg Forster-Gebäude), der Naumburger Stifterfiguren Uta und Ekkehard, der Hallgartener Mandonna sowie die Büste des Florentiner Kaufmannes Pietro Mellini von Benedetto da Maiano.
Eine Sammlung von Kopien frühchristlicher und byzantinischer Mosaikbilder (heute teilweise im Treppenhaus des Georg Forster-Gebäudes) wurde für die Ausstattung des im Jahr 1960 neueröffneten Institutsgebäudes für Kunstgeschichte (einstmals Binger Straße 26) vom damaligen Direktor des Kunstgeschichtlichen Instituts, Prof. Dr. Friedrich Gerke erworben. Sie diente gleichzeitig als unmittelbares Anschauungs- und Arbeitsmaterial für den Lehrbetrieb. Die Kopien entstanden nach dem Zweiten Weltkrieg in Werkstätten im Raum Ravenna.
Aus der Praxis der kunsthistorischen Lehre ist die Sammlung der Groß- und Kleinbilddias entstanden. Zusammen mit den Projektionsgeräten dokumentieren sie den Einsatz verschiedener Techniken in der kunsthistorischen Lehre sowie den vermittelten Kunstkanon. Gemeinsam mit dem Bestand der Fotothek ist es ein wichtiger Teil der Mainzer Fachgeschichte. Von besonderem Interesse ist die Sammlung von Farbdias die das nationalsozialistische Regime 1943-1945 von Wand- und Deckenmalerei anfertigen ließ. Seit 1998 befinden sich diese Farbdias als Leihgabe im Bildarchiv Foto Marburg und sind online nutzbar über das Zentralinstituts für Kunstgeschichte in München.
Die Sammlungen der Grafiken, Zeichnungen und Plakate sind durch Schenkungen an das Institut gekommen. Unter ihnen befinden sich Arbeiten bekannter Künstler wie Erich Heckel, Karl Hofer und Hans Purrmann sowie ein Konvolut von Arbeiten der Arbeitsgemeinschaft Pfälzer Künstler (APK) aus den 1950er Jahren.