Museet indeholder tre permanente samlinger, som alle i deres grundstamme går tilbage til stifteren C.L. Davids tid: Islamisk samling, Ældre europæisk samling, Nyere dansk samling.

Den islamiske samling, der i en international sammenhæng er museets vigtigste, er i dag så omfattende og rummer så mange hovedværker, at den besøgende her kan få et relativt dækkende indtryk af kunsten fra dette kulturområde.

Den ældre europæiske samling er opstillet i en interiørmæssig sammenhæng i de oprindelige rum fra det 19. århundrede.

Samlingen af nyere dansk kunst er nu for første gang siden Davids tid igen permanent udstillet.