Idéen om en ny bygning blev født for sytten år siden, da Storhertugdømmet blev et af de seks grundlæggende lande i Den Europæiske Union, og myndighederne besluttede at støtte Luxembourgs image ikke kun som en økonomisk velstående stat, men også som et vigtigt kulturelt centrum på kontinentet. Imidlertid er selve ideen om at skabe en samling af samtidskunst og dens arkitektoniske udformning i form af et projekt af J. M. Pei mødtes med modstand i forskellige kredse i det konservativt indstillede samfund. Som et resultat blev hans koncept revideret flere gange, design og endda konstruktion blev suspenderet. Først i 1997 blev museets sted bestemt: ruinerne af Tungen-fæstningen (1732), som blev inkluderet i den nye bygning. I 1999 begyndte byggeriet, men derefter blev det afbrudt i fire år, fordi Pei kun ville bruge gylden kalksten fra Frankrig til sin konstruktion, og dette gav anledning til mange nye problemer.
Der opstod også vanskeligheder med samlingen: Da der aldrig var en samling af kunst fra det 20. århundrede i Luxembourg, måtte den oprettes. På grund af begrænsede midler var der ingen tale om at købe værker af Dali og Picasso: langt størstedelen af udstillingerne fra de 230 genstande, der tilhører museet, tilhører perioden efter 1980. Men ifølge museets direktør, Marie-Claude Beaux, er det designet til yderligere at udvide samlingen for at indsamle fremtidens kunst, kunst fra det XXI århundrede.
Komplekset ligger midt i en park mellem to forretningsdistrikter i byen. Dets afgørende træk er det grønlige glastårn over hovedatriet, der minder om fæstningen, som det blev bygget over. Næsten alle etager i hovedtrinnet er lavet af glas, så de fleste af hallerne har naturligt lys. I stueetagen er der to små gallerier og en forelæsningssal. Udenfor står museets vægge over for honningfarvet kalksten, museets hovedindgang er en kompleks rumlig sammensætning i form af en niche. Bygningens samlede areal er 10.000 kvm. m, heraf 4.800 kvm. m - udstillingsrum. Museet bærer navnet på storhertugen Jean, som nu har overført landets ledelse til sin søn Henri.
