Designet af Pritzker-prisvinderen Gordon Bunschaft i begyndelsen af 1970'erne, er museets bygning et hårdt eksempel på sen modernisme: Betoncylinderen er hævet på understøtninger, en cirkulær gårdhave ligger i centrum, og der er skabt en skulpturpark omkring bygningen. Komplekset ligger på National Mall, en bred boulevard, der huser de vigtigste amerikanske mindesmærker samt nogle af landets vigtigste kulturinstitutioner.
Både udseendet af selve Hirshhorn-museet og seriøsiteten i dets omgivelser krævede efter museumsledelsens mening tilføjelser i tidsånden (trods alt består Hirshhorn-samlingen hovedsageligt af værker af samtidskunstnere). Men hvis godkendelse fra de ultra-konservative bymyndigheder er nødvendig for en ny fløj eller i det mindste genopbygning af en gammel bygning, er det ikke nødvendigt for en midlertidig konstruktion. Derfor opstod ideen om at oprette et oppusteligt auditorium til konferencer, filmvisninger og koncerter, som kan installeres og fjernes om få dage (indtil videre er det planlagt at gøre dette to gange om året i maj og oktober).
Arkitekterne af Diller Scofidio + Renfro foreslog at placere en lyseblå "ballon" i konferencesalen med 1000 pladser i bygningens indre gårdhave: den vil delvist stikke udad over bygningens lofter. Selve hallen vil kun optage den øverste del af det oppustelige volumen, som vil falde ned til jordoverfladen, hvor der vil blive arrangeret en indgang og et rør fyldt med vand placeres, der tjener som en belastning. Stålkabler, der vrider sig omkring "installationen", vil blive bundet til den. Spidsen af "kuglen" stikker udad i bunden mellem bygningens søjler: der vil være en "salon", hvor enhver kan slappe af og beundre udsigten over indkøbscentret - denne del af den oppustelige struktur vil være næsten gennemsigtig.
