Denne beslutning blev taget som en indrømmelse af den aggressive holdning hos familiemedlemmerne til de dræbte under terrorangrebet den 11. september 2001. Efter deres mening burde der ikke være institutioner, der kunne distrahere opmærksomheden fra denne tragedie, hvor tvillingetårnene stod. Tidligere blev det meddelt, at kun de kulturelle institutioner, der forpligter sig til aldrig at holde udstillinger og andre begivenheder, der kunne fornærme amerikanernes patriotiske følelser, kan få adgang til WTC's område. Som et resultat har Drawing Center, som skulle dele med Freedom Center en kritikerrost bygning designet af det norske bureau Snohetta, opsagt sin lejekontrakt og er på udkig efter et andet rum.
Således blev Libeskinds plan igen truet: det var ifølge hans projekt, at kulturinstitutioner skulle placeres ved siden af mindesmærket for ofrene for terrorangrebet i "udskrifterne" af fundamentet for ødelagte skyskrabere. Nu er den eneste garanterede "ejer" af bygningen besøgscentret.
Det taler også om ændringer i myndighedernes stilling: Freedom Center, der faldt i skændsel, blev opfattet tilbage i 2002 som en institution dedikeret til historien om kampen for personlig frihed rundt om i verden.
Efter guvernør George Patakis meddelelse om censur på WTC-stedet i juli 2005 har mange fremtrædende offentlige personer forladt rådet, der leder design og konstruktion af det nye kompleks. Efter Patakis sidste beslutning forlod flere flere mennesker derfra, herunder Agnes Gund, æresdirektør for Museum of Modern Art og en fremtrædende filantrop. Nu, ifølge analytikere, vil det være særligt vanskeligt at skaffe penge til opførelsen af Snohetta-bygningen og Michael Arad-mindesmærket. Således var bygningens skæbne i fare. Fremtiden for teaterbygningen designet af Frank Gehry er også usikker: arkitekten klagede til journalister over den fuldstændige mangel på kontakter med kunderne, og gennemførelsen af projektet var planlagt til "anden fase" af restaureringen af World Trade Center - det vil sige i en fjern fremtid.
