Grundlaget for den nye bygning er dannet af ruinerne af den sene romanske kirke St. Columba, på et tidspunkt centrum for det største sogn i middelalderens Köln. I 1945 blev det ødelagt under et luftangreb næsten til jorden, kun kalkstensstatuen af Vor Frue i templets alter forblev intakt, som Gottfried Boehm senere byggede et specielt kapel for i 1950. Samtidig blev kirkeruinerne forvandlet til en slags mindeplads. I begyndelsen af 1970'erne, på dets område, opdagede arkæologer resterne af bygninger fra forskellige epoker af Kölns eksistens - antikke romerske, tidlige middelalderlige, romanske og gotiske.
Et sådant objekt med kulturel og historisk arv er i sig selv usædvanligt vanskeligt at opfatte og bevare, men da Museum of the Cologne bispese besluttede at bygge på sin plads - inden for og omkring de eksisterende ruiner - en ny bygning til at vise sin omfattende samling af religiøse kunst fra slutningen af antikken til i dag er situationen blevet mange gange mere kompliceret. Beslutningen om at udvide museet blev taget tilbage i 1974, men ruinerne af kirken St. Columba blev først valgt som dets nye placering i begyndelsen af 1990'erne. I 1997 blev der afholdt en arkitektkonkurrence, hvor projektet for den fremragende schweiziske arkitekt Peter Zumthor vandt. Juryen bemærkede den bemærkelsesværdige dygtighed, hvormed Zumthor var i stand til at kombinere fragmenter af 2000 års arkitektonisk historie i Köln (fra grundlaget for de gamle romers bygninger til kapellet "Madonna i ruinerne" af Boehm i 1950) i et enkelt ensemble, hvilket er mere end bare summen af dets dele.
Restaureringen og bevarelsen af de arkitektoniske rester tog flere år, og opførelsen af selve Columbus Museum begyndte først i 2003.
Bygningen ligner Latin L i plan og er indsat i sin rette vinkel i forhold til gaden. Dens vægge, foret med flade og brede lysegrå mursten med tykke lag af bindemørtel, ser slet ikke ud takket være overfladens fine struktur, resultatet af murerarbejderens arbejde. Rester af kirkevæggene er indbygget i dem i jordoverfladen, og over dem er brudte sektioner af "perforering" og store rektangulære vinduer, der står i kontrast til den monumentale vægt af den 60 cm tykke mur. Kirkeplanen inkluderer en lille grusgård på sted for den gamle sognekirkegård. Besøgende kommer ind på den på vej fra lobbyen til den største "udstillingshal" på første sal. Denne "hal" er et stort 12 m højt rum, langs hvilket en zigzagbro er lagt over fundamentet til gamle og middelalderlige bygninger fundet som et resultat af arkæologiske udgravninger. Zumthor brugte kunstig belysning meget sparsomt her, så næsten alt lyset kommer ind gennem strimler af små huller i bygningens ydervægge; indefra fremhæver denne teknik yderligere den tilsyneladende nedlukning af disse mure, som kan ses som en hentydning til principperne for gotisk hellig arkitektur eller en henvisning til de daværende mystikers værker. Oktahederet i Boehm-kapellet er indskrevet i det samme rum, som dog kan tilgås uden for museet.
I slutningen fører en bro den besøgende til det tidligere sakristi, forvandlet til en lille gårdhave; der er en skulptur af Richard Serra "druknet og reddet".
Over det første niveau er der yderligere to etager med udstillingshaller, i alt seksten. De er designet som fritstående blokke - "huse", mellem hvilke "gader" i hvid terrazzo lægges; hver sådan hall adskiller sig fra andre i størrelse, metode og intensitet af belysning og inspektionsvej. Udstillingerne vises i dem uden at overholde kronologien og uden forklarende tekster og etiketter. Således ville museumets kuratorer opnå en upartisk opfattelse af publikums kunstværker.
I projektet fra stiftelsesmuseet i Köln plejede Zumthor at forene kulturminder fra forskellige epoker - begge arkitektoniske, placeret in situ og inkluderet i museets samling - et fremhævet lakonisk formelt arkitektonisk sprog, blødgjort af arkitektens opmærksomhed på det specifikke ved materiale til dets taktile og visuelle egenskaber; en særlig rolle der spilles af belysning, som næsten er utilstrækkelig til en fuld inspektion af udstillingerne, men giver deres opfattelse en særlig skarphed. Alt dette gør dette arbejde, i det mindste udad, lig med de religiøse bygninger i middelalderen, epoken med opførelsen af den ødelagte kirke St. Columba, som gav ham sit navn såvel som tiden for katolismens hegemoni. på Tysklands territorium, som endnu ikke vidste omvæltningerne i reformationen. Samtidig får brugen af teknikkerne til hellig arkitektur i opbygningen af et museum - endda et museum for religiøs kunst - en til at tænke over en dyb ændring i et moderne menneskes prioriteringssystem, ikke kun om skiftet af åndelige idealer mod et mere "sekulært" billede af verden, men også om et bestemt "populistisk" aspekt af hele den moderne kulturs sfære. Det bør dog ikke glemmes, at den samme arkitektur i de middelalderlige katedraler i Vesten ikke var designet til en håndfuld elite, men for alle troende uden undtagelse; Måske fortsætter Zumthor denne linje i Columbus Museum og henvender sig til hver enkelt af os gennem designet af hans bygning.
