Értelmiségi családban született Budapesten. Édesapja, Pilinszky János mérnök és jogász volt. Harcolt az első világháborúban, majd annak befejeztével egy budapesti postán helyezkedett el. Posta-főfelügyelőként halt meg gyomorfekélyben, 1937-ben. Édesanyja, Baitz Veronika is a postán dolgozott, és önkéntes ápolónőként vett rész a háborúban.

A Cukor utcai elemi iskolában (1927–1931) kezdte tanulmányait, majd a budapesti piarista gimnáziumban (1931–1939) folytatta. Ott érettségizett 1939-ben. A középiskola befejeztével a budapesti tudományegyetemen a jogon kezdte, majd a bölcsészkaron, magyar–olasz–művészettörténet szakon folytatta. Az egyetemet 1944-ben befejezte, de diplomát nem szerzett.

Első versei 1938–1939-ben jeltek meg a Napkelet, az Élet és a Vigilia nevű lapokban. 1941–1944-ben az Élet segédszerkesztője volt. 1944 novemberében behívták katonának. 1945 februárjában került a németországi Harbach faluba, ahol – itt és más lágerekben betegeskedve – megláthatta a koncentrációs táborok szörnyű világát, ami meghatározta egész életét és a költészetét. 1945 őszén térhetett vissza szülővárosába. 1946–1948-ban az Újhold társszerkesztője volt, de erős kötődések fűzték a Vigilia és a Válasz csoportulásaihoz. Az utóbbi és a Magyarok közölte verseit. Első verseskötetét a Szent István Társulat adta ki 1946-ban, mellyel a következő évben Baumgarten-díjat kapott. 1947–1948-ban római ösztöndíjjal több hónapot Olaszországban töltött. 1949-től nem publikálhatott. Ez idő alatt verses meséket írt, és egy ilyen típusú könyvvel (Aranymadár) térhetett vissza az irodalmi életbe. 1955. október 12-én feleségül vette Márkus Anna színésznőt, de néhány hónap múlva el is váltak. (Anna az 56-os forradalom után Párizsba emigrált, ahol újból férjhez ment, de Pilinszkyvel mindvégig jó barátságban maradtak.) 1956-ban rövid ideig a Magvető Kiadó lektora. 1957-től az Új Ember katolikus hetilap belső munkatársa volt. Nagyrészt itt jelentek meg tárcái, vallásos és bölcseleti elmélkedései, művészeti kritikái.

A hatvanas évek elejétől többször utazott Nyugat-Európába (Lengyelország, Svájc, Belgium, Újvidék, Bécs, London, Róma), főleg Párizsban töltött hosszabb időt, sőt még az USA-ba is eljutott. Nővérének 1975-ös öngyilkossága is talán hozzájárulhatott ahhoz, hogy nem írt több verset. A hetvenes évek végén ismerkedett meg Jutta Scherrer német vallástörténésszel. Szerelmük idejére esett utolsó költői korszaka. 1971-ben József Attila-díjjal, 1980-ban pedig Kossuth-díjjal tüntették ki. 1978-ban ismerkedett meg Párizsban Ingrid Ficheaux-vel, akivel 1980 júniusában házasságot kötött. Második szívinfarktusának következtében hunyt el hatvanéves korában. A halál váratlanul érte, tele volt tervekkel. Június 4-én hatalmas tömeg kísérte utolsó útjára a Farkasréti temetőben.

Homoszexuális irányultságával élete végéig sem tudott megbékélni. Vallásos meggyőződése nem tette lehetővé számára, hogy megélje, de leküzdenie sem sikerült.