Rodil se je leta 1933 v Ljubljani. Na ljubljanski univerzi je diplomiral iz primerjalne književnosti in literarne teorije. Svoja službena desetletja – z izjemo tistega v 60. letih minulega stoletja v svobodnem poklicu – je v pretežni meri prebil v radijskem novinarstvu: na RTV Ljubljana, redakcija literarnih oddaj in tri leta na londonskem BBC. Pisal je knjižne, predvsem pa gledališke ocene, urejal literarne in knjižne oddaje, piše na spletni strani Društva slovenskih pisateljev (DSP).
Pesmi je začel objavljati v reviji Beseda z letnikom 1956. Svojo prvo pesniško zbirko Svinčene zvezde iz leta 1958 je izdal v samozaložbi. Sledile so pesniške zbirke Jetnik prostosti, Vaje in naloge, Podatki, Prigode, Pesmarica rabljenih besed, Sonetje in druge, nazadnje je izdal pesniško zbirko Pismo v steklenici (2006). Leta 2011 je prejel zlatnik poezije za pesniški literarni opus, prispevek k slovenski kulturi in ustvarjalnosti ter požlahtnjenju slovenskega jezika.
Literarni zgodovinar Janko Kos je o njem zapisal: "S Tauferjem se v sodobni slovenski književnosti začenja moderna poezija v pravem pomenu besede. Tudi po vsebinski strani je predhodnik in začetnik pesniške avantgarde; motivi in ideje so mu igra, ki jim ne gre več zares; resignacija in upor ostajata v okviru razumskega ali slikovitega sestavljanja pojmov."
Pomembna je tudi njegova prevajalska dejavnost, ki je delno vplivala na njegovo lastno poezijo. Prevajal je angleško, srbsko, hrvaško in makedonsko poezijo.
Leta 1985 je uresničil zamisel Mednarodnega pisateljskega srečanja Vilenica. Festival, ki ga organizira DSP, je v svojem prvem statutu deklariral vpetost v srednjeevropski prostor, takratno razumevanje pa je bilo povezano z zahtevo po strmoglavljenju političnih režimov. Če je festival v svojih začetkih težil k preseganju takratne železne zavese in je predstavljal nekakšen disidentski forum, je pozneje postal predvsem prostor srečevanja vseh, ki cenijo dobro, ne pa nujno svetovno znano literaturo.
V drugi polovici 80. let minulega stoletja je bil kot tajnik DSP soudeležen v prizadevanjih za demokratizacijo in osamosvojitev Slovenije, med drugim je sodeloval pri Pisateljski ustavi, s katero so bili postavljeni temelji za slovensko ustavo iz leta 1991. Po osamosvojitvi Slovenije je bil zaposlen na ministrstvu za zunanje zadeve in ministrstvu za kulturo.
Ob napovedi ukinitve samostojnega ministrstva za kulturo je januarja 2012 kot predsednik pisateljskega društva sodeloval pri ustanovitvi Koordinacijskega odbora kulture Slovenije (KOKS).
Bil je tudi urednik pri Reviji 57 in v uredniškem odboru revije Perspektive, poleg tega je bil vodja Odra 57.
Leta 1976 je prejel Sovretovo nagrado, leta 1987 Jenkovo nagrado, leta 1996 Prešernovo nagrado za pesniški opus, leta 2005 zlati red za zasluge RS in leta 2016 Župančičevo nagrado za življenjsko delo. Je tudi redni član Evropske pesniške akademije (Academie Europeenne de Poesie) in prejemnik več mednarodnih nagrad.