John Benedict Hillerman werd geboren op 20 december 1932 in Denison, Texas, ongeveer 110 kilometer ten noorden van Dallas. Hij was de zoon van Christopher Benedict Hillerman, een benzinepomphouder, en Lenora Joan (née Medlinger), die zelf een schoonheidssalon runde. Zijn vader was de kleinzoon van Duitse en Nederlandse immigranten, terwijl zijn moeder de dochter was van immigranten uit Oostenrijk en Duitsland. Hillerman was het middelste kind, met twee zussen, en een achterneef van auteur Tony Hillerman.

“Opgroeien in Denison was,” zei hij, “eigenlijk heel simpel. Je loog, bedroog of stal nooit, want dan kreeg je een flink pak slaag.”

John's familie steunde zijn ongewone passie voor opera, die werd aangewakkerd toen hij op 10-jarige leeftijd een radio-uitzending van de Metropolitan Opera hoorde. Hillerman was reeds op jonge leeftijd zeer onafhankelijk. “Ik begon met autorijden toen ik 12 was. Natuurlijk moet je begrijpen dat dit een klein stadje was—er waren maar twee auto's op de weg.”

De Metropolitan Opera bezocht Dallas één weekend per jaar. Op zijn twaalfde nam hij nog de trein, maar “Op mijn veertiende ging ik alleen naar Dallas, checkte ik voor het weekend in bij een hotel en ging ik naar de opera.” Dat betekende niet dat hij volledig afzag van een onbezorgde jeugd in de kleine stad. “Ik ging vissen op meervallen in de Red River en deed al dat Tom Sawyer-achtige spul,” herinnerde hij zich.

Op 16-jarige leeftijd studeerde hij af aan St. Xavier's Academy, een kleine katholieke middelbare school, en schreef hij zich voor drie jaar in aan de Universiteit van Texas —“...zonder enig idee te hebben wat ik echt wilde doen. Ik had een paar essaywedstrijden gewonnen, dus gaf ik journalistiek op als mijn hoofdvak. Maar ik speelde er vooral en had er een geweldige tijd.”

Tijdens de Koreaanse Oorlog nam Hillerman dienst bij de luchtmacht. Terwijl hij gestationeerd was in Fort Worth, deed hij auditie voor een toneelstuk in een plaatselijk theater. “Ik had helemaal geen ambitie om acteur te worden,” legde hij later uit. “Ik wilde gewoon mensen ontmoeten.” Zonder enige ervaring kreeg hij een grote rol in Arthur Miller's Death of a Salesman. “Op de première stapte ik het podium op en—het klinkt cliché—er ging een lichtje branden,” herinnerde hij zich. “Ik besefte dat ik tot dat moment in mijn leven me eigenlijk stierf van verveling. Ik besloot: ‘Dit is wat ik wil doen met mijn leven.’ ”

Hillerman diende vier jaar in de Amerikaanse luchtmacht (1953–1957), waar hij werkte in het onderhoud van een B-36-eskader van het Strategic Air Command en de rang van Staff Sergeant bereikte.

Na zijn ontslag in 1957 verhuisde Hillerman naar New York, waar hij, met de hulp van een coach, zijn Texaanse accent afleerde. Hij woonde in een bouwvallig appartement op de vierde verdieping in de Lower East Side, voor 31 dollar per maand, en overleefde op zelfgemaakte kalkoensoep terwijl hij zijn acteervaardigheden aanscherpte.

Zo trad hij op bij de N.Y. Shakespeare Revival in het Lake Theatre in Central Park, in stukken als Othello (4 juli 1958) en Twelfth Night (13 augustus 1958). In het eerste stuk speelde ook Peter Bogdanovich, en de twee werden hechte vrienden. Hillerman was het soort vriend dat scripts typte voor de aspirant-schrijver/regisseur en midden in de nacht een dronken telefoontje van Bogdanovich beantwoordde om urenlang te luisteren naar de details van weer een mislukte liefdesrelatie.

Hij bracht de volgende 11 jaar door in New York om te studeren aan de American Theatre Wing en speelde in het professionele theater, in producties als The Great God Brown (Coronet Theatre, 6 oktober 1959 – 1 november 1959), Henry IV, Part 2 (Phoenix Theatre, 18 april 1960 – 29 mei 1960) en Lady of the Camellias (Winter Garden Theatre, 20–30 maart 1963). Ondanks meer dan 100 toneelrollen slaagde Hillerman er niet in om een echt bestaan op te bouwen als toneelacteur.

Toen de jaren 60 ten einde liepen, kwam Hillermans theatercarrière abrupt en vrij onverwacht tot een einde. Terwijl hij in de hoofdstad was, besloot zijn vriend uit New York, Peter Bogdanovich, een voorstelling bij te wonen in het beroemde "O" Street Theater. Na het slotapplaus ging Bogdanovich backstage om Hillerman te feliciteren met zijn acteerprestaties en hem een rol aan te bieden in zijn binnenkort te produceren film The Last Picture Show (Columbia, 22 oktober 1971), die op locatie in Texas zou worden opgenomen.

Moe van de armoede, het leven in tochtige appartementen en de honger, besloot John op 35-jarige leeftijd dat hij geld wilde verdienen en in films wilde spelen. Met slechts 700 dollar op de bank en een verlangen naar succes reed hij in 1969 met zijn Ford naar Hollywood om er een kleine tv-rol te bemachtigen. Zijn filmdebuut in They Call Me Mister Tibbs! (United Artists, 8 juli 1970) was een niet-gecrediteerde rol als verslaggever. In de twee jaren voor hij zijn volgende rol speelde geraakte hij evenwel voor 10.000 dollar in de schulden.

“Ik raakte gedeprimeerd. Als ik gedeprimeerd ben, slaap ik de hele dag. Ik lees boeken. Dus ik sliep en ik dronk. Maar ik zou bijvoorbeeld nooit een drogisterijbediende worden. Ik wilde mijn geloof in mezelf niet verliezen. Dus bleef ik in bed.”

Zijn doorbraak kwam toen hij uiteindelijk wél met regisseur Peter Bogdanovich werkte in The Last Picture Show (Columbia, 22 oktober 1971) en later in What's Up, Doc? (Warner Bros., 10 maart 1972) en Paper Moon (Paramount, 9 mei 1973).