Počas aktívnej hráčskej kariéry hrával Stein ako obranca. Úvodných 8 sezón svojej kariéry obliekal dres Albion Rovers, kde odohral 94 zápasov. V roku 1950 prestúpil na jednu sezónu do Llanelli Town, odkiaľ prestúpil do škótskeho veľkoklubu Celtic Glasgow. Za Celtic odohral 16 zápasov a s týmto tímom sa významne spájala aj jeho trénerská kariéra. Ako tréner viedol od roku 1957 rezervný tím The Celts. Odtiaľ prešiel do Dunfermlinu, ktorý trénoval v rokoch 1959-1964. Na škótsky ligový trón sa s týmto tímom neprepracoval. V tomto smere nebol úspešný ani vo svojom ďalšom pôsobisku, ktorým bolo mužstvo Hibernian FC. Od sezóny 1964/65 začal trénovať svojmu srdcu veľmi blízky Celtic Glasgow a dostal ho tam, kam tento tím nepochybne patrí. Celticu sa podarilo prerušiť 11 sezón trvajúce čakanie na titul. Za túto dobu dominoval najmä najväčší klubový rival – Rangers. Nejaký ten majstrovský titul si však ukradli aj Heart of Midlothian FC a Dundee FC. Pod vedením Steina dokázal Celtic obsadiť prvé miesto v Škótsku na 9 sezón. Až v ročníku 1974/75 bol porazený Rangers. V sezóne 1976/77 Steinovo mužstvo zvíťazilo ešte raz, čím si tento manažér zaokrúhlil počet získaných majstrovských titulov na desať. V závere svojej trénerskej kariéry jednu sezónu pôsobil na lavičke Leedsu United a dvakrát bol menovaný manažérom reprezentačného mužstva Škótska.