Začínal v Žilině, hrál za AC Sparta Praha, FC Union Cheb, FC Petra Drnovice a FK Jablonec. Se Spartou získal dvakrát mistrovský titul. V lize odehrál 408 utkání a dal 25 gólů. V současné době opět působí jako hráč FK Drnovice, kde hraje za B-tým III. třídu okresní soutěže.
Od jara 2012 působil jako hlavní trenér Bohemians Praha 1905. V sezoně 2012/13 postoupil s klubem zpět do Gambrinus ligy. V březnu 2014 byl po sérii špatných výsledků z funkce odvolán (Bohemians 1905 bojoval o záchranu) a nahradil jej Luděk Klusáček.[1] V červnu 2014 se ujal role trenéra v MFK Karviná a v sezoně 2015/16 s ním poprvé v klubové historii slavil postup do první ligy. Klub se v následující sezoně 2016/17 bez problémů udržel v první lize. Po neutěšených výsledcích byl však v další sezoně Jozef Weber od týmu odvolán již v průběhu podzimu, a to po 13. ligovém kole. V průběhu sezóny 2017/2018 se ujal týmu FK Mladá Boleslav.
