Začínal v Žilině, hrál za AC Sparta Praha, FC Union Cheb, FC Petra Drnovice a FK Jablonec. Se Spartou získal dvakrát mistrovský titul. V lize odehrál 408 utkání a dal 25 gólů. V současné době opět působí jako hráč FK Drnovice, kde hraje za B-tým III. třídu okresní soutěže.
Od jara 2012 působil jako hlavní trenér Bohemians Praha 1905. V sezoně 2012/13 postoupil s klubem zpět do Gambrinus ligy. V březnu 2014 byl po sérii špatných výsledků z funkce odvolán (Bohemians 1905 bojoval o záchranu) a nahradil jej Luděk Klusáček.[1] V červnu 2014 se ujal role trenéra v MFK Karviná a v sezoně 2015/16 s ním poprvé v klubové historii slavil postup do první ligy. Klub se v následující sezoně 2016/17 bez problémů udržel v první lize. Po neutěšených výsledcích byl však v další sezoně Jozef Weber od týmu odvolán již v průběhu podzimu, a to po 13. ligovém kole. V průběhu sezóny 2017/2018 se ujal týmu FK Mladá Boleslav. Po neuspokojivých výsledcích byl 7. prosince 2020 odvolán z funkce.[2] Na konci března 2021 se vrátil k trénování MFK Karviná.[3] Po neuspokojivých výsledcích byl 6. října 2021 odvolán. Následně se stal trenérem SK Dynamo České Budějovice kde trénoval až do 31.10. 2022, než byl odvolán.
