Tijekom svoje bogate trenerske karijere, između ostalog, vodio je i Sturm Graz u razdoblju od 1994. do 2002. godine. Austrijski klub ovih dana obilježava 116 godina postojanja, a taj jubilej bio je povod okupljanja navijača koji su Međunarodni praznik rada iskoristili za veliko druženje.

Klubovi navijača iz Graza nisu zaboravili legendarnog ‘Straussa s Grbavice’ te su u njegovu čast skandirali: ‘Volimo te, Ivica Osim!’ Upravo pod njegovim vodstvom Sturm je doživio najsjajnije trenutke u svojoj povijesti – osvojio je dva naslova austrijskog prvaka (1998. i 1999.), tri Kupa te igrao u Ligi prvaka.

Osim i dalje uživa veliki ugled u svim klubovima i zemljama u kojima je ostavio dubok trag. U trenerskoj karijeri, osim Sturma, vodio je Željezničar, reprezentaciju Jugoslavije, Partizan, Panathinaikos, japanski JEF United te reprezentaciju Japana, gdje ga i danas iznimno cijene, unatoč tome što je izbornik bio samo godinu dana.

Preminuo je pet dana prije svog 81. rođendana.