Karierę rozpoczął w 1975 roku w klubie Fremad Amager. Feyenoord sprowadził go już cztery lata później. W barwach Rotterdamczyków rozegrał 195 meczów i zdobył Puchar Holandii w 1980 i 1984 roku. W 1984 roku wygrywa dublet, a Feyenoord zostaje również mistrzem kraju.

Ivan Nielsen został wyrwany przez Feyenoord z duńskiej 2. dywizji. Okazało się to złotą okazją, ponieważ okazał się najlepszym środkowym obrońcą, który grał dla klubu w latach 80. Jego najważniejszym wydarzeniem było zdobycie dubletu w 1984 roku. 

W 1986 roku Duńczyk odszedł do PSV, w którym grał u boku swoich rodaków, Franka Arnesena i Sørena Lerby'ego. Stali się oni częścią najbardziej udanego roku w historii PSV. W 1988 roku PSV zdobyło potrójną koronę- tytuł mistrza kraju, puchar KNVB i Puchar Europy, również w tej kolejności.

Nielsen był cichą, ale stabilną siłą w obronie PSV. Pozostali trzej obrońcy - Eric Gerets, Ronald Koeman i Jan Heintze - mieli naturalną chęć do gry. Zagrał w 83 meczach ligowych (strzelił pięć goli) i rozegrał 16 meczów w pucharach. Nielsen pozostał w PSV do sezonu 1989/90. W ciągu tych czterech kampanii zdobył trzy tytuły mistrza kraju, trzy puchary KNVB i Puchar Europy. Po PSV odszedł wrócił do swojego pierwszego klubu Fremad Amager.

W latach 1980-1989 Nielsen 51 razy zagrał w reprezentacji Danii. Zadebiutował 19 listopada 1980 r. w meczu eliminacji mistrzostw świata z Luksemburgiem (4-0) w Kopenhadze. Nielsen uczestniczył z ojczyzną w mistrzostwach Europy w piłce nożnej w 1984 i w mistrzostwach świata w 1986. Po zakończeniu kariery poświęcił swój czas na pracę hydraulika. 

Mecze w Feyenoordzie: 195
Bramki w Feyenoordzie: 14

[Opracował: Damian Maszycki]