De Wolf przygodę z piłką rozpoczął w klubie z rodzinnego miasta, Schiedamse Boys. Niemniej jednak dopiero w latach osiemdziesiątych John wzniósł się na szczebel zawodowy, kiedy w sezonie 1983-1985 reprezentował Spartę Rotterdam. Po dwóch latach zdecydował się na odejście zasilając szeregi FC Groningen. To właśnie na Euroborg De Wolf wyrobił sobie miano trudnego do przejścia defensora. W lecie 1989 decyduje się na come back do Rotterdamu, lecz tym razem do odwiecznego rywala Sparty, Feyenoordu.

Po roku poza pierwszym zespołem, de Wolf co raz to śmielej poczynał sobie na De Kuip. Już w sezonie 1992/93 zdobył mistrzostwo ligi holenderskiej. Jak się okazało, z portowym zespołem osiągał jedne z większych, jak nie największych sukcesów w swej karierze. Na swe konto wpisał wspomniane mistrzostwo, trzy krajowe puchary oraz superpuchar Holandii. Wszystko zgarnął w okresie 1989-1995. Dobre wyniki zaowocowały, że stał się kultową postacią. Następnie postanowił spróbował swych sił za granicą.

Wyjechał do drugoligowego wówczas Wolverhampton Wanderers. Jego przeprowadzkę sfinalizowano w grudniu 1995 roku, a do kasy Feyenoordu wpłynęło 600,000 funtów. Szkoleniowiec Graham Taylor od razu mianował go kapitanem ekipy. Nie minęło wiele czasu, a de Wolf pomógł Wilkom dojść aż do ćwierćfinału  FA Cup, ale także sam jako obrońca dokonał czegoś mało spotykanego. Mimo, że grał w pierwszej linii, w jednym z pojedynków z Port Vale trzykrotnie wpisywał się na listę strzelców. Później było już tylko gorzej.

John doznał poważnej kontuzji kolana, a jego zespół przegrał play-offy z Boltonem. Po roku na Wyspach, wraca do ojczyzny, dokładnie do VVV-Venlo. Co ciekawe i tu nie został na długo i już po rozgrywkach 1996-1997 ponownie opuścił kraj. Tym razem w 1997 roku związał się z izraelskim Hapoelem Ashkelon. Nie udało mu się przystosować, notując jedynie trzy występy i jedną bramkę w ostatnim meczu. Szybko więc ponownie wrócił do Holandii. Po powrocie podpisał kontrakt z Helmond Sport.

Miał napięte stosunki osobiste z klubem, ale i zgodził się rozwiązać kontrakt, choć zdążył pograć tu dwa lata. Od roku 2000 John de Wolf co róż reprezentował nowe to amatorskie barwy kolejno Zwart Wit'28, RKSV Halsteren, SVVSMC, Haaglandia, FC Türkiyemspor, Voorschoten '97 oraz WKE, gdzie po dzień dzisiejszy pełni funkcję trenera. Ponadto pełni funkcję analityka w wielu stacjach telewizyjnych. 

W CV ma prowadzenie też holenderskich, amatorskich klubów. 30 października 2019 roku ogłoszono, że De Wolf będzie asystentem trenera Dicka Advocaata, a później Arne Slota. 

Mecze w Feyenoordzie: 145
Bramki w Feyenoordzie: 10

[Opracował: Damian Maszycki]