John de Wolf rozpoczął swoją profesjonalną karierę piłkarską w Sparcie Rotterdam, gdzie występował w latach 1983–1985. Następnie przeniósł się do FC Groningen, w barwach którego zyskał opinię bezkompromisowego i niezwykle walecznego środkowego obrońcy. Dzięki swojej determinacji i fizycznemu stylowi gry szybko zwrócił na siebie uwagę czołowych holenderskich klubów.

W 1989 roku podpisał kontrakt z Feyenoordem Rotterdam. Początek przygody z klubem z De Kuip nie był jednak łatwy – na przeszkodzie stanęła poważna kontuzja, która opóźniła jego debiut o kilkanaście miesięcy. Dopiero jesienią 1990 roku po raz pierwszy wystąpił w barwach Feyenoordu, szybko stając się jedną z czołowych postaci zespołu. Jego charyzma, nieustępliwość i boiskowe przywództwo odegrały kluczową rolę w odrodzeniu klubu na początku lat 90.

Wspólnie z Henkiem Fräserem stworzył żelazny duet stoperów, który kibicom Feyenoordu przywodził na myśl legendarną parę obrońców z lat 70. – Theo Laseromsa i Rinusa Israëla. W okresie jego gry drużyna zdobyła cztery krajowe puchary oraz mistrzostwo Holandii, a De Wolf wyrósł na prawdziwego lidera i symbol nowej ery w historii klubu.

Dzięki znakomitym występom w Rotterdamie został powołany do reprezentacji Holandii, w której rozegrał sześć spotkań. Jego popularność wśród fanów była ogromna – charakterystyczna fryzura i gęsty zarost stały się wręcz znakiem rozpoznawczym, naśladowanym przez wielu kibiców. W pewnym momencie jego kultowa pozycja przybrała niemal absurdalny wymiar – jeden z fanów wytatuował sobie podobiznę De Wolfa, którą sam piłkarz osobiście podpisał.

Choć jego kariera przebiegała w dużej mierze harmonijnie, nie obyło się bez kontrowersji. Tzw. "incydent kartoflowy" podczas mistrzostw świata w 1994 roku, który dotyczył napięć w reprezentacji Holandii, rzucił cień na jego wizerunek i wpłynął negatywnie na atmosferę wokół jego osoby, także w Feyenoordzie. Niespełna kilka miesięcy później zdecydował się na transfer do angielskiego Wolverhampton Wanderers.

W kolejnych latach kontynuował grę w VVV Venlo oraz Helmond Sport, a epizodycznie występował także w izraelskim Hapoelu Aszkelon. Tam jednak jego przygodę z futbolem przerwała kolejna poważna kontuzja, która niemal uniemożliwiła mu grę. Ostatecznie w 2000 roku zdecydował się zakończyć karierę zawodniczą.

Po odwieszeniu butów na kołek De Wolf nie zniknął z medialnego krajobrazu. Z powodzeniem odnalazł się w nowej roli – został komentatorem sportowym, osobowością telewizyjną i aktywistą społecznym. Zaangażował się m.in. w kampanie na rzecz walki z bezrobociem wśród osób starszych, stając się rozpoznawalną twarzą tego typu inicjatyw. Równolegle rozpoczął pracę trenerską w futbolu amatorskim, prowadząc takie kluby jak VV Sliedrecht, Spakenburg czy GVVV.

W 2019 roku ponownie związał się z Feyenoordem – tym razem jako asystent trenera pierwszego zespołu. Najpierw współpracował z Dickiem Advocaatem, a następnie wspierał sztab szkoleniowy pod wodzą Arne Slota, Briana Priske oraz Robina van Persiego, pełniąc funkcję lojalnego i doświadczonego członka zaplecza technicznego.