Rasmussen pierwsze lata spędził w Næsby BK, a następnie poprzez Odense BK obrońca trafił do Niemiec w 2014 roku. Najpierw związał się z Schalke 04. Dwa lata później przeniósł się do FC St. Pauli, gdzie grał w drugim zespole. W 2017 roku zdecydował się na grę w Norwegii, gdzie czteroletni kontrakt zaoferował mu Rosenborg. 

Tam święcił sukcesy w kraju i już w połowie 2018 roku został wypatrzony przez Empoli, które zapłaciło za niego około miliona euro. Kilka miesięcy później wykupiła go Fiorentina już za siedem milionów euro. Ale wraz z ogłoszeniem tego transferu, od razu został wypożyczony do...Empoli. Następnie zdecydował się odejść tymczasowo do FC Erzgebirge Aue.

W lipcu 2020 roku dopisał kolejny klub w CV. Tym razem wypożyczyło go Vitesse, które zapewniło sobie też opcję na kolejny rok. W Arnhem od niemal początku do końca był bardzo ważnym zawodnikiem. 

Po dwóch latach odszedł z Vitesse, ale został w Holandii. Feyenoord wypożyczył go z opcją wykupu. 

DEBIUT W FEYENOORDZIE: 07-08-2022  Vitesse Arnhem - Feyenoord 2-5