Στο ευρύτερο ακροατήριο έγινε γνωστός το 1968 με το συγκρότημα Aphrodite's Child, αρχικά στα φωνητικά και αργότερα ως μπασίστας. Το ξεχωριστό φωνητικό του ύφος προώθησε το συγκρότημα σε διεθνή επιτυχία, ιδιαίτερα με τη συμμετοχή του στον δίσκο 666, ο οποίος έγινε κλασική επιτυχία. Μετά από τη διάλυση των Aphrodite's Child, συνέχισε διάφορες σποραδικές ηχογραφήσεις. Από τη συνεργασία του με τον Βαγγέλη Παπαθανασίου, κυκλοφόρησε το 1970 ο δίσκος Sex Power, και το 1977 ο Magic. Η επιτυχέστερη συνεργασία τους ήταν το Race to the End, μια φωνητική προσαρμογή του μουσικού θέματος από το βραβευμένο με Oscar «Οι Δρόμοι της Φωτιάς», που κυκλοφόρησε και στα ισπανικά με τον τίτλο «Tu Libertad». Το 1982 ο Ρούσσος πήρε μέρος με έκτακτη συμμετοχή στο soundtrack της κινηματογραφικής ταινίας «Blade Runner».

Η σταδιοδρομία του έφτασε στο ζενίθ τη δεκαετία του '70 με πολλούς δίσκους που έγιναν επιτυχίες. Το «Forever and Ever» ανέβηκε σε πολλά ευρωπαϊκά charts το 1973. Τα τραγούδια του κυκλοφόρησαν σε διάφορες γλώσσες και είχε επιτυχία στις χώρες της Ευρώπης και της Λατινικής Αμερικής. Στην Αμερική το LP Demis έγινε χρυσός δίσκος. Το Σεπτέμβρη του 2013, παρασημοφορήθηκε από τη Γαλλική Δημοκρατία με τον τίτλο του Ιππότη της Λεγεώνας της Τιμής.