Γεννήθηκε στα Aνώγεια Μυλοποτάμου Pεθύμνου το 1943. Ηταν εγγονός του Kαραμουζαντώνη που έγραψε ιστορία με τη λύρα του, αδερφός του Nίκου Ξυλούρη και του Ψαραντώνη.
Ο Γιάννης Ξυλούρης από πολύ μικρός συνόδεψε με το λαούτο του τους λυράρηδες του νησιού του. Δώδεκα χρονών συνόδευσε με το λαούτο τον αδερφό του Nίκο, ενώ δεκατεσσάρων χρονών πραγματοποίησε την πρώτη του δισκογραφική δουλειά.
Ομως, ο Ψαρογιάννης δεν περιορίστηκε στο λαούτο και το μαντολίνο, τα δυο όργανα που λάτρεψε από παιδί. Ανοίχτηκε σε άλλους ορίζοντες, στη λύρα, στο τραγούδι, αλλά και στη σύνθεση, δημιουργώντας σύγχρονα κρητικά τραγούδια, που πολλοί θα ζήλευαν.
Στην πολύχρονη μουσική του σταδιοδρομία συνεργάστηκε εκτός από τους αδερφούς του Nίκο και Aντώνη και με τον Kώστα Mουντάκη, κυρίως τη δεκαετία του '60, καθώς και με τον Βασίλη Σκουλά. Δημιουργική υπήρξε επίσης και η συνεργασία του με διάφορα μουσικά σχήματα από την Ηπειρο, τα νησιά του Αιγαίου, τη Μικρά Ασία και με γνωστούς Ελληνες μουσικοσυνθέτες που καθόρισαν με τη δουλειά τους το σύγχρονο ελληνικό τραγούδι.
Εντονη ήταν η καλλιτεχνική του παρουσία, με πολλές συναυλίες και εμφανίσεις τόσο στην Ελλάδα όσο και στο εξωτερικό, όπως και η δισκογραφική του δουλειά, με πολλές συνεργασίες και πάνω από δέκα προσωπικούς δίσκους.