Nato a Città di Castello, segue a Roma prima gli studi classici e poi quelli giuridici senza però portarli a termine. Inizialmente coltiva interessi prevalentemente letterari: lavora come correttore di bozze, diventa collaboratore redazionale per la rivista Prospettive e per arrotondare il salario, scrive novelle per bambini e per signore dell’alta società, vendute ai giornali sotto diversi nomi.
Preso parte alla seconda guerra mondiale, in Toscana entra in contatto con i nuclei della resistenza e, ricercato dalla polizia tedesca, scappa nel Veneto. Dopo la Liberazione si trasferisce a Roma. E’ il 1945 infatti, quando inizia a frequentare gli artisti di via Margutta e di piazza del Popolo e a dipingere seguendo il tonalismo di Mafai, che conosce personalmente e del quale frequenta lo studio. Amicizia questa, che segna un’importante tappa per la carriera dell’artista: nel 1950 Mafai introduce la prima mostra personale di Villoresi che, allestita presso la Galleria di Chiurazzi in via del Babuino, ottiene un grande riconoscimento. Nel frattempo dopo essersi staccato dalla casa paterna ed aver vissuto in povertà a Roma, si trasferisce nella campagna toscana (a Rigutino, nei pressi di Arezzo).
Si avvicina alla filosofia esistenzialista di Sandro Penna e Corrado Alvaro, grazie ai quali comincia ad acquisire notorietà affermandosi come uno dei giovani pittori italiani più in vista.
Espone in diverse mostre in Italia e all’estero con sempre maggiore successo.
Le vedute, le maschere, i “sassi” e gli “omoni” dei sobborghi romani e toscani sono i soggetti più trattati, ritratti sempre in toni lirici. Negli ultimi anni della sua vita l’editore Carte Segrete pubblica Diario di un pittore dove sono raccontati i momenti più intimi dell’artista. John Huston, uno dei registi più anticonformisti di Hollywood, diventa uno dei suoi più importanti collezionisti. Le sue opere si diffondono inoltre, in molte delle collezioni pubbliche e private italiane.