Remotamente era denominata 'Insula Craniae'. Dopo il 1000 fu chiamata: Isola dei Frati' , 'Isola Lechi' ,'Isola Scotti', 'Isola de Ferrari' , 'Isola Borghese Cavazza'.Già abitata in epoca romana, l’Isola del Garda venne adibita a riserva di caccia fino all'897. Divenne poi dominio di Carlo Magno che, in seguito, la donò ai monaci. Nel 1221 S.Francesco d'Assisi edificò, a nord, sugli scogli, un semplice romitorio. I cinque frati di quell'insediamento vissero un'esistenza contemplativa, in assoluta povertà, chiusi nelle loro celle scavate nel sasso.

Nel 1227 S.Antonio da Padova visitò il luogo sul Lago di Garda. E' possibile che anche Dante Alighieri (nel 1304) sia sbarcato sull'isola. Dal 1383 al 1444 S.Bernardino da Siena abbellì il giardino del convento (con limoni, cedri, arance e ulivi). Succes-sivamente Francesco Licheto (francescano) tenne pubbliche lezioni di filosofia e teologia. Alla sua morte, (1529) cominciò la decadenza dell'eremo.

Nel 1803 (sei anni prima Napoleone aveva fondato la Repubblica Cisalpina) l'ordine religioso fu soppresso definitivamente.

L'isola del Garda a San Felice del Benaco divenne proprietà dello stato e poi fu venduta ai Nobili Conter di Salò). Nel 1817 la proprietà passò ai fratelli Benedetti (di Portese), a Giovanni Fiorentini (commerciante di Milano) e alla famiglia Lechi (di Brescia).

Nel 1860 la zona venne espropriata e adibita ad avamposto militare di confine. All'inizio del 1870 la Famiglia Scotti si aggiudicò all'asta il luogo sul lago di Garda e poi lo cedette al Duca de Ferrari (di Genova).

A lui si deve la realizzazione del monumentale palazzo tutt'ora esistente. I lavori, diretti dall'architetto Rovelli (di Genova) terminarono nel 1903. Ne risultò un edificio imponente, estremamente complesso, in stile neogotico-veneziano (che evoca il Palazzo Ducale di Venezia).
Alla morte di Maria Annenkov (moglie del Duca de Ferrari) la figlia Anna Maria ereditò il complesso. Fu lei ad arricchire il giardino con fiori ed essenze esotiche.

Anna Maria sposò il Principe Scipione Borghese e la loro figlia Livia ebbe estrema cura di quel paradiso per oltre cinquant'anni. Fu moglie del Conte Alessandro Cavazza dal quale ebbe tre figli: Novello, Paolo Emilio e Camillo. L'isola rimase a Camillo.

Gli attuali proprietari sono: la moglie, Charlotte Chetwynd Talbot e i figli: Sigmar, Eric, Ilona, Alberta, Christian e Lars Patrick.

Al confine con i Comuni di Muscoline e Gavardo, sono facilmente raggiungibili sia in auto che a piedi. In luglio e agosto è da vedere la fioritura sull'acqua delle ninfee e dei fiori di loto.