Sirmione era una delle più frequentate "mansio" imperiali romane lungo la via gallica, sulla direttrice tra Brescia e Verona ; alcuni edifici, come le "grotte di Catullo", servivano probabilmente come alloggiamenti e pubblici magazzini. Importanti dovevano essere anche i porti, cui facevano riferimento numerose imbarcazioni per il commercio sul lago di Garda.
Con la caduta dell'Impero, anche la penisola subì la dominazione dei vari popoli barbari che in successione invasero l'Italia.

Nel 765 il nobile Cuminondo, per volontà dei re Desiderio e Adelchi, conferì i suoi beni alle basiliche sirmionesi. Nel luglio del 774 Carlo Magno donò Sirmione all'abbazia di San Martino di Tours. Nel 897 Carlomanno le confermò immunità e privilegi. Nel 1197 la penisola fu assoggettata a Verona. Nel 1220 l'imperatore Federico II concesse ai Sirmionesi la facoltà di pescare liberamente lungo tutte le sponde gardesane. Nel 1387 Sirmione passò sotto la dominazione dei Visconti, nel 1405 sotto quella di Venezia, cui rimase soggetta fino al 1797. Fece poi parte della Repubblica Cisalpina e, dal 1815 al 1859, del Regno Lombardo-veneto.

Dopo un viaggio in Bitinia, Caio Valerio Catullo (Verona, 87 ca. a.C. - Roma, 54 ca. a.C.), fece ritorno a Sirmione, dove possedeva una modesta cassetta; il carme composto per l'occasione, è tra i più belli. La traduzione del latino è di Mario Arduino:
"Gemma delle penisole, Sirmione sul lago di garda, e dell'isole che in placidi laghi come nel vasto mar Nettuno regge, con intensa letizia ti rivedo quasi incredulo d'essere al sicuro, da Tinia lungi e dai campi bitini. Nulla più dolce, sciolti dalle cure, quando lieve è la mente e del lontano peregrinare ancora il peso dura, che ritrovarsi a casa e riposare nel nostro a lungo desiato letto. Ciò solo vale per tante fatiche. Salve, Sirmio bellissima, e gioisci del tuo signore e voi pure gioite, onde lidie del lago: nella casa sia tutto un risonare di risate."

Non è facile elencare i personaggi famosi che in qualche modo hanno intrecciato rapporti affettivi con Sirmione. Ad esempio, tra i clienti più affezionati del Caffè Grande Italia, che in Piazza Carducci è il salotto per antonomasia della penisola di Sirmione, si ricordano la regina Margherita, Gabriele D'Annunzio, Naomi Jacob, Tancredi Pasero, il maestro Arturo Toscanini, il soprano Maria Callas, Mario Del Monaco, Renato Carosone, Arturo Benedetti Michelangeli.