La villa, di stile neoclassico, fu commissionata dal marchese Innocenzo Odescalchi ed edificata su una proprietà del XVII secolo denominata “dell’olmo” per un albero secolare, oggi non più esistente.  I lavori iniziarono nel 1782 sotto le direttive dell’architetto Innocenzo Ragazzoni ma, successivamente, gli Odescalchi si rivolsero al più celebre Simone Cantoni, architetto lombardo dell’età neoclassica che, grazie alla sua abilità, riuscì a rimediare all’imperizia del suo collega e ad approntare il nobilissimo edificio, ultimato, nella parte centrale, nel 1789, mentre i corpi laterali (più tardi abbattuti), furono aggiunti nel 1796. L’anno successivo, la superba dimora venne inaugurata da Napoleone che vi giunse con la moglie Giuseppina e la sorella Elisa Vi collaborarono il pittore Domenico Pozzi con i fratelli Carlo Luca e Giuseppe, stuccatori e decoratori, e la scultore Francesco Carabelli. Dopo la morte dell’Odescalchi nel 1824, l’edificio passò a Giorgio Raimondi, che sistemò il piazzale antistante e costruì la darsena.
A causa del suo appoggio all’insurrezione di Como nel 1848, il Raimondi dovette fuggire nel Canton Ticino, mentre il palazzo fu sequestrato dagli austriaci e trasformato, con grave danno, in caserma. Rientrato nel 1859, Giorgio Raimondi ospitò a villa Olmo Garibaldi; il generale, vincitore a San Fermo, ne sposò l’anno seguente la figlia Giuseppina in un matrimonio lampo, sciolto da un tribunale.
Nel 1882 la villa fu venduta al duca Giudo Visconti di Modrone che inaugurò l’ultimo periodo padronale dell’edificio. Il duca, sotto la guida dell’architetto Emilio Alemagna, demolì le criticatissime ali, sistemò l’accesso a lago, modificò l’atrio d’ingresso mediante lo sfondamento del soffitto originario che, così come è ancora oggi, si eleva per ben tre piani e costruì anche un piccolo teatro che venne affrescato da Ernesto Fontana. Ampliò la parte nord del parco in stile inglese e, nel giardino all’italiana che si apre davanti all’edificio fino al lago, posò la fontana dello scultore milanese Gerolamo Oldofredi. L’intera opera di marmo è formata da un’ampia vasca sporgente al centro di un tappeto erboso, nella quale si vedono due putti che giocano trascinando una specie di mostro marino.
Nel 1925 la villa fu acquistata dal Comune di Como che la inaugurò nel 1927 con la grande Esposizione Voltiana realizzata per il centenario della morte dell’inventore della pila e da allora diventò il naturale centro delle attività culturali comasche. Qui vengono organizzati concerti, spettacoli teatrali, congressi, dibattiti e mostre: ricordiamo quelle del Luini, a Le Corbusier, all’età neoclassica in Lombardia. Nella facciata, il corpo centrale, rilevato in avanti, presenta cinque archi ingresso sopra i quali si innalzano sei colonne di stile ionico a medaglioni raffiguranti filosofi; corona l’edificio una balaustrata con otto statue e, al centro, lo stemma in pietra dei duchi Visconti di Modrone, sostenuto da putti, sormontato da una corona ducale in sostituzione dell’originaria pietra con la parola “Olmo”.
Anche la disposizione interna dei locali e in parte le decorazioni furono rinnovate dal volere del duca Visconti. Nell’interno spicca l’ampio atrio che conduce nel vasto salone del pianterreno, con balconata; sontuose anche le altre sale, fra cui il salone degli Specchi, delle Nozze, di Diana, della Musica. Per conservare la testimonianza storica, l’Amministrazione comunale ha avviato in questi ultimi anni significativi interventi sull’edificio cercando soprattutto di eliminare le pericolose infiltrazioni di umidità che hanno rischiato di compromettere il patrimonio pittorico dei soffitti e i pavimenti.