A tredici anni entrò nell'autorevole conservatorio della Gesellschaft der Musikfreunde e crebbe nello spirito della tradizione classica quando ancora il suo maggiore rappresentate, Brahms, dominava i circoli musicali. Zemlinsky crebbe dunque all'interno di una tradizione viva, una tradizione contro la quale lui, diversamente da Hugo Wolf, non si ribellò. Al contrario del giovane Mahler, frequentò regolarmente le lezioni. Non desta meraviglia se, con il suo talento, vinceva dei premi. All'esame finale, nel 1890, suonò le Händelvariationen di Brahms e vinse come «migliore pianista del conservatorio» un pianoforte Bösendorfer.
Terminati con successo i corsi di composizione, con una sinfonia in re minore, le opere del giovane compositore entrarono presto nelle più autorevoli associazioni viennesi di musica da camera. Il 5 marzo 1896, durante un concerto del Quartetto Heilmerberger, Zemlinsky (dopo l'esecuzione di un'opera) venne presentato a Brahms. Da qui un contatto personale e, come risultato, la revisione di opere di Zemlinsky. Il Trio di Zemlinsky op. 3 ebbe un premio promosso da Brahms; una Sinfonia in si bemolle maggiore (1896), il primo premio, ben remunerato, della Gesellschaft der Musikfreunde; l'atto unico Sarema, assieme al Theuerdank di Ludwig Thuilles, un premio come « migliore opera tedesca», a Monaco. Zemlinsky inoltre ricevette a Vienna per i suoi Lieder anche il «Zusnerschen Liederpreis». Di tutte le opere giovanili, ancora sotto l'egida di Brahms, il Quartetto per archi in la maggiore op. 4 ha goduto in particolare per molto tempo di notevole favore, come un'opera piena di slancio nel suono, composta con arte e grande bellezza timbrica.
Dopo la fine degli studi il campo di Zemlinsky fu quello borghese dell'associazione musicale, in cui si realizzavano le singole tendenze dell'evoluzione musicale, effettiva e virtuale. Non si trattava di faccende commerciali, ma di problemi artistici. I membri delle singole associazioni erano di idee omogenee. La prima associazione in cui Zemlinsky operò, dal 1893, la Wiener Tonkünstlerverein, fu fondata dai pianisti Anton Door e Julius Epstein (1832 -1926). I due, uno già maestro di Zemlinsky, l'altro maestro e sostenitore di Mahler, erano personalmente vicini a Brahms. La loro associazione, con Brahms presidente onorario, operava dunque nella sua sfera. L'attività dell'associazione, alle cui rappresentazioni Zemlinsky prese parte sia come pianista che come direttore d'orchestra, - nel marzo 1895 diresse una propria Suite e Brahms la sua Ouverture solenne accademica - gli serviva prima di tutto a curare le sue conoscenze.
Più importante fu per lui la Musikalische Verein Polyhymnia, fondata nel 1895, un'orchestra di giovani ed entusiasti dilettanti. Qui, nell'autunno dell'anno di fondazione, deve aver conosciuto il giovane impiegato di banca Arnold Schönberg, che suonava nell'orchestra come violoncellista. Nel suo primo concerto pubblico del 2 marzo 1896, sotto la direzione di Zemlinsky, l'associazione eseguì la ballata di Zemlinsky Waldesgespräch (su testo di Eichendorff), ma anche una composizione di Schönberg, un Notturno per orghestra d'archi e violino solista. In seguito Schönberg,secondo le sue asserzioni, diventò allievo di Zemlinsky, senza però lezioni regolari.
Si consideri la situazione dei due giovani musicisti. Zemlinsky, il giovane compositore di successo, educato al Conservatorio, pianista e direttore della piccola orchestra della Polyhymnia, non aveva a disposizione molto di più di una formazione di archi, ma era già stato ripetutamente premiato, dunque riconosciuto socialmente; Schönberg invece, autodidatta di modesta estrazione, cercava soprattutto come uscire dalla sua condizione e non lasciava niente di intentato per acquistare cognizioni e rivelava un forte desiderio di sapere. Zemlinsky, che possiede ormai con sicurezza capacità e conoscenze, ha bisogno soltanto di esperienze per percorrere la strada che ha aperta davanti a sé; Schönberg deve elevarsi a fatica dalla sfera piccolo-borghese a cui è legato, per potersi poi orientare tra le nuove scoperte. Con ciò l'insegnamento di Zemlinsky, per quanto se ne può parlare, non era la cosa più importante, anche se si può supporre che con queste lezioni venisse trasmesso il meglio di quanto la tradizione musicale poteva offrire accanto al patrimonio tecnico-compositivo del periodo classico, e cioè la conoscenza vincolante del significato e della dignità della musica che si impone a chi si dedica ad essa come impegno artistico sentito eticamente. Zemlinsky aiutò Schönberg non soltanto in campo musicale ma anche in campo sociale. Lo introdusse nella vita artistica. La vita intellettuale di Vienna si svolgeva principalmente nei caffè. Ogni partito, ogni associazione, ogni gruppo che pensasse allo stesso modo, aveva il proprio caffè. Particolarmente popolari erano il Café Griensteidl, per la cui distruzione Karl Kraus scrisse la sua prima grande satira (La letteratura demolita), e il Café Landtmann, il Café Museum, in cui si incontravano i wagneriani e i moderni, i naturalisti ecc. Zemlinsky, che aveva già avuto successo ed era conosciuto, introdusse in questi circoli Schönberg, che vi conobbe poeti, giornalisti, pittori, musicisti, ma soprattutto la forma del dibattito artistico caratteristica di quel genere di caffè. Tutte le personalità che vivevano a Vienna ne avevano uno, questa era la forma borghese in cui venivano discussi pubblicamente tutti i problemi, conclusi gli affari, decise e suggellate amicizie e inimicizie.
Ciò che i due giovani artisti sperimentavano in questo caffè non era soltanto un rapporto personale e la prima presa di conoscenza con i rappresentanti del moderno - il termine è di Hermann Bahr - ma anche la presa di coscienza della modernità. Questa non era un problema specifico della musica. I confini delle singole arti venivano spesso superati intenzionalmente. Si cercava quanto c'era di comune in tutte e quello che era «tra le arti» - così il titolo di uno scritto programmatico di Oscar Bie, l'editore di una delle riviste guida del tempo, la Neue Deutschen Rundschau. Erano dunque esperienze artistiche che andavano in un certo modo al di là dell'accademico e anche dell'associazionismo borghese.
L'esperienza del moderno ebbe le sue ripercussioni, e del resto non ci si poteva aspettare niente di diverso in un'epoca totalmente segnata da Wagner, nel campo dell'opera come in quello della composizione liederistica. Nell'ambito del moderno operava a Vienna soprattutto la Ansorge-Verein, una «Verein für moderne Kultur» (Associazione per la cultura moderna) che prendeva il nome dell'allievo di Liszt Conrad Ansorge

e che diffondeva anche i suoi Lieder. La parte centrale delle manifestazioni era dedicata però alle poesie lette prima che fossero eseguite le composizioni. Poiché nelle manifestazioni di questa associazione non c'era nessuna possibilità di eseguire opere maggiori, i giovani compositori intendevano crearsi un proprio centro. Esso fu la Vereinigung schaffender Tonkünstler in Wien (Unione dei musicisti creativi viennesi), inaugurata da Schönberg e Zemlinsky, il cui scopo era quello di rappresentare opere nuove. L'unione fu salutata dal pubblico come Secessione musicale. Presidenti onorari potevano essere considerati Mahler, Reger e Strauss. Tuttavia essa durò solo una stagione. La manifestazione più importante fu il Secondo concerto sinfonico del 25 gennaio 1905 con le prime della fantasia per orchestra Die Seejungfrau, di Zemlinsky, e il poema sinfonico Pelléas und Mélisande, di Schönberg. Alma Mahler, già allieva di Zemlinsky, annotò nel diario: «26 gennaio. Ieri concerto: Zemlinsky-Schönberg. La mia previsione è stata confermata. Zemlinsky, nonostante molte trovatine splendide e la sua enorme capacità non è forte come Schönberg, che è un tipo confuso ma estremamente interessante. La gente se ne andava a frotte e sbatteva la porta durante l'esecuzione, molti fischi ma per noi due il suo talento è evidente».
Il poema sinfonico di Schönberg, composto nel 1902, e la cui comprensione riuscì dapprima difficile a Zemlinsky, fu oggetto poi della particolare ammirazione di questa. In ogni caso la divergente evoluzione che si veniva profilando tra i due amici non portò interruzioni nella collaborazione.
In quegli stessi anni si era sviluppato un vivace rapporto tra Zemlinsky, che adorava Mahler, Schönberg, che era pieno di ammirazione per lui e tuttavia gli si opponeva appassionatamente, e l'onnipotente direttore della Hofoper.

Esso fece sì che Zemlinsky si comportasse a volte come il factotum di Mahler, lo accompagnava in viaggio, gli faceva visita durante le vacanze e trascrisse per pianoforte una partitura. Nel 1904 Zemlinsky era diventato direttore d'orchestra alla Volksoper; Mahler lo portò alla Hofoper. Poco dopo Mahler lasciò l'incarico e il suo successore non rappresentò l'opera di Zemlinsky, Der Traumgörge, che Mahler aveva accettato per una prima esecuzione. Ritornò dunque alla Volksoper

e qui operò fino alla sua partenza da Vienna nel 1911. Il punto culminante del suo lavoro alla Volksoper, dove comunque fu in grado di rappresentare la Salome di Strauss e l'Ariane di Paul Dukas, fu per Zemlinsky la prima esecuzione della sua commedia musicale Kleider machen Leute, accolta con entusiasmo dal pubblico e con comprensione dalla stampa.
I rapporti di Zemlinsky con Schonberg, che nel 1901 con il matrimonio con Mathilde Zemlinsky

era diventato suo cognato, si erano in quel periodo un po' offuscati. Un motivo fu certamente la storia, che aveva fatto grande scalpore, di Mathilde con il pittore Richard Gerstl [Artcyclopedia], finita tragicamente con la morte di questo. Ma era anche il periodo in cui Schönberg percorreva strade che lo allontanavano, anche musicalmente, dal maestro di un tempo. Nel 1909 Schönberg aveva scritto parecchie opere che rinunciavano conseguentemente agli strumenti della tonalità - tre pezzi per pianoforte op. 11, cinque pezzi per orchestra op. 16, il monodramma Erwartung op. 17 - e nella sua Teoria dell'armonia (1911) aveva presentato la tonalità come un semplice strumento artistico (e non come fondamento naturale) della forma compositiva.
Il processo di Zemlinsky come compositore fu tuttavia influenzato, a partire dall'inizio del secolo, dall'opera di Mahler e in modo a poco a poco crescente dalle prime composizioni di Schönberg, ancora tonali. Nelle ultime opere del suo periodo viennese nasce però, nonostante alcune reminiscenze, l'idioma particolare di Zemlinsky, e ciò soprattutto nei Lieder su testi di Maurice Maeterlinck

(op. 13), la cui originalità è appena inferiore alla straordinaria pienezza espressiva, stupefacente nella sua sorprendente semplicità. E in questi Lieder, il cui tono lirico recitante anticipa cose più tarde, che Zemlinsky riesce a creare qualcosa che non si può non considerare nella musica del nostro secolo e che compositori come Alban Berg e Anton Webern hanno molto amato.
Nonostante i suoi successi come direttore d'orchestra e come compositore, Zemlinsky non poté mai ottenere a Vienna una posizione di primo piano. Appare dunque anche troppo comprensibile se, a partire dal 1911, egli preferisce occupare un posto di primo piano, quello di direttore dell'Opera, o nella seconda città austriaca, Praga.
A Praga, Zemlinsky si trovò in una situazione analoga a quella in cui si era trovato Mahler. Egli era direttore artistico (e quindi, in primo luogo, direttore stabile). Come tale, seguendo l'esempio di Mahler, rinnovò il repertorio, soprattutto Mozart, Wagner e l'antica opera tedesca. Curò tuttavia anche l'opera cèca e anche in questo genere superò, non di rado, il Teatro nazionale cèco, molto più grande e più dotato di mezzi.
Come direttore d'orchestra, Zemlinsky curò in modo particolare le opere di Mahler. Ma si impegnò secondo le proprie forze anche per Schönberg. Già il primo anno invitò Schönberg stesso a dirigere e, più tardi, durante la guerra, gli dedicò la sua opera di musica da camera più significativa, il Secondo Quartetto per archi op. 15. Schönberg vi vide il tentativo, gradito, di rinnovare l'amicizia. Durante il periodo praghese Zemlinsky era all'apice della sua carriera, non soltanto professionalmente ma anche come compositore. Accanto al già ricordato Quartetto, creò le due sue opere su testo di Wilde, Eine florentinische Tragödie e Der Zwerg, oltre alla monumentale Lyrische Simphonie. La Florentinische Tragödie è certamente, per quanto riguarda la tecnica dell'orchestra, il capolavoro di Zemlinsky, di uno splendore coloristico e una differenziazione timbrica unici. Ma Zemlinsky con la musica offre anche un commento, quando, alla fine, concede al marito il tema d'amore. Già il testo di Wilde [testo in italiano] con la sua abissale raffinatezza, ha bisogno di interpretazione; il frivolo gioco del principe, che paga con la vita la sua superbia, il marito, insidioso e onesto a un tempo che offre al principe ogni possibilità di fuga - per liberarsi dal risentimento e forse anche per fare un affare da tutta la storia - conducono un dialogo continuamente cangiante, la cui crescente tensione sparisce dietro ogni dettaglio. E una delle maggiori prove di Zemlinsky, poiché egli dà valore a entrambi gli aspetti, la ricchezza dei dettagli e l'incalzare dell'intensità; ai dettagli, per mezzo della differenziazione armonica e coloristica, alla crescita di intensità, attraverso una sintetica raffigurazione formale sulla base della melodica, indispensabile per la musica operistica.
Zemlinsky presentò a Praga anche una nuova versione della commedia Kleider machen Leute con la quale ottenne un inconsueto successo, ma l'opera rimase in repertorio per poco, così come le altre opere comiche dell'era post-wagneriana. Nel 1924, al festival musicale della Internationale Gesellschaft für Neue Musik (Società internazionale per la nuova musica), Zemlinsky presentò la prima esecuzione della Erwartung di Schönberg - diresse l'opera anche a Vienna e a Berlino - ma, dopo sedici anni trascorsi a Praga, andò a Berlino da Klemperer, alla Kroll-Oper;

nel 1933, fece ritorno a Vienna (per necessità) e infine passò in America.
Intorno al 1930, dopo che Zemlinsky aveva diretto a Berlino l'opera di Weill Aufstieg und Fall der Stadt Mahagonny, il tono della sua musica cambia nuovamente pur senza perdere le sue qualità e la sua ricchezza interiore. Il nuovo tono si manifesta nel Kreidekreis (da Klabund) e nella Sinfonietta op. 23 (1935). Nella vita di Zemlinsky ci sono alcune figure guida Brahms, Mahler, lo Schönberg dei Gurre-Lieder e della Kammersymphonie, infine persino quello della Erwartung. La quarta parte della Lyrische Symphonie non dà forse l'impressione di una trasposizione della lingua musicale dell'Erwartung nel tonale? Schönberg è andato avanti. Zemlinsky, che non con lui ha fatto il passo verso la dodecafonia che ne conseguiva, e forse intimamente l'ha disprezzata - questo ha fatto sì che l'amicizia non potesse rinnovarsi nei modi di un tempo -, tuttavia ha coltivato fedelmente il territorio tra la Kammersymphonie e l'Erwartung.