A bécsi Iparművészeti Iskola növendékeként kezdte pályafutását. Testvérével Ernst Klimttel és Franz Matsch-csal közösen vállalták első jelentősebb megbízatásukat, ami a bécsi Kunsthistorisches Museum belső udvarának díszítése volt. 1890-ben a múzeum lépcsőházának készítettek dekorációt. Más köz- és császári épületek is dícsérik Klimt művészetét mint például a Burgtheater és a Hermes villa is.
1893-ban a Művészeti Akadémia hívta professzorának, de a kultuszminiszter elutasította a kinevezést. 1894-ben megbízást kapott az Egyetem dísztermének falfestményeire, ebből az apropóból születtek az ún. Fakultás-képek (Jogtudomány, Filozófia, Orvostudomány). A tablók óriási botrányt kavartak, az Egyetem professzorai tiltakoztak kihelyezésük ellen, így azokat a művész és barátai visszavásárolták.
1897-ben megalakult a bécsi Szecesszió nevű csoport, melynek alapító tagja és egyben elnöke lett. 1898-ban rendezték meg az első Szecesszió-kiállítást, majd a csoport létrehozta a Ver Sacrum című folyóiratot.
Klimt 1903-ban körutazást tett Itáliába (Velencébe, Ravennába, Firenzébe), ekkor kezdődött "arany korszaka". Érdeklődve tanulmányozta Toulouse-Lautrec, Munch, Van Gogh és Matisse művészetét. 1917-ben a müncheni Művészeti Akadémia tagjává választották.
1918-ban, mikor széthullott a Habsburg Birodalom, meghalt Egon Schiele, Oscar Kokoschka és Otto Wagner, egy agyvérzést követően elhunyt Gustav Klimt, a századfordulós Bécs legnagyobb művészalakja.