Emil Gilels naquit à Odessa. Il n'était pas issu d'une famille de musiciens : son père travaillait comme employé dans une raffinerie de sucre, et sa mère était mère au foyer. A l'âge de cinq ans et demi, il fut présenté à Yakov Tkach, un célèbre professeur de piano d'Odessa. Emil Gilels exécuta la première partie de ses études musicales avec une facilité déconcertante. En 1929, âgé de seulement douze ans, il donna son premier concert public. En 1930, il fut admis au Conservatoire d'Odessa dans la classe de Berta Reingbald. Son but principal était de faire participer le jeune élève au Concours First-Union Competition of Performers, annoncé pour 1933 à Moscou. La performance de Gilels y fit sensation - quand il finit de jouer, l'auditorium se leva en une ovation tumultueuse, et même le jury se leva pour applaudir. La question du premier prix ne fut même pas débattue : Gilels fut nommé vainqueur de manière unanime. Ce concours changea la vie d'Emil : il était soudainement devenu célèbre dans tout le pays. A la suite, il partit pour une grande tournée en URSS.

Gilels fut diplômé du Conservatoire d'Odessa à l'automne 1935. Il fut immédiatement admis dans la classe d'Heinrich Neuhaus comme étudiant dans le niveau supérieur du Conservatoire de Moscou, et Gilels renouvela ses engagements de concerts. Le phénomène « Gilels » commença alors à se faire connaître à l'étranger. A son arrivée à Moscou au début de l'année 1936, le chef Otto Klemperer monta le Concerto No. 3 en Do mineur Op. 37 de Beethoven, avec Gilels pour soliste. La même année, il participa à son premier concours international - le Concours International de l'Académie de Musique de Vienne. Bien qu'il ait réussi à attirer le regard de l'Europe sur sa prestation, et malgré le prestige indubitable de son statut de finaliste, il considéra sa deuxième place comme un échec. Le premier prix fut attribué à son ami Jacob Flier - un pianiste profondément romantique.

En 1938, Gilels et Flier participèrent au Concours Reine Elisabeth. Tout le monde attendait d'eux qu'ils confirment la réputation des musiciens soviétiques, après la victoire du violoniste David Oistrakh un an auparavant, et qu'ils fassent un retour triomphant. Et, de fait, Gilels obtint le premier prix et Flier le troisième. Le monde musical commença à parler d'Emil Gilels. Après ce Concours, il était supposé partir pour une longue tournée de concerts, notamment aux États-Unis. Mais ce projet fut brutalement interrompu par la Deuxième Guerre Mondiale. Gilels devint un héros dans son pays natal : il reçut une médaille pour ses accomplissements, fut félicité lors d'une fête donnée à son retour, et dans l'esprit des soviétiques, son nom résonnait au même titre que ceux des célèbres explorateurs, des pilotes et des stars de cinéma.

Emil Gilels finit ses études supérieures en 1938 et commença à enseigner au Conservatoire de Moscou (il obtint le statut de professeur en 1952). Il continua ce travail pédagogique de manière ponctuelle jusqu'en 1976, mais ne put jamais s'y consacrer entièrement à cause des nombreuses propositions de concerts qui lui étaient faites. Toutefois, il compta des pianistes importants parmi ses élèves, comme Marina Mdivani, Valery Afanassiev, Igor Zhukov et le pianiste et compositeur Vladimir Blok.

Quand la guerre éclata, il ne fut pas évacué comme les autres membres du Conservatoire. Il rejoignit la résistance civile et, obéissant à un ordre le pressant de revenir, commença à jouer au Front et dans les hôpitaux. Au début de l'année 1943, il interpréta la pièce de bravoure de Stravinsky, Petrouchka, pour les habitants épuisés de la ville assiégée de Leningrad.

A la fin de la guerre, Emil Gilels fut chargé d'une mission particulière : il devait représenter l'Art d'un pays victorieux. Il joua donc sur les scènes de l'Europe de l'est en ruines, et peu après, partit pour une tournée en Italie, Angleterre, France, Autriche, dans les pays scandinaves, et encore de nombreux autres. Tous les pays européens considéraient qu'accueillir Gilels pour un concert ou un enregistrement était un grand privilège. Il reçu des médailles et des honneurs - le public le vénérait.

En 1955, Emil Gilels devint le premier artiste soviétique à voyager aux États-Unis pour une tournée, depuis la Deuxième Guerre Mondiale. Entre les années 1950 et 1970, il atteignit l'apogée de sa carrière dans tous les aspects de son jeu. Il se produisit sous la baguette des plus grands chefs : Mravonski, Melik-Pashayev, Svetlanov, Ivanos, Rakhlin, Gauk, Ginsburg, Eliasberg, Niyazi, Jarvi, Kitayenko, Dudarova, Barshai. Ses collaborations avec Sanderling et Kondrashin furent particulièrement importantes et durables. En URSS, il eut d'autres liens avec Gusman, Paverman, Maluntsyan, Gokieli, Kolomiytseva, Shaposhnikov, Gurtovoy, Robinovich, Katz, Feldman, Vigners, Sherman, Stasevich, Sokolov, Tiulin, Kravchenko, Karapetyan, Dubrovsky, Tolba, Provatorov, Katayev, Aranovich, Chunikhin, Yadikh, Nikolayevsky, et bien d'autres. Grâce à ces collaborations, il put aussi trouver de nouveaux et talentueux chefs, tels que Verbintsky ou Ovchinikov.

Emil Gilels joua aussi dans des ensembles : avec les pianistes Flier et Zak, puis plus tard avec sa fille Elena Gilels ; les violonistes Elisabeth Gilels (sa soeur), Tziganov, Kogan ; le Quatuor Beethoven ; en trio avec Tziganov et Shirinsky, ainsi qu'avec son propre trio (Gilels, Kogan, Rostropovich) ; avec le flutiste Korneiv et le corniste français Shapiro. A l'étranger, il collabora aussi avec les Quatuors Amadeus et Sibelius Academy.

L'engagement d'Emil Gilels auprès de studios d'enregistrement fut aussi intensif que son engagement dans les tournées de concerts : il travailla avec de nombreuses compagnies, notamment Melodiya, Angel, Ariola, EMI, Eterna et Deutsche Grammophon. Ses enregistrements les plus anciens datent des années 1930 et comportent la Gigue de Loeillet-Godowsky, la Fantaisie sur Deux Thèmes des Noces de Figaro de Mozart-Liszt-Busoni, la Ballade No. 1 en Sol mineur Op. 23 de Chopin, la Rhapsodie Hongroise No. 9 de Liszt, la Toccata de Schumann et le Duetto tiré des Chansons sans paroles de Mendelssohn. Au total, Gilels enregistra près de 500 œuvres (sans compter les nombreuses versions existantes de pièces individuelles). Le nombre exact ne fut jamais connu, à cause des nombreux enregistrements audio et vidéo amateurs réalisés lors des récitals de Gilels.

Entre 1950 et 1970, Gilels continua à enseigner au Conservatoire de Moscou, tout en poursuivant une carrière publique importante. Il ne put toutefois refuser l'invitation à présider le jury du Concours International Tchaikovsky de Piano - position qu'il conserva pendant les quatre premières sessions de ce concours.

Au milieu des années 1970, Emil Gilels commença à limiter ses activités qui n'étaient pas directement liées à son statut de concertiste. Il arrêta de prendre part aux jurys des concours internationaux de piano, et arrêta d'enseigner.

Emil Gilels fut nommé Artiste du Peuple d'URSS, reçut le Prix Lénine en 1962, et en 1976 - en l'honneur de son soixantième anniversaire - il fut gratifié de la distinction la plus haute du gouvernement soviétique : Héros du Travail Socialiste.