Boris Goldstein est né à Odessa. Comme le voulait la coutume de l'époque dans les familles cultivées d'Odessa, il commença à avoir des leçons de musique à l'âge de quatre ans (dans la famille Goldstein, cette tradition avait déjà été respectée pour les deux aînés - la soeur de Boris, Henrietta, née en 1911, qui fut diplômée en piano du Conservatoire de Moscou comme élève de Felix Blumenfeld ; et son frère Mikhail, né en 1917, et compositeur). Boris Goldstein étudia le violon dans la classe de Pyotr Stolyarsky, qui avait déjà enseigné à une pléiade de brillants musiciens, parmi lesquels David Oistrakh. Six mois après avoir commencé ses leçons, Boris avait déjà joué en public avec un petit programme de concert. Boris continua aux côtés de Stolyarsky pendant quatre ans, jusqu'à ce que toute la famille déménage à Moscou, où l'aînée de la famille avait été acceptée au Conservatoire. Boris, lui, intégra le Groupe des Enfants Doués affilié au Conservatoire de Moscou (transformé par la suite en École Centrale de Musique), dans la classe du professeur A. I. Yampolsky.

Le nom du jeune violoniste de 9 ans devint rapidement connu du grand public soviétique, après une représentation du Concerto de Mendelssohn accompagné de l'Orchestre de la Radio de Moscou, et dirigé par A. Anosov. A l'âge de 11 ans, Boris Goldstein participa au premier Concours de Violon d'URSS. A cause de son jeune âge, il joua séparément, mais le fit si bien qu'il obtint tout de même un prix spécial.

En 1934, il endura un concours encore plus difficile que le précédent. Jascha Heifetz vint à Moscou à l'occasion d'une tournée à cette même période, et ne put tolérer le jeune virtuose. Il exigea que tous les futurs Paganini sachent jouer toutes les gammes dans toutes leurs tonalités, et personne ne put remplir cette condition jusqu'à la rencontre entre Heifetz et Boris : la célébrité mondiale put entendre toutes les gammes qu'il voulait, en plus d'un programme de concert de 30 minutes.

En mars 1935, le premier Concours International Henryk Wieniawski fut organisé à Varsovie. Deux musiciens soviétiques y furent envoyés : David Oistrakh - 27 ans, et Boris Goldstein - 13 ans. Les lauréats furent Ginette Neveu - 1er prix, David Oistrakh - 2ième prix, Henry Temianka - 3ième prix, et Boris Goldstein, 4ième prix. En 1937, il partit pour Bruxelles avec une délégation soviétique, pour participer au premier Concours Eugène Ysaÿe : il y remporta aussi le quatrième prix.

En URSS, il fut récompensé par l'Ordre de Marque d'Honneur, pour ses accomplissements incroyables dans le domaine de l'art musical. Le fait que Boris Goldstein fût le plus jeune musicien titulaire de cet Ordre fut largement souligné par les publications soviétiques. A cette période - la fin des années 1930 - il avait déjà été enregistré sur gramophone. Cependant, le destin du musicien ne fut pas sans heurts, et ce pour des raisons n'ayant rien d'artistique.

Alors élève du Conservatoire (dans la classe de Lev Tseitlin), Goldstein, accompagné d'autres musiciens, prit part à des brigades pendant la Deuxième Guerre Mondiale. En 1943, il partit pendant six mois avec la Marine du Nord, et manqua la session d'examens du Conservatoire : il ne fut pas admis à cause d'une seule matière, le Cours Rapide sur l'Histoire du Parti Communiste. Cette absence lui valut d'être exclu du Conservatoire. Seulement cinq and plus tard, le nouveau Recteur du Conservatoire - Alexander Sveshnikov - réintégra Goldstein et lui permit de finir ce diplôme.

Ces problèmes avec le Conservatoire n'étaient pourtant que le début de son processus d'éducation. Si la bureaucratie des arts était disposée à tolérer le jeune virtuose, le musicien désormais plus âgé devait connaître sa place dans la hiérarchie. Dès 1940, il fut clair que Goldstein ne partageait pas la vision et les buts de l'art soviétique, et « quelque part en haut », on décida qu'il serait inapproprié que le musicien continuât sa carrière dans un tel état d'esprit. Pendant 35 années de travail comme soliste à l'Orchestre Philharmonique de Moscou (de 1939 à 1974), Boris Goldstein ne fut autorisé à partir en tournée à l'étranger que deux fois - en Grèce en 1955 et en Hongrie en 1958. Ses concerts dans les grandes villes soviétiques firent très limités (à une époque, il n'était autorisé à jouer à Moscou qu'une fois tous les deux ans!). Au début des années 1950, une interdiction anonyme lui fut adressée pour tout enregistrement sur gramophone. C'est seulement en 1961, grâce à l'intervention de Dmitri Chostakovich, qu'il put à nouveau être enregistré au cours de deux sessions par le label Melodia, après une pause de dix ans. Mais ce ne fut qu'une illusion de reprise de sa carrière artistique.

Goldstein put quitter l'URSS en 1974, pour s'installer à Hanovre, en Allemagne de l'ouest. Là, il gagna un concours ouvert à tous, et obtint une place de professeur à l'Académie de Musique de Würzburg. Son dernier concert eut lieu à Jérusalem, en 1987.