Rudolf Herrmann studierte von 1954 bis 1960 an der Berliner Humboldt-Universität Physik und promovierte 1964 an der Staatlichen Moskauer Universität. Von 1964 bis1968 arbeitete er bei dem Nobelpreisträger Pjotr L. Kapitza im Institut für Physikalische Probleme an seiner Habilitation, die er 1968 an der Humboldt-Universität verteidigte. 1968 wurde er Dozent und 1970 zum ordentlichen Professor für Experimentelle Physik auf den Lehrstuhl für Tieftemperaturphysik an die Humboldt-Universität berufen. 1991 bis 1992 war er Gastprofessor an der Universität Paris 7, „Pierré et Marie Curie“. 1992 wurde er von der Humboldt-Universität an die Ritsumeikan Universität in Kyoto gesandt. In Kyoto war er neben der Lehrtätigkeit an der Universität wissenschaftlicher Berater im HORIBA Konzern. Nach der Rückkehr 1986 aus Japan arbeitete er bis 2012 im Institut für angewandte Photonik in Berlin Adlershof.