Ayant interprété le rôle d’Hamlet dans le West End, Jeremy ne fut pas d’accord pour accepter le second rôle de Laertes offert par Olivier. Beaucoup plus tard, il avoua à la BBC que cela l’avait blessé. Jeremy avait une autre offre plus alléchante – un rôle dans My Fair Lady – et il opta pour Hollywood. "Si je ne peux pas jouer Hamlet, alors je jouerai Freddie, même s’il a un peu le menton fuyant."
Joan Plowright, la femme d’Olivier à cette époque, reprocha à son mari d’avoir si mal traité le jeune acteur : "Larry, vous vous êtes si mal comporté envers Jeremy, que si Eliza Doolittle avait une sœur, je serais partie avec lui."
Dans un article de 1973 du London Times, il expliqua qu'après avoir refusé l'offre initiale de rejoindre la compagnie en 1963, il prit peur, "Ils ne m'emploieront plus jamais..." Jeremy avait aussi remarqué que le dur travail de Robert Stephens, Albert Finney, Derek Jacobi et autres vedettes du National, était récompensé par les applaudissements et le prestige.
Un soir de 1967, invité à voir une répétition en costumes de "Beaucoup de bruit pour rien" avec Joan Plowright et Maggie Smith, il se décida : "Vous devez saisir les opportunités comme elles viennent. " Jeremy fit ainsi ses vrais débuts au National Theatre, pour ce qu’il qualifia "des quatre plus belles années de ma vie".
Enfant, Jeremy vénérait Laurence Olivier qui avait motivé sa vocation. En travaillant avec lui, son admiration grandit encore. Olivier était exigeant, le poussant jusqu’à ses extrêmes limites : "J’attends de chaque jeune acteur qu’il ait le corps d’un Dieu et la voix de tout un orchestre." Quand Jeremy oubliait de rouler les "R", Olivier lui parlait d’un ton sec : "Ca va, jeune homme, ça suffit comme ça. Remue ta langue, remue la, fait la résonner." Jeremy faisait des efforts pour y arriver, mais alors Olivier lui criait dessus pour autre chose… comment il devait tenir ses bras, la façon dont il devait marcher, l’expression de son visage...
Jeremy disait de son mentor qu’il lui "faisait donner le maximum au-delà de toute croyance. Il était très dur… un maître dangereux, intuitif. Il avait du magnétisme. Il n’était pas taillé en Hercule, mais il avait une assurance herculéenne en lui. Et il m’a donné des rôles merveilleux." Plus tard, il devint le parrain de Julia, la fille d'Olivier.