Oliver nació en Nottingham , hijo del arquitecto W. Norman Oliver. A finales de la década de 1930, su familia vivía en Pinner, en el norte de Londres, donde asistió a la escuela primaria Longfield en Rayners Lane y luego fue a la escuela para niños del condado de Harrow entre 1938 y 1942. Mientras estaba allí, fue presentado por un amigo de la música blues.