Célèbre metteur en scène et acteur britannique, Charles Arrowby, la soixantaine, couvert de femmes, vient de tourner le dos à Londres, à sa vie brillante pour se retirer face à la mer, loin de tout, dans une petite maison isolée sur les rochers. À l'écart des artifices, il s'agit, dans son esprit, d'un retour à la simplicité, à l'innocence perdue, à la solitude.
Divers incidents viennent bientôt troubler la sérénité de ses bains quotidiens dans la mer, «son élément naturel», de ses repas de célibataire théoricien et praticien d'un hédonisme culinaire bien à lui, de son observation de la nature. Il guette des phoques et voit un monstre marin ; sa maison semble hantée. Incapable, par nature et par éducation, de supporter l'oisiveté, il entreprend la rédaction de ses Mémoires. Par la force de la nouveauté de sa vie présente, ceux-ci prennent la forme d'un journal entrecoupé de réminiscences. Il se complaît, entre autres, à évoquer ses compagnes avec une bonne mysogynie classique d'homme à femmes.
On ne rompt pas si facilement avec une existence dans le siècle : la retraite de Charles est bientôt visitée par un certain nombre de personnages de son passé, proche ou lointain...