L'histoire se passe «dans le Nord», dans une ville quadrillée par les canaux et devant laquelle coule le fleuve vers la mer proche. Simon - en dehors de sa profession - est un bon amateur de musique ; il joue du violoncelle. Lors d'un voyage avec Ulve, la femme qu'il aime, une nuit, il entend ou croit entendre le concerto d'Elgar qu'un violoncelliste invisible joue sur une terrasse.
Peu à peu grandit en lui le désir de créer sa propre musique. Il commence par improviser, puis il s'enregistre, efface, recommence, détruit tout et recommence encore. Il est doué mais fantasque, et ses multiples contradictions retardent constamment l'achèvement de son «opus 1». Ses proches l'aident : sa demi-sœur, sa fille, le vieux maître de violoncelle, l'énergique Rubelle - sa collaboratrice dans les affaires -, mais surtout Ulve, son inspiratrice...