J'étais arrivé à une presque complète indifférence à l'égard de Gilberte, quand deux ans plus tard je partis avec ma grand-mère pour Balbec. Quand je subissais le charme d'un visage nouveau, quand c'était à l'aide d'une autre jeune fille que j'espérais connaître les cathédrales gothiques, les palais et les jardins de l'Italie, je me disais tristement que notre amour, en tant qu'il est l'amour d'une certaine créature, n'est peut-être pas quelque chose de bien réel, puisque si des associations de rêveries agréables ou douloureuses peuvent le lier pendant quelque temps à une femme jusqu'à nous faire penser qu'il a été inspiré par elle d'une façon nécessaire, en revanche si nous nous dégageons volontairement ou à notre insu de ces associations, cet amour, comme s'il était au contraire spontané et venait de nous seuls, renaît pour se donner à une autre femme. Pourtant au moment de ce départ pour Balbec et pendant les premiers temps de mon séjour, mon indifférence n'était encore qu'intermittente. Souvent (notre vie étant si peu chronologique, interférant tant d'anachronismes dans la suite des jours), je vivais dans ceux, plus anciens que la veille ou l'avant-veille, où j'aimais Gilberte. Alors ne plus la voir m'était soudain douloureux, comme c'eût été dans ce temps-là. Le moi qui l'avait aimée, remplacé déjà presque entièrement par un autre, resurgissait, et il m'était rendu beaucoup plus fréquemment par une chose futile que par une chose importante. Par exemple, pour anticiper sur mon séjour en Normandie, j'entendis à Balbec un inconnu que je croisai sur la digue dire : « La famille du directeur du ministère des Postes. » Or (comme je ne savais pas alors l'influence que cette famille devait avoir sur ma vie), ce propos aurait dû me paraître oiseux, mais il me causa une vive souffrance, celle qu'éprouvait un moi, aboli pour une grande part depuis longtemps, à être séparé de Gilberte. C'est que jamais je n'avais repensé à une conversation que Gilberte avait eue devant moi avec son père, relativement à la famille du « directeur du ministère des Postes ». Or, les souvenirs d'amour ne font pas exception aux lois générales de la mémoire, elles-mêmes régies par les lois plus générales de l'habitude. Comme celle-ci affaiblit tout, ce qui nous rappelle le mieux un être, c'est justement ce que nous avions oublié (parce que c'était insignifiant, et que nous lui avions ainsi laissé toute sa force). C'est pourquoi la meilleure part de notre mémoire est hors de nous, dans un souffle pluvieux, dans l'odeur de renfermé d'une chambre ou dans l'odeur d'une première flambée, partout où nous retrouvons de nous-même ce que notre intelligence, n'en ayant pas l'emploi, avait dédaigné, la dernière réserve du passé, la meilleure, celle qui, quand toutes nos larmes semblent taries, sait nous faire pleurer encore. Hors de nous ? En nous pour mieux dire, mais dérobée à nos propres regards, dans un oubli plus ou moins prolongé. C'est grâce à cet oubli seul que nous pouvons de temps à autre retrouver l'être que nous fûmes, nous placer vis-à-vis des choses comme cet être l'était, souffrir à nouveau, parce que nous ne sommes plus nous, mais lui, et qu'il aimait ce qui nous est maintenant indifférent. Au grand jour de la mémoire habituelle, les images du passé pâlissent peu à peu, s'effacent, il ne reste plus rien d'elles, nous ne le retrouverons plus. Ou plutôt nous ne le retrouverions plus, si quelques mots (comme « directeur au ministère des Postes ») n'avaient été soigneusement enfermés dans l'oubli, de même qu'on dépose à la Bibliothèque nationale un exemplaire d'un livre qui sans cela risquerait de devenir introuvable.
Mais cette souffrance et ce regain d'amour pour Gilberte ne furent pas plus longs que ceux qu'on a en rêve, et cette fois au contraire parce qu'à Balbec, l'Habitude ancienne n'était plus là pour les faire durer. Et si ces effets de l'Habitude semblent contradictoires, c'est qu'elle obéit à des lois multiples. À Paris, j'étais devenu de plus en plus indifférent à Gilberte, grâce à l'Habitude. Le changement d'habitude, c'est-à-dire la cessation momentanée de l'Habitude, paracheva l'oeuvre de l'Habitude quand je partis pour Balbec. Elle affaiblit mais stabilise, elle amène la désagrégation mais la fait durer indéfiniment. Chaque jour depuis des années je calquais tant bien que mal mon état d'âme sur celui de la veille. À Balbec un lit nouveau, à côté duquel on m'apportait le matin un petit déjeuner différent de celui de Paris, ne devait plus soutenir les pensées dont s'était nourri mon amour pour Gilberte : il y a des cas (assez rares il est vrai) où la sédentarité immobilisant les jours, le meilleur moyen de gagner du temps, c'est de changer de place. Mon voyage à Balbec fut comme la première sortie d'un convalescent qui n'attendait plus qu'elle pour s'apercevoir qu'il est guéri.