过了几年，华伦夫人因故离开了安纳西，卢梭也为了生计四处漂泊。在他21岁时，卢梭在法国南部的小城再次遇到了华伦夫人。
卢梭便住进了华伦夫人的家里。由于卢梭相貌英俊，那些经常来往于华伦夫人家里的贵妇、小姐，甚至厨娘们都想方设法地挑逗勾引他。华伦夫人为了让“少不更事”的卢梭不会滑向邪路，便亲自做了卢梭的性启蒙老师。两人突破了“母子”界限，发生了肉体关系。当时，华伦夫人还有另一个情人——管家阿奈，但华伦夫人、卢梭、阿奈竟相处融洽。
在成为华伦夫人的情人后，卢梭总感觉“有一种难以克服的忧伤毒化了它的魅力”“好像犯下了乱伦罪似的”。所以，为了发泄自己的欲望，他在与华伦夫人相爱期间，还与很多女人交往，尽管事过之后，他会觉得有愧于华伦夫人。
不久，管家阿奈病逝，卢梭因病前往蒙培里埃治病。当他再次回到华伦夫人身边时，华伦夫人告诉卢梭，他的位置已被另一位热心而勤快的年轻人所取代。华伦夫人同时还向卢梭表示，今后她和卢梭仍保持像以前一样的关系，只要她活在世上，她对卢梭的爱既不会减少，也不会终止。卢梭很生气，最终与华伦夫人分手。
卢梭与旅馆女仆瓦瑟保持着长期的肉体关系。瓦瑟在与卢梭同居期间，一共生了5个孩子，卢梭都把他们送到了孤儿院。对于这件事，卢梭在《忏悔录》中曾这样解释：“我一想到要把孩子交给这样一个乱糟糟的家庭去抚养，我就感到害怕。如果把孩子交给他们去教育，那必然会愈教愈坏。育婴堂的教育，比他们对孩子的危害小得多。这就是我决定把孩子送进育婴堂的理由。”这已经让人匪夷所思了，然而更让人不齿的是，他还允许自己的朋友共同占有并玩弄瓦瑟，但他还是在56岁时与瓦瑟结婚了。