这段问答的意思其实是这样的：思虑是人固有的。王阳明说，除非是死人，否则人人都有思虑。但要看你胡思乱想的内容是什么，如果内容是色、利、名，那就是私欲。
对于这个问题，陆澄很不明白。他问王阳明：“好色、好利、好名等心，固是私欲，可闲思杂虑，怎么也称为私欲？”
王阳明回答：“闲思杂念，到底是从好色、贪财、慕名这些病根上滋生的，自己寻求本源定会发现。例如，你自信绝对没有做贼之想，什么原因？因为你根本就没有这份心思，你如果对色、财、名、利等想法，似不做贼的心一样都铲除了，完完全全只是心之本体，还哪里有闲思杂念？这便是‘寂然不动’，便是‘未发之中’，自然可以‘发而中节’，自然可以‘物来顺应’。”
也就是说，我们平时的“闲思杂虑”并非是闲的、杂的，而是有所指的。人在胡思乱想时可能会想好的，也可能会想坏的。人人都会想自己发财，人人也会想自己可能会碰上倒霉事。这些胡思乱想的背后，其实都是我们对名利的奢望和怕失去的担忧，它们都属于非分之想。如果你真看淡名利，如果你真看透生死，你就不可能在平时胡思乱想。
当然，王阳明所以说闲思杂念也属于私欲，还因为闲思杂虑只存在于我们的脑海中，还没有被实现。所以我们思虑的善恶、是非，并非如白昼和黑夜那样容易分辨。我们以为正在对未来憧憬，实际上却是贪欲。我们以为正在勾勒当一个伟大的人，实际上却是好名的私欲。在这些真假难辨的闲思杂虑中，很容易会让良知无法判断，最终会遮蔽良知。