王尚书家里生了个哑巴孩子，满城的人都知道了这件事。大家议论纷纷，有的说皇帝的女儿不愁嫁，尚书家的哑巴孩子也能吃喝不愁，自在一世；有的说这都是他父亲作孽导致的……听了人们的议论，王阳明的父母亲心里特别不是滋味。
传说这一天，街上来了一位游方和尚，口称专治天生聋哑，并且在王家的门前游转不停。王阳明的父亲当即命人把和尚唤进门来，将王阳明领出，请和尚诊看。这个和尚说是看病，却不切脉，也不开药方，只是用手在王阳明的顶门上轻轻地拍了一下，口中说道：“想得太多了，可以开口了！”这时的王阳明眼睛眨巴了几下，开口大叫：“大和尚，你是客，我是主，我可不做你的徒。”说完就跑到外边玩去了。从此，王阳明就会讲话了。
他虽然能够说话了，但智力很是一般。因为他先前不会说话，智力开发得较晚，自然就显得笨拙一些。可喜的是，王阳明特别知道上进，小小年纪就知道夜以继日地发奋苦读。因此，他的学问长进很快。人们不像以前那样说他是个笨孩子了，而是夸他聪明。
王阳明8岁那年的一天，母亲带着他去附近的大王庙烧香还愿。当时，他头上扎了3根小辫子，一蹦一跳的，煞是可爱。庙里的惠明和尚早先知道小阳明是个哑巴，后来又听说他聪明伶俐，现在很想当面试探一下。于是，和尚趁王阳明的母亲在大殿拜佛时，将他叫到侧殿，要他对对子。和尚先出一对：“轰字三个车，余斗字成斜。车车车，远上寒山石径斜。”王阳明略一思索，当即就对道：“品字三个口，水酉字成酒，口口口，和尚只贪一杯酒。”和尚一听，非常气恼，一把抓住王阳明头上的3根辫子说：“三叉如鼓架。”王阳明毫不示弱，指点着和尚的光头说：“一秃如锣槌。”说完，他哧溜一下跑进三王殿。和尚急忙赶上去，又指着3座佛像说：“三尊佛像，坐象坐虎坐莲花。”王阳明不假思索地说：“一个秃驴，偷鱼偷肉偷女人。”和尚听了，恼羞成怒，抓住王阳明要打。这时王阳明的母亲拜完佛走出来，见和尚动怒，连忙问是怎么回事。和尚把王阳明刚才对的对子说了一遍。王阳明的母亲也觉得自己的孩子太无理，就责怪他不该对出家人不敬。