“冯·诺依曼的记忆力是惊人的，但只适用于他极为专注的事。15年前读过的《双城记》(Tale of Two Cities)或者《大英百科全书》(Encyclopaedia Britannica)中有启示性的条目，他可以一整页一整页一字不差地背下来。这是因为他第一次阅读时就极为专注；当时，他打算移居美国，正努力获得英语语感。但如果他烦了，就会立即断电。这也就是为什么他有时会令人困惑地心不在焉，他也因此常常认不出前一天刚刚见过的名人。
　　
　　“冯·诺依曼记忆力的最大用途在于他在脑海里塞满了数量空前的数学常数和等式。一般人脑子里没几个数学常数，或许只有12以内的乘法表。冯·诺依曼曼脑子里是层层叠叠的代数表述，这也是他心算能力超强的原因所在。实际上，对于八位数与八位数的乘法计算，他并不比其他数学家强多少——当然，强过那些玩数字杂耍的小丑。但是，他利用积累的数学常数和等式使自己成为令人惊叹的解决问题的能手和杰出的概念拓展者。当洛斯阿拉莫斯或其他地方的科学团体听说冯·诺依曼要来时都会把他们的高等数学问题一个个列出来，就像靶场里的鸭子一样，专等冯·诺依曼来一个个把它们打翻在地”。”
　　
　　“冯·诺依曼的概念拓展能力更强。冯·诺依曼的助手比奇洛(Julian Bigelow)说，假如你给冯·诺依曼一个建议，“没一会儿他就已经超过你一大截了”。研究生有时候觉得自己在“骑着自行车追赶一辆载着冯·诺依曼博士的快速列车……他对(别人的）原创思想的奇异拓展如同泉涌”。冯·诺依曼的许多成绩都来自类似的概念拓展,与原创者的摩擦也往往因此发生。”
　　
　　“在做这些计算时，冯·诺依曼的行为有些怪僻,尽管后来经人提醒有所改观。当他坐着计算时，往往会两眼盯着天花板，口中念念有词，面无表情，有点吓人。一次，兰德公司向他咨询，询问他的计算机是否可以完善以解决某一个特定的、目前的计算机无力应付的问题，兰德的工作人员在黑板上乂写又画地解释了两个小时。据那位兰德公司的科学家说（参见《生活》杂志讣告），”
　　
　　“有两三分钟的时间,冯·诺依曼两眼直勾勾的，就仿佛灵魂出窍一般。然后，他说：“先生们，不用计算机了，答案我有了。”那位科学家呆若木鸡，默默地聆听冯·诺依曼口若悬河地一步一步解释解决问题的方案……这样的挑战司空见惯，完成任务后，冯·诺依曼往往会提议：一起去吃午饭吧。
　　
　　一家研究机构曾将一个问题提交给冯·诺依曼，让他心算解决。之前，这个问题令一个职员用计算器花了大半个晚上才算出了结果。冯·诺依曼拿到问题后，两眼盯着天花板说:“第一步计算……”他咕哝到一半时，那位职员暗示正确的结果如此如此。冯·诺依曼继续咕哝着，然后惊异地说:“你说的对。”后来，有人解释说，那位职员用了几个小时，而他只用了五分钟。”