古尔德进一步指出，无论基因的功能多么强大，自私的意愿是多么的裸露，但那仍只是存在于细胞中的一小段dna而已。自然选择的对象只能是身体。因为身体更强壮，或外貌对异性更有吸引力，以及诸如此类的因素综合起来，才使得身体被自然选择所保存下来。然而，身体的这些特征，比如英俊的相貌，并不是某个基因单独的产物，身体特征和基因之间不存在一一对应的关系。某一特征很可能是由成百上千个基因合作的成果，你让自然选谁不选谁好呢？并且，有的基因的影响是要通过外界环境的作用才能表现出来的，同样一套基因，在一个环境中会长成一副模样，在另一个环境中可能又是另外一副模样，比如鳝鱼，甚至连性别都受到环境的影响，随着水温的不同，可能会长成雄性，也可能会长成雌性。这些都表明，基因对身体的控制力在某些方面是相当有限的。不同环境下长成的身体会接受不同的自然选择，结果自然也不同；而根据基因选择论，它们被选择的结果应该是相同的，因为它们的基因相同。
另外，自然选择应该是一个身体的整体，而不是身体的各个部分。一个人如果有两条擅长奔跑的腿，但脑部的运动神经却发育不良，那么，控制优秀的腿的基因就不会受到自然选择的青睐，它会随着这个身体的其他基因一道而被淘汰掉。所以单个的基因是无法谈及适应与否的，只能把所有的基因放到一起，让它们相互作用，然后产生一个总体的效果——身体以后，对自然的适应才有意义。
所以，古尔德得出结论，单独地看每个基因的自私性是没有道理的，基因必须与其他基因合作，并协调一致，这才有可能达到自己的目的。然而，所有基因协调一致的通力合作的结果，那就是一个身体。因此，自然选择只能发生在个体水平上，而不是基因水平上。
现在已发现，真核细胞内存在大量不表达成蛋白质的所谓假基因，也有大量不断重复的序列，有的基因根本看不出有任何功能，但它们也随着其他基因一代代地向下传递。如果自然会在基因之间作出选择的话，那么，这些无用基因何以得到保存呢？如果只把它们看作是基因水平的寄生虫，则未免太过拟人化。
细胞内的基因成分的复杂程度与生物进化速度呈负相关，基因越多的生物似乎进化得越慢，其中大量不表达蛋白的基因到底起到了什么作用，仍有待进一步研究，就此给它们戴上一个自私的和寄生的帽子，显得有些唐突和失之公允。
当然，个体选择理论也有自己的困难。当“优胜劣汰”和“适者生存”这样熟悉的经典词汇被一再提起时，其实是在清楚地表达一种信念：自然选择是发生在个体水平上的，个体是适应的，它就会生存下去，并且繁殖，否则就是不适应的，就会被自然所淘汰。这种经典的表述正是达尔文自己的意思。
这种表述也要面对好几个非难，其中一个难以回答的问题就是：到底什么是适者？有标准吗？个体成功的标志到底是什么？让刘翔、乔丹和布勃卡这三个飞人在一起比优劣，很难说哪个飞人更优秀些。标准不同，将会得出不同的结果。那么谁才是真正的适者？
从逻辑上来说，同类的东西才有可比性，狮子和老虎就不适合拿到一起比较。同理，内蒙古草原上的兔子和山东庄稼地里的兔子也不能硬被扔在一起强行比较。这是一个很棘手的问题，无论如何处理，总会有大大小小的漏洞出现。因此，也造成了几乎所有人给出的答案都会受到其他人的白眼这一难堪的局面。
有人认为，生活得越好的个体就越优秀，这种说法用人为例来进行论证是再适合不过了。白领阶层大致是生活得比民工要好，似乎人们也认为白领要比民工优秀。如果再追问一句，吃得好住得好穿得好用得好就是优秀吗？为什么？这似乎就很难再给出更好的答案了。你吃山珍海味，我整天吃糠咽菜；你绫罗绸缎，我粗布麻衣；你高楼大厦，我陋室一间，这又怎么样？我们都活下来了，谁比谁次了？
有两类兔子，也是解答这个问题的好例子。一类兔子注重生活质量，比较贪嘴，看到有鲜嫩的草就埋头死吃，根本不理会周围的动静，这种没出息的兔子无疑吃得是比较爽的那一种，只可惜很容易在正吃得心满意足的时候被捕食者猎杀。另一类兔子比较机警，会一边吃草一边竖起耳朵保持高度警惕，不时地还会抬起头来四处张望。这类兔子在单位时间内抢到嘴里的草料当然比不上第一类兔子，但是在危机四伏的原野，警惕的兔子活下去的机会肯定会大一些。