鱼类是最低等的颌口类动物，鱼类的化石尽管已发现不少，但鱼类究竟从什么时候和什么动物演化而来的问题至今尚难确切回答，显然，从鳃弓进化出颌弓在鱼类进化中应是一个重要的进展。从化石材料看，在距今大约4亿年的泥盆纪，鱼类的主要类群均已出现，如棘鱼类、盾皮鱼类、软骨鱼类和硬骨鱼类。但一般认为颌的出现和最早的鱼类的进化可以追溯到奥陶纪。
图21—6示鱼类的系统发生。根据化石分析，棘鱼类的数量较同时代的盾皮鱼类少，但棘鱼类生活的时间较盾皮鱼类更长些。棘鱼类可能出现于奥陶纪，化石发现于距今约4.5亿年的地层中，志留纪和泥盆纪时达高峰，绝灭于距今约3亿年前的石炭纪。根据棘鱼类具鲨鱼样的牙和歪形尾，以及现代生存的某些鲨鱼的胚胎具有棘鱼样成排的小的腹鳍（图21—7），有人认为棘鱼类更接近软骨鱼。也有人认为棘鱼更接近硬骨鱼类的祖先——古鳕鱼类，因它具硬骨鳞和鳃盖，以及硬骨的内骨骼。
盾皮鱼类外被有盾形的骨质甲板（图21—7），与甲胄鱼形态近似，但具上下颌、成对的鼻孔偶鳍和歪形尾，骨骼为软骨。包含许多种类，如节颈鱼类（Arthrodira）、褶齿鱼类（Ptyctodontida）、扁平鱼类（Petalichthyida）、硬鲛类（Rhenanida）等。化石发现于志留纪，泥盆纪较发达，至泥盆纪末大部分绝灭，只少数延续至石炭纪。盾皮鱼类的亲缘关系似乎更接近于软骨鱼类，但也有人认为盾皮鱼类的一支演变为软骨鱼类，另一支演化为硬骨鱼类。
由于软骨鱼类化石保留较硬骨鱼少。根据化石鲨与同时代的棘鱼类和盾皮鱼类的解剖结构比较，三者似源自共同祖先。最早的软骨鱼化石是泥盆纪的一些食肉鲨，如裂口鲨（Cla-doselache）。在泥盆纪时期软骨鱼大量辐射发展，到石炭纪时（距今约 2.8亿年至 3.5亿年）在淡水与海水中都很普遍，随后许多祖先类群灭绝，代之以现代软骨鱼。软骨鱼在很早就分为二大线系，即全头类与鲨鳐类。鲨鳐类又因适应不同的生活方式而向2个方向演化，即迅速游泳的鲨类和底栖、少活动的鳐类。软骨鱼在进化中相当保守，有的种类历经约2亿年的时日而很少变化，如现代的噬人鲨（Carcharodon carcharias）与其古代化石种古棘鲨类（Paleospinax）相比，变化不大，现代的扁鲨和六鳃鲨与其侏罗纪的祖先相比，变化也不大。
硬骨鱼类的3个大类群——肺鱼类、总鳍鱼类（包括现代生存的腔棘鱼）和辐鳍鱼类似乎是在距今4.5亿年至4.25亿年间从具颌与偶鳍的共同祖先进化而来。
肺鱼类是一群种类不多的特化淡水鱼，现存的种类只有3个属，不连续地分布于南美洲、非洲和澳洲3个地区。这个事实足以说明肺鱼类在古代的生活范围是非常广泛的。我国四川就发现过四川角齿鱼（Ceratodus szechuanensis）。
古总鳍鱼类具有内鼻孔、能作肺用的鳔和能上陆地运动的肉叶状偶鳍，这就使它们能够爬越干涸的泥洼进入新的水域去生活。有的种类经常这样爬越陆地、呼吸空气，结果发展成为最初的陆生脊椎动物，即两栖动物。另外一些种类不能坚持这种生活而向海洋迁移，但是在海中它们竞争不过数量既多而适应能力又强的古鳕类，终于在中生代的后期，绝大部分受淘汰而绝灭，只有极少数种类的腔棘鱼类（Coelacanths）如矛尾鱼、马兰鱼等留存到今天成为“活化石”。
总鳍鱼中有一种骨鳞鱼（Osteolepis），其脑颅骨片的排列式样、牙齿的类型、偶鳍骨骼的结构等都和古两栖类非常近似，因此，可以认为像骨鳞鱼这样的鱼类很可能就是两栖类的直接祖先。
如图21—6所示，辐鳍鱼类由泥盆纪进化至今大致经历了3个相互承替的阶段：最早的辐鳍鱼类为软骨硬鳞类，以古鳕鱼类（Palaeoniscoidea）为代表，出现于泥盆纪的淡水水域，石炭纪达全盛期，到三叠纪为全骨类所替代，全骨类来自软骨硬鳞类，大部分中生代时期为全骨类繁盛时期，在淡水与海水中进行分支进化，现代的全骨类代表有雀鳝与弓鳍鱼。在中生代早期由全骨类发展出真骨类，开始了辐鳍鱼进化的第三阶段，真骨类自中生代后期至今进行了大量的适应辐射，形成各种生态类型。尽管真骨类鱼种类与形态繁多，但大多数鱼类学家相信，各种真骨鱼类是来自全骨类中的一个目。
4亿年前的泥盆纪世界各地海陆分布发生了巨大的变化：许多地区经过造山运动、造陆运动，形成了新的山系、高原和盆地，使地貌和气候也发生了巨大的变化。大陆面积增加，气候干燥炎热，引起了生物界的变革，鱼类自然也不例外。当时，作为淡水栖息动物的鱼类，常常遭遇到湖沼枯竭、河川断流、水域日益变小和变热的困境，不能适应的种类，逐渐归于绝灭。通过自然选择，产生了2种适应的方式，使鱼类得以保存下来，滋生繁衍，直到今天。一是由陆地淡水水域迁居海中；二是体内长出能行气呼吸的“肺脏”，必要时可以代替鳃的功能。
早期软骨鱼类，采用了第一种适应方式，即由淡水迁入海水，过海洋的生活。这样，虽然得到了丰裕的水环境，但是由淡水转入海水，是由低渗的水环境转入高渗的水环境，入海的软骨鱼首先遇到的问题，就是体内的水分要不断向外渗透出来。能防止这种渗透的种类才能留存后代，这样长期适应的结果，软骨鱼就有了一种调节自身渗透压的能力，能将含氮的代谢废物转变成尿素，以2％～2.5％的浓度保存在血液中，基本上维持了体内外水液调节的平衡，因此能在海中延续生命，繁殖种族。
软骨鱼的卵还保留着一些原来在淡水中的特性，其内液与海水比较，属于低渗，所以软骨鱼不能把卵无保护的产在海水里。它们的卵或者是在产出时有不透水的卵壳包着，壳内存有液体，供受精卵在其中发育，或者根本不产出来，留在母体内发育，表现为卵胎生或（假）胎生。软骨鱼类的雄体具有鳍脚，可以进行体内受精，这样就避免了卵直接和海水接触。
早期硬骨鱼类，采取了第二种适应方式，即咽部向体腔内长出一对囊状突起，作为原始的“肺脏”，借此可于鳃呼吸困难时进行气呼吸。硬骨鱼类一般体被鳞片，除有保护作用以外，还有抗旱的作用。