牛首山坐落在宁厦回族自治区吴忠市西南20公里处，因山势由武英、方华两峰组成，形如牛头上的犄角，故名牛首山。牛首山寺就建在武英峰顶，相传这里曾是释迦牟尼会诸佛众生说法讲道的地方，并有《大乘经》藏于寺中。民国年间重修，改名为大西天寺。大西天寺和小西天寺、清凉寺、三圣寺、地藏寺等45处寺院，共同组成了牛首山寺，并分为东寺和西寺两处庙群。
西寺各组建筑物建在牛首山文华武英二峰及西麓的幽谷之中。各建筑物前临深沟，背靠青峰，在沟谷两侧依山势开凿庙台，台院以石砌筑，沟内万木葱笼，寺庙殿宇错落其间，建筑群枕山面河。西寺共有建筑25处，分为4组。第一组在文华武英峰巅及其附近，有大西天、小西天、净西寺、药王庙、倒坐观音台、老君台、三圣宫、清凉寺、古佛寺、三圣寺、净土寺；第三组在牛首山西南脚下，有极乐寺、大鸿庙、观音台；第四组在牛首山西北的黄河边，有地涌塔寺、地藏寺、孙家寺等。其中地涌塔寺是贺兰山西边蒙古族朝拜。西寺所有的寺庙皆依山峦走向、沟谷形势自下而下修建，其布局别具匠心。在牛首山西麓的三塔坪，傍晚夕阳西下时，还可以看“河曲映日”的自然奇观：在黄河岸边出现3个太阳，呈“品”字形，中间的一个略高，并和左右的两个相连；有时是一长串太阳的影像，或者是一大片光团。如今，这里已成为牛首山寺的著名景观。
在西寺向东约5公里的寺庙建筑群称为东寺。东寺以金塔寺为中心，前为娘娘庙，北面的山坳处是大鸿庵，岸上是保安寺，由保安寺向东的山巅上是晴峰寺，半山腰有苦工庙。沿山坡南行排列着药王殿、睡佛洞、还魂堂，山顶上有观音堂。再向西排列着三佛殿、四量庵、西方镜。西方镜西是龙泉寺，寺下有清泉流出。龙泉寺上面为山神庙、十王殿，顺山谷而上，至山顶有太阳宫、无量殿。
牛首山寺庙建筑多半就地取材，垒石为坦，伐木作栋，泥塑金身栩栩如生，是宁夏境内规模最大的寺庙建筑群，远近闻名的佛教胜地。