金山寺始建于东晋，原名泽心寺，宋代因皇帝梦游金山，改名龙游寺。清代康熙帝南巡，驻跸镇江，御笔赐书“江天禅增”4字。后来唐代丞相裴休之子裴头陀，法号法海，游方到金山，发现东晋所建的庙宇已全部毁坏，就在一个山洞里住下(后人称此洞为法海洞)，立誓修复此处庙宇。一次他在山上挖到一批金砖。皇帝效令用金砖作修庙宇之用，并救名金山寺，后人称法海为“开山裴祖”。
历史上的金山寺规模宏伟，全盛时有和尚3000多人。原有殿堂僧舍300多间，主要建筑有天王殿、大雄宝殿、藏经楼、方丈处和二台、四阁、六楼、四亭、一塔等。此处寺庙依山而建，布局别具一格，从山脚到山顶，殿堂层层，楼台幢幢，错落有致，栉比相衔，把山密密地包裹起来。山寺浑然一体。索有“焦山山裹寺，金山寺裹山”的评价。北京颐和园万寿山在筑山时吸取了金山的特点，承德避暑山庄的金山亭就是仿金山的“天宇咸畅”一景建造的，扬州瘦西湖也有一组被称为“小金山”的山景。金山寺自建成以后，曾多次毁于火灾和战争，现在的金山寺是新中国成立后重新整修扩建的。较著名的古迹有妙高台、七峰亭、留云亭、楞枷台、慈寿塔、郭璞墓、天下第一泉等。
在金山之巅有一座古塔，名慈寿塔，也称金山塔，始建于南朝，原为双塔，明万历二年改建为一塔，现存的塔是清代所建，为砖木结构，七级八面，高30米，是金山寺的象征。塔的每一层都有走廊和栏杆。四面通风。层层风光不一。面面景色各异。在塔的最高层，往东可见一泻千里的长江，北固山的甘露寺和寺旁的铁塔；南可见十里长山，峰峦叠翠；西眺水天相连，金波万顷；北望瓜州古渡和扬州古城。
七峰亭在金山寺西侧的金鳌上，重檐飞翘，造型古雅。相传南宋抗金名将岳飞曾在金山寺投宿，后人为了纪念他，便在此兴建了七峰阁。后来七峰阁毁于火灾，全国解放后改建为七峰亭，仍有纪念岳飞的意思。
留云亭坐落在金山的最高峰，因此又称“江天一览”亭，亭内立一块巨碑，碑上刻着清康熙帘所题的“江天一览”4个大字。捞说康熙登临金山，很欣赏这里的壮丽景色，情不自禁地感叹“江天一览”。此处可俯视金山诸景，更可远望四周的山光水色。
天下第一泉在金山西麓，自唐代起至今，盛名不衰。后人在泉的四周砌成石栏方池，池旁建有楼阁，取名鉴亭。“天下第一泉”5个苍劲有力的大字为清代书法家王仁堪所书。
金山不仅以寺闻名，而且以洞著称，较为有名的是朝阳洞、白龙洞：、法海洞、罗汉洞等。白龙洞深处塑有白娘子和小青的白玉石像，法海洞中有法海和尚盘膝静坐的塑像。
由于金山风光绮丽，金山寺建筑宏伟，自唐以后，许多文人墨客纷纷来此游览，范仲淹、欧阳修、王安石、陆游、唐寅等约200多人来过金山，留下许多赞美的诗篇。此外历代皇帝也有11人到过金山。