位于大明湖南门的是具有江南风格的庭院建筑——遐园，为清宣统元年(公元1909年)山东提学使罗正钧创办山东省图书馆时所建，“遐园”为罗正钧题。园内古木葱笼，山石嶙峋、曲水虹桥、亭台回廊错落有致，玉带河萦绕园中，浩然亭雄踞其上。园内西北角长廊的墙壁上，嵌有宋以来的许多石刻，其中有岳飞书写的诸葛亮的前后《出师表》，笔力道劲豪放，字如其人。
历下亭位于大明湖湖心岛上。约建于北魏，原在五龙潭附近，名叫“客亭”，唐天宝四年(公元745年)杜甫来济南，与书法家北海太守李邕相会，留下了《陪李北海宴历下亭》诗。北宋以后历下亭移建大明湖南岸。清康熙三十二年(公元1693年)济南知府李兴祖在众人的资助下，重建历下亭并移至湖心，亭为八角重檐，中悬清高宗弘“历下亭”木匾。亭前“海右此亭古，济南名士多”楹联是杜甫诗，何绍基书。亭后“名士轩”，正厅五间，门前抱柱有郭沫若撰书一联“杨柳春风万方极乐，芙蕖秋月一片光明”；厅内两壁嵌有杜甫、李邕石刻画像，神态自然，栩栩如生。历下亭四面环水，绿柳环绕，垂柳飘拂，芳芳如茵。
北极阁位于大明湖东北岸，是座道教庙宇。始建于元代，明永乐年间重修。这组建筑由钟鼓楼、前后两殿及东西配房组成。庙内遗存有元、明、清各代塑像，尤以元代铜铸龟蛇像最为生动，具有很高的艺术价值，惜遭破坏。前殿内正中为真武帝君像；还有四天君、青龙、仙真、风伯、雷公、白虎、仙曹、雨师、电母等18尊塑像，个个目光炯炯；神采飞扬；后殿有真武父母像。北极阁筑于高台之上，气魄雄伟，站在高台上。举目远眺，远处群山连绵，近处楼阁烟树，恰似江南景色入画图。
占人有诗赞曰：“星临北极俯尘埃，形势嵯峨喜壮哉！万树风景缘阁入，一湖山色抱城来”。
南丰祠是为纪念宋代文学家曾巩修建的。曾巩，江西太丰人，世称南丰先生，文才卓著，为唐宋八大家之一，著有《元丰类稿》等书。曾巩曾任济南太守，宋神宗熙宁年间，济南水灾为患，他兴修水利，筑水北门，引湖水人小清河；奠定了今天大明湖的基础。后人为了纪念他，修建了南丰祠。
铁公祠是为纪念铁铉而修建。铁公即铁铉，河南邓州(今邓县)人，官至兵部尚书，明惠帝时任山东参政。明成祖（燕王朱棣）起为南下夺取王位，铁铉抵制，死守济南；屡挫燕兵。朱棣破南京即位后、酷刑处死了铁铉。
铁公祠是大明湖的主要风景区，与其他庭园迥异。它的临水长廊、亭榭与垂柳互相掩映，景致分外窈窕；站在小沧浪亭极目远眺，开阔的湖面干佛山倒映水中，犹如一幅天然的山水长卷。小沧浪亭上的对联：“四面荷花三面柳，一城山色半城湖”恰似这幅山水画的题诗。
大明湖公园内还有纪念著名抗金英雄、爱国词人辛弃疾的“稼轩构”，正中的匾额系陈毅同志所题。