钟楼原是元代万宁寺中心阁，明永乐十八年（公元1420年）改建为钟楼，后毁于大火。清乾隆十年（公元1745年）重修，全部用砖石建造，用12年时间建成，有御制重建钟楼碑，用满汉两种文字记述重建钟楼的经过。重修的钟楼高47.95米，灰墙绿瓦，楼下部四面各有一券门，后面偏东处有一小门，筑有石梯，可通楼顶。楼顶四周有汉白玉石栏。楼的上部除四面都有券门外，每门两旁各用石雕一窗户作为装饰。钟亭中央悬挂一大铜钟，钟总高度为5.55米，钟口直径为3.40米，总重量为63吨。其直径、重量以及钟龄，均超过存于北京大钟寺被称为钟王的永乐大钟，成为北京乃至全国古钟之最。最初，钟楼上挂的是一口高4.2米的大铁钟，因声音不够洪亮，又铸这口大铜钟换上。铁钟卸下后一直放在楼后地上，1983年才移置到大钟寺古钟博物馆内保存。
鼓楼在钟楼南100多米处，建于元至元九年（公元1273年），名齐政楼，是元大都中心。明永乐十八年与钟楼同时重建，是一座单体建筑，建在4米高的砖石台基上。此楼红墙绿瓦，是五开间重檐歇山顶木结构城楼，高45米多，楼下南北各开三个券门，左右各有一个券门。楼后侧有一蹬道小门，69级台阶，由此可登上楼殿。楼上原是漏壶室，是放置漏壶和更鼓的地方，有一面大鼓，24面小鼓，象征1年24个节气。漏壶是古代计时器，相传鼓楼漏壶是宋代遗物，可惜早已不知去向，明末清初时已改用辰香代之。楼上更鼓仓库存一面，高2米，直径1.5米，需用整张牛皮蒙制鼓上有多处刀痕，是1900年八国联军入侵北京时所为。1911年以后，鼓楼曾改名为明耻楼，楼上有八国联军罪行展览。
钟鼓楼在元明清三代是北京的报时中心，敲鼓报时主要以铜壶滴漏为依据，清朝时改为辰香计时。每夜向全城报时5次，初更和五更先敲鼓，后鸣钟，共108响。二更、三更、四更只鸣钟，各为2、3、4响。全城文武百官上朝、百姓每日的作息时间都以此为准。
钟鼓楼都曾于80年代进行过全面整修，是北京市文物保护单位之一。