白云观总建筑面积约1万平方米，创建于唐玄宗开元二十七年（公元739年），原名天长观。明洪武二十七年（公元1394年）改今名。白云观在元、明两代曾多次毁于火灾，又多次修复。明代末年又毁于火后，于清康熙四十五年（公元1706年）重新修复。此后，乾隆、光绪年间都曾进行过修缮。所以现存白云观的建筑，大多是清代重修的，体现的是清代道观的建筑形体，是一所纯中国式的建筑物，由数进四合院组成，中轴线上有牌楼、山门、灵宫殿、玉皇殿、七真殿、丘祖殿、四御殿并三清阁。两侧还有钟鼓方楼、华祖殿、真武殿、南极殿、八仙殿等殿堂，在四御殿后，是一座幽雅秀丽的花园。
白云观的大门是一座飞檐高耸、雕梁画柱的牌坊叫七层灵星门，门前一双石狮面南分立两旁，门内庭院两侧各有一排配房，正北有两尊华表拱护在一座白色山门前，上悬一幅黄沿蓝底横匾，上镌清乾隆皇帝手书“敕建白云观”。
白云观主殿的丘祖殿，丘祖是金代的著名道教领袖丘处机，是历代道徒景仰的道教人物，他的遗骸就葬在此殿内，殿里供有他的塑像，是明代塑造，身穿道袍，物持如意。
在老律堂西侧一棵粗大的古槐旁，有一匹铜骡，远看又似一匹骏马，此物驴面、马耳、牛蹄、骡尾，是一个符其实的“四不像”，在这里叫“特”，它的鞍座和搭腰上精雕细刻着古钱、云龙、花卉等图案。有人说它是康熙当年的坐骑，曾伴随康熙南征北战，康熙为了纪念它，命人铸造了这个“铜特”。有人说因它身上刻有古钱和云龙，故隐含着“乾隆”二字，是乾隆皇帝所赐之物。更有一种离奇的传说，说它有祛病免灾之能，头痛摸其头，肚痛摸其腹，病可痊愈。其实“四不象”这种真实的动物只有中国才有，明清时饲养在北京的南苑，叫糜鹿。
白云观后花园也叫后圃，由三个庭院连接而成。其中有云集山房、戒台、角楼等建筑。园中布满太湖石并筑有“神仙洞府”，楼阁亭台，绿树浓荫，景色宜人，故有“小蓬莱”之称。
白云观内还藏有大量历代石刻、经卷、碑帖，其中明版的《正统道藏》多达5千余卷，属海内孤本，是研究我国道教历史的重要资料。