唐天宝七年(公元748年)秋，著名诗人王昌龄申江宁丞贬为龙标尉，他在黔城东门城墙外兴建了芙蓉楼：作为饮酒赋诗、宴请宾客的地方。现存的芙蓉楼为清乾隆四十年(公元1775年)重建的。
芙蓉楼为古典园林建筑，大门上额书“龙标胜迹：4个楷书大字。泥塑“王少伯送客图”和花墙上的山水禽兽，神态逼真，栩栩如生。门外墙上嵌有一块石碑，上书《芜蓉楼记》。芙蓉楼大门门楼用青砖砌成，高达两丈多，向河岸边倾斜了两尺多而不倒，其斜度超过于意大利比萨斜塔。
整个园林由曲径串连着多处亭台楼阁。主楼芙蓉楼是一座重檐歇山顶木结构建筑，高两层。楼前檐下悬匾上“芙蓉楼”3个金色隶书大字光彩夺目。登上2楼，向西眺望，“小江风月”、“柳溪烟雨”等迷人景色尽收眼底。楼上木柱上刻有一副对联：“楼上题诗，石壁尚留名士迹；江头送客，冰壶如见故人心”。主楼右侧的伴楼称耸翠楼，楼高两层，粉栏朱柱，雄伟壮观。楼内藏有《二龙戏珠》、《双狮争球》等雕刻艺术珍品。
芙蓉楼后有一天然池塘，名为芙蓉池。池内有两座假山，一池游鱼。池边半月亭为一月形长亭、长亭木柱上有“风梳三径草，月浸一池花”的对联。亭左边的一座六角亭名为“冰心玉壶亭”。清道光二十一年(公元1841年)状元龙启瑞将王昌龄诗“一片冰心在玉壶”篆刻成壶形于石上，竖在亭中。
芙蓉楼侧碑廊中，还刊有历代名人题刻80多块。其中有《王昌龄宦楚诗》15首，唐颜真卿所书《麻姑仙坛记》、宋米芾的《石山书院记》、岳飞书写的“墨庄”以及清武陵女史陈梅仙所书篆字16镶等摹刻石碑。
芙蓉楼周围环境清幽，竹木交错，百花丛中芙蓉独艳。王昌龄对芙蓉十分偏爱，诗中常有对芙蓉的描写。后人为纪念王昌龄，在芙蓉楼旁栽种了大片木芙蓉。