有的说，有一次江淹外出乘船停靠在禅灵寺旁边的河里，夜里睡觉的时候梦见一个自称是张景阳的人向他讨回过去借的一匹绸缎，江淹便从怀里拿出自己剩下的几尺绸缎还给了他。从此，江淹的文章水平就大不如前了。
也有人说，有一天江淹在凉亭里睡觉，做了一个梦。梦中有一个叫郭璞的人对他说：“我有一支五色笔放在你那里已经很多年了，现在应该是还给我的时候了。”江淹摸了摸怀里，果然掏出一支五色笔来，于是他就把笔还给了郭璞。从此以后，江淹就再也写不出美妙的文章了。因此，人们都说江郎的才华已经用尽了，人们于是就把这个故事概括为“江郎才尽”。
后来人们就用“江郎才尽”来比喻某人的才思减退或者本领用完的意思。江，江淹；郎，古代人对男子的美称；才，才思，才情；尽，空，完。