有一次，汉武帝说要施行儒家的仁义之政，为老百姓办好事了。没等皇帝把话说完，汲黯就说：“陛下内心里那么贪婪多欲，表面上却要装得实行仁政，这是何苦呢？”一句话把皇帝噎了回去。汉武帝登时脸色大变，宣布罢朝，满朝文武都为汲黯捏着一把汗，担心他会因此招来大祸。武帝回到宫里以后，对身边的人说，汲黯这个人也未免太粗太直了。
从此以后，汲黯的官职再也没有提升。他当主爵都尉的时候，公孙弘、张汤都还是不起眼的小官。后来，他们一个劲儿住上升，公孙弘当上了丞相，张汤做上了御史大夫，可他汲黯还蹲在原地没动窝。有一天，汲黯对汉武帝说：“陛下使用群臣，跟劈柴一样，越是后来的越放在上面啊！”（原文是：“陛下用群臣，如积薪耳，后来者居上。”）汉武帝当然听得出这是发牢骚。于是，他转脸对臣下们说：“人真是不能不学习啊！你们听汲黯说话，越来越离谱了！”
后来人们将汲黯的比喻概括成成语“后来居上”，但是意义却发生了改变，用来形容后起的可以胜过先前的。