有一次，刘秀身边的一个小侍从犯了罪，祭遵查明实情后，依法把这小侍从处以死刑。刘秀知道后，十分生气，想祭遵竟敢处罚他身边的人，欲降罪于祭遵。但马上有人来劝谏刘秀说：“严明军令，本来就是大王的要求。如今祭遵坚守法令，上下一致做得很对。只有像他这样言行一致，号令三军才有威信啊。”刘秀听了觉得有理，非但没有治罪于祭遵，还封他为征虏将军。祭遵为人廉洁，为官清正，处事谨慎，克己奉公，常受到刘秀的赏赐，但他将这些赏赐都拿出来分给手下的人。他自己的生活却十分俭朴，家中也没有多少私人财产。等他年老在安排自己的后事时，他仍嘱咐手下的人，不许铺张浪费，只要用牛车装载自己的尸体和棺木，拉到洛阳草草下葬就可以了。祭遵就是这样一名良臣，即使死后多年，汉光武帝刘秀仍对他十分怀念。
后来人们就把祭遵的这种高尚的精神概括为成语“克己奉公”，用来比喻一个人对己要求严格，一心为公。克己，克制、约束自己；奉公，以公事为重。