霍光虽然掌握着大权，霍氏一门也被封为三侯，但是霍光的老婆仍然感到不满足。她为了使自己的小女儿成为皇后，竟然勾结御医杀害了许皇后。霍光为了避免杀身之祸，就利用职权袒护了自己的老婆。
公元前68年，霍光死后，当时的御史大夫魏相建议汉宣帝逐步削弱霍氏的权力。汉宣帝便听从了魏相的建议，逐步采取措施，最终罢免了霍氏三侯的爵位，并对魏相更加重用，不久就封他为丞相。这更加引起了霍氏家族对魏相的怨恨和害怕，他们计划假借太后的命令，先杀死魏相，然后再废弃汉宣帝。汉宣帝得知消息后，马上行动，将霍氏满门抄斩。
从此以后，汉宣帝开始亲自处理朝政，他决心振奋精神，力图把国家治理得繁荣富强。（原文是：“宣帝始亲万机，励精为治。”）汉宣帝在位二十五年，由于他的努力，使得原来衰败的西汉王朝重新强盛了起来。
成语“励精图治”由“励精为治”演变而来，表示振奋精神，想办法治理好国家。励，奋勉；图，设法；治，治理好国家。