我国省级行政单位的名称多是历史上逐渐形成的，有的与山、河、湖有关。
例如贵州省以境内贵山得名，云南省在云岭以南而得名，山东、山西是因为分别在太行山以东和以西而得名；河南、河北是因为分别在黄河南北而得名；湖南、湖北则是因为分别在洞庭湖以南和以北而得名；黑龙江省因大河黑龙江而得名；辽宁省以辽河得名；浙江省因钱塘江（又名浙江）而得名；青海省因境内青海湖而得名等。有的与其他地名有关，例如吉林省以省内吉林城得名，陕西省因位于陕原（今陕县一带）以西而得名，甘肃省旧以甘州（今张掖）、肃州（今酒泉）两地首字得名，江苏省以江宁、苏州两地首字得名，安徽省旧以安庆、徽州两地首字得名，福建省旧以福州、建瓯两地首字得名。
各省、市、自治区的简称，大致有三种情况：
（1）取全名中的一个字或几个字作简称，例如黑、吉、辽、京、津、苏、浙、台、川、云、藏、陕、甘、宁、青、新、内蒙古；
（2）因境内重要河流而得名，例如湖南、江西，因湘江和赣江而分别简称湘、赣；
（3）取历史地名作简称，例如河北因部分地区历史上长期属于冀州而简称冀；山西、山东因部分地区在春秋时分别为晋国、鲁国领地，而简称晋、鲁；陕西省在战国时期属秦国辖地，故又简称秦；相传上海境内的吴淞江下游近海一段古称沪渎，所以上海市简称沪。