由于褶皱和断层作用剧烈，加之外力作用的长期侵蚀切割，地形显得十分破碎，海岸曲折多港湾。山地约占全国面积的76%。北海道和本州北部的山脉多为南北走向，四国和本州南部的山脉成东西走向，两者相汇于本州中部，称“中央山结”，为全国地势最高地区，其中有著名的富士山。富士山海拔3 776米，是一座活火山，也是全国最高峰。富士山最近一次爆发发生在1707年，现在仍有喷气现象，其山体呈标准圆锥形，山顶终年积雪，有温泉、瀑布，北有富士五湖，风景优美，日本人称之为“圣岳”。
平原仅占全国面积24%，大多零星分布在大河的下游和沿海地区。全国最大而著名的平原是东京附近的关东平原，面积15770平方千米；其次是名古屋附近的浓尾平原，大阪、京都附近的畿内平原等。