我国的大江大河大都是从西往东横向流动的。在现代陆路交通工具还没有出现的情况下，开辟一条纵贯南北的水路运输，是很必要的。特别是在结束南北朝分裂局面，隋朝实现了全国统一之后，更显得十分必要了。当时，隋朝的政治和军事中心在北方，而南方江淮地区的经济却有了很大的发展。北方城市所需要的物资，特别是粮食，有很大一部分要依靠江淮地区供应。怎样把这些粮食源源不断地运到北方地区，这是摆在统治阶级面前必须解决的重大问题。大量的物资要从江淮运到长安，甚至运到北方边疆的军事重镇，采取什么运输方式好呢？当时陆上运输只有骡马大车和肩扛人挑，运输速度缓慢，运输量又小，费用和消耗却甚大，不能满足统治阶级的需求。只有利用水道运输，才能完成这项任务。所以，当时开凿运河是时代的需要和历史的必然，不能把隋炀帝杨广这个暴君穷奢极欲，爱好游玩，当成主要原因。
但是，开凿运河的艰巨工程对劳动人民却是一场灾难。隋炀帝强征几百万民工修筑运河，严重地破坏了生产，使成千上万的民工惨死在运河工地上。晚唐文人韩偓［Wò卧］写的《开河记》中描写了修河民工的悲惨生活。文中写道，隋炀帝派遣了酷吏麻叔谋主管修河，强制天下15岁以上的丁男都要服役，共征发了360万人。同时又从五家抽一人，或老，或少，或女子，担负供应民工的伙食炊事。隋炀帝还派出了五万名彪形大汉，各执刑杖，作为督促民工劳动的监工。因为劳动负担很重，监工督责太急，动不动就用棍棒毒打，所以不到一年，360万民工死者竟达250万人。
在我国历史上，京杭大运河的开凿工程主要经历了三个时期：
第一个时期是东周春秋时期。位于东南吴国的国王夫差，为了争霸中原，向北扩张势力，在公元前486年引长江水经瓜洲（今江苏省邗江县南部）北入淮河。这条联系江、淮的运河，从瓜洲到末口（今淮安附近），当时称为邗沟，长约150公里。这条运河就是京杭大运河的起源，是大运河最早的一段河道。后来，秦、汉、魏、晋和南北朝又相继延伸了河道。
第二个时期是隋朝时期。公元六世纪末到七世纪初，大体在邗沟的基础上拓宽、裁直，形成大运河的中段，取名曰山阳渎。在长江以南，完成了江南运河，这是大运河的南段。实际上，江南运河的雏形已经存在，并且早就用于漕运。“漕”是利用水路运送漕米到集中地点的意思。漕运是我国历史上一项重要的经济制度，用今天的话来说，就是利用水道（河道或海道）调运粮食（主要是公粮）的一种专业运输。我国的封建王朝，向农户征收地租和田赋，在很长时期内，采取征收实物的办法。这些王朝又大都建都在西北和北方的城市，而附近地区所产的粮食，不能满足京城的需要。因此，把其他地区征收的粮食调运到京城，就成为一项重要的政治措施，为封建统治者所重视。在这种情况下，漕运在我国历史上形成过一套较完整的制度，并有相应的一套管理系统。漕运用的船，叫做漕船。漕船载运的粮、米，叫做漕粮、漕米。驾驶漕船的军队和民工，叫做漕军、漕丁和漕夫。许多朝代都设专管漕运的官员。远在秦汉时代，我国史书就已经有了关于漕运的记载，到了隋朝，漕运更有了进一步的发展。
公元605年，隋炀帝杨广下令开凿一条贯通南北的大运河。这时主要是开凿通济渠和永济渠。黄河南岸的通济渠工程，是在洛阳附近引黄河的水，行向东南，进入汴水（今已湮塞），沟通黄、淮两大河流的水运。通济渠又叫御河，是黄河、汴水和淮河三条河流水路沟通的开始。隋朝的都城是长安，所以当时的主要漕运路线是：沿江南运河到京口（今镇江）渡长江，再顺山阳渎北上，进而转入通济渠，逆黄河、渭河向上，最后抵达长安。黄河以北开凿的永济渠，是利用沁水、淇水、卫河等河为水源，引水通航，在天津西北利用芦沟（永定河），直达涿郡（今北京）的运河。