在我国历史上，大运河的开凿工程主要经历了三个时期：
第一个时期是东周春秋时期。位于东南吴国的国王夫差，为了争霸中原，向北扩张势力，在公元前486年引长江水经瓜洲(今江苏省邗江县南部)北入淮河。这条联系江、淮的运河，从瓜洲到末口(今淮安附近)，当时称为邗沟，长约150公里。这条运河就是京杭大运河的起源，是大运河最早的一段河道。后来，秦、汉、魏、晋和南北朝又相继延伸了河道。
第二个时期是隋朝时期。公元六世纪末到七世纪初，大体在邗沟的基础上拓宽、裁直，形成大运河的中段，取名曰山阳渎。在长江以南，完成了江南运河，这是大运河的南段。实际上，江南运河的雏形已经存在，并且早就用于漕运。“漕”是利用水路运送漕米到集中地点的意思。漕运是我国历史上一项重要的经济制度，用今天的话来说，就是利用水道(河道或海道)调运粮食(主要是公粮)的一种专业运输。我国的封建王朝，向农户征收地租和田赋，在很长时期内，采取征收实物的办法。这些王朝又大都建都在西北和北方的城市，而附近地区所产的粮食，不能满足京城的需要。因此，把其他地区征收的粮食调运到京城，就成为一项重要的政治措施，为封建统治者所重视。在这种情况下，漕运在我国历史上形成过一套较完整的制度，并有相应的一套管理系统。漕运用的船，叫做漕船。漕船载运的粮、米，叫做漕粮、漕米。驾驶漕船的军队和民工，叫做漕军、漕丁和漕夫。许多朝代都设专管漕运的官员。远在秦汉时代，我国史书就已经有了关于漕运的记载，到了隋朝，漕运更有了进一步的发展。
公元605年，隋炀帝杨广下令开凿一条贯通南北的大运河。这时主要是开凿通济渠和永济渠。黄河南岸的通济渠工程，是在洛阳附近引黄河的水，行向东南，进入汴水(今已湮塞)，沟通黄、淮两大河流的水运。通济渠又叫御河，是黄河、汴水和淮河三条河流水路沟通的开始。隋朝的都城是长安，所以当时的主要漕运路线是：沿江南运河到京口(今镇江)渡长江，再顺山阳渎北上，进而转入通济渠，逆黄河、渭河向上，最后抵达长安。黄河以北开凿的永济渠，是利用沁水、淇水、卫河等河为水源，引水通航，在天津西北利用芦沟(永定河)，直达涿郡(今北京)的运河。
下面我们具体介绍一下隋朝修筑大运河的几项重要工程：
一是开凿东通黄河的广通渠。隋朝开始修建的一条重要的运河是从长安东通黄河的广通渠。隋初以长安为都。从长安东到黄河，西汉时有两条水道，一条是自然河道渭水，另一条是汉朝修建的人工河道漕渠。渭水流浅沙深，河道弯曲，不便航行。由于东汉迁都洛阳，漕渠失修，早已湮废。隋朝只有从头开凿新渠。开皇元年(公元581年)隋文帝即命大将郭衍为开漕渠大监，负责改善长安、黄河间的水运。但建成的富民渠仍难满足东粮西运的需要，三年后又不得不再一次动工改建。这次改建，要求将渠道凿得又深又宽，可以通航“方舟巨舫”。改建工作由杰出的工程专家宇文恺主持。在水工们的努力下，工程进展顺利，当年竣工。新渠仍以渭水为主要水源，自大兴城(今西安市)至潼关长达300余里，命名为广通渠。新渠的运输量大大超过旧渠，除能满足关中用粮外，还有很大富余。
二是整治南通江淮的御河。隋炀帝即位后，政治中心由长安东移洛阳，很需要改善黄河、淮河、长江间的水上交通，以便南粮北运和加强对东南地区的控制。大业元年(公元605年)，命宇文恺负责营建东京洛阳，每月役丁200万人。同时，又令尚书右丞皇甫议，“发河南淮北诸郡男女百余万，开通济渠”(《通鉴·隋纪四》)。此外，还征调淮南民工10多万，扩建山阳渎。工程规模之大，范围之广，都是前所未有的。通济渠可分东西两段。西段在东汉阳渠的基础上扩展而成，西起洛阳西面，以洛水及其支流谷水为水源，穿过洛阳城南，到偃师东南，再循洛水入黄河。东段西起荥阳西北黄河边上的板渚[zhǔ煮]，以黄河水为水源，经今开封市及杞县、睢县、宁陵、商丘、夏邑、永城等县，再东南，穿过今安徽宿县、灵壁、泗县，以及江苏的泗洪县，至盱眙[xū yī虚移]县注入淮水。两段全长近 2000里。山阳渎北起淮水南岸的山阳(今江苏淮安市)，径直向南，到江都(今扬州市)西南接长江。两渠都是按照统一的标准开凿的，并且两旁种植柳树，修筑御道，沿途还建离宫40多座。由于龙舟船体庞大，御河必须凿得很深，否则就无法通航。通济渠与山阳渎的修建与整治是齐头并进的，施工时虽然也充分利用了旧有的渠道和自然河道，但因为它们有统一的宽度和深度，因此，主要还要依靠人工开凿，工程浩大而艰巨。可是历时很短，从三月动工，到八月就全部完成了。隋炀帝立刻从洛阳登上龙舟，带着后妃、王公、百官，乘坐几千艘舳舻[zhú lú竹炉]，南巡江都。这是中外工程史上的奇迹。当然，代价是极其高昂的。在凿渠和造船过程中，“役丁死者什四五”。
三是修建北通涿郡的永济渠。在完成通济渠、山阳渎之后，隋炀帝决定在黄河以北再开一条运河，即永济渠。大业四年(公元608年)，“诏发河北诸郡男女百余万，开永济渠，引沁水南达于河，北通涿郡”(《隋书·炀帝纪》上)。永济渠也可分为两段：南段自沁河口向北，经今新乡、汲县、滑县、内黄(以上属河南省)、魏县、大名、馆陶、临西、清河(以上属河北)、武城、德州(以上属山东)、吴桥、东光、南皮、沧县、青县(以上属河北)，抵今天津市；北段自今天津折向西北，经天津的武清、河北的安次、到达涿郡(今北京市境)。南北两段都是当年完成。永济渠与通济渠一样，也是一条又宽又深的运河，据载全长1900多里。深度多少，虽不见文字，但大体上说，与通济渠相当，因为它也是一条可通龙舟的运河。大业七年(公元611年)，炀帝自江都乘龙舟沿运河北上，带着船队和人马，水陆兼程，最后抵达涿郡。全程4000多里，仅用了50多天，足见其通航能力之大。
四是疏浚纵贯太湖平原的江南河。太湖平原修建运河的历史非常悠久。春秋时的吴国，即以都城吴(苏州市)为中心，凿了许多条运河，其中一条向北通向长江，一条向南通向钱塘江，这两条南北走向的人工水道，就是最早的江南河。这条河在秦汉、三国、两晋、南北朝时，进行过多次整治，到了隋炀帝时又下令作进一步疏浚。《资治通鉴》卷一八一记载：“大业六年冬十二月，敕穿江南河，自京口至余杭，八百余里，广十余丈，使可通龙舟，并置驿宫、草顿，欲东巡会稽。”会稽山在今浙江省绍兴市东南，相传夏禹曾大会诸侯于会稽，秦始皇也曾登此山以望东海。隋炀帝好大喜功，大概也要到会稽山，效仿夏禹、秦皇的故事。
广通渠、通济渠、山阳渎(隋炀帝把后两者合称御河)、永济渠和江南河等渠道，虽然不是同时开凿而成，可以算作各自独立的运输渠道。但是由于这些渠道都以政治中心长安、洛阳为枢纽，向东南和东北辐射，形成完整的体系，同时，它们的规格又基本一致，都要求可以通航方舟或龙舟，而且互相连接，所以又是一条大运河。这条从长安、洛阳向东南通到余杭、向东北通到涿郡的大运河，是古今中外最长的运河。由于它贯穿了钱塘江、长江、淮河、黄河、海河五大水系，对加强国家的统一，促进南北经济文化的交流，都是很有价值的。
在以上这些渠道中，通济渠和永济渠是这条南北大运河中最长最重要的两段，它们以洛阳为起点，成扇形向东南和东北张开。洛阳位于中原大平原的西缘，海拔较高，运河工程充分利用这一东低西高、自然河道自西向东流向的特点，开凿时既可以节省人力和物力，航行时又便于船只顺利通过。特别是这两段运河都能够充分利用丰富的黄河之水，使水源有了保证。这两条如此之长的渠道，能这样好地利用自然条件，证明当时水利科学技术已有很高的水平。开凿这两条最长的渠道，前后用了六年的时间。这样就完成了大运河的全部工程。隋朝的大运河，史称南北大运河。它贯穿河北、河南、江苏和浙江等省。运河水面宽30—70米，长约2700多公里，是世界上最伟大的工程之一。
第三个时期是元朝时期。元朝定都大都(今北京)后，要从江浙一带运粮到大都。但隋朝的大运河，在海河和淮河中间的一段，是以洛阳为中心向东北和东南伸展的。为了避免绕道洛阳，裁弯取直，元朝就修建了济州、会通、通惠等河，明、清两代，又对大运河中的许多河段进行了改造。下面具体介绍一下元朝开凿运河的几项重大工程：
一是开凿济州河和会通河。从元朝都城大都(今北京市)到东南产粮区，大部分地方都有水道可通，只有大都和通州之间、临清和济州之间没有便捷的水道相通，或者原有的河道被堵塞了，或者原来根本没有河道。因此，南北水道贯通的关键就是在这两个区间修建新的人工河道。在临清和济州之间的运河，元朝分两期修建，先开济州河，再开会通河。济州河南起济州(今济宁市)南面的鲁桥镇，北到须城(在今东平县)的安山，长150里。人们利用了有利的自然条件，以汶水和泗水为水源，修建闸坝，开凿渠道，以通漕运。会通河南起须城的安山，接济州河，凿渠向北，经聊城，到临清接卫河，长250里。它同济州河一样，在河上也建立了许多闸坝。这两段运河凿成后，南方的粮船可以经此取道卫河、白河，到达通州。
二是开凿坝河和通惠河。由于旧有的河道通航能力很小，元朝很需要在大都与通州之间修建一条运输能力较大的运河，以便把由海运、河运集中到通州的粮食，转运到大都。于是相继开凿了坝河和通惠河。首先兴建的坝河，西起大都光熙门(今北京东直门北面，当年这里是主要粮仓所在地)，向东到通州城北，接温榆河。这条水道长约20多公里，地势西高东低，差距20米左右，河道的比降较大。为了便于保存河水，利于粮船通航，河道上建有七座闸坝，因而这条运河被称为坝河。后来因坝河水源不足，水道不畅，元朝又开凿了通惠河。负责水利的工程技术专家郭守敬，先千方百计开辟水源，并引水到积水潭集蓄起来，然后从积水潭向东开凿通航河段，经皇城东侧南流，东南去文明门(今北京崇文门北)，东至通州接白河。这条新的人工河道，被忽必烈命名为通惠河。通惠河建成后，积水潭成了繁华的码头，“舳舻蔽水”，热闹非常。
元朝开凿运河的几项重大工程完成后，便形成了今天的大运河，全长1700多公里。大运河利用了隋朝的南北大运河不少河段，如果从北京到杭州走运河水道，前者比后者缩短了900多公里的航程。
目前国外著名的大运河有苏伊士运河、巴拿马运河、前苏联土库曼运河等。这些运河的长度不但都比我国的大运河短得多，而且也都比隋朝开凿南北大运河的时间晚1000多年。