据《礼记·檀弓上》载：孔子的父亲叔梁纥、母亲颜徵在去世后，孔子将父母合葬在防（今山东曲阜县城东7.5公里防山之北）的时候，曾对弟子们说：“古也墓而不坟”（无高土隆起）。由于孔子常年率弟子周游列国，担心回到防祭拜时，找不到父母双亲墓地，落个“不孝”骂名，于是“封之，崇四尺”（筑了四尺高的坟丘）。孔子死后，弟子们为他选择什么样的墓式煞费苦心。孔子的弟子之一子夏回忆道：从前孔子讲过，看到几种不同式样的坟墓：有的四方而高，像建筑的高堂一样；有的狭长而高，像“坊”一样；还有的四方广阔而两旁向上尖削，如同斧的刃部一样，这种形式又像马鬣（马颈上的一排刚毛），叫做“马鬣封”。孔子赞成后一种。于是，孔子墓的“马鬣封”的制式得以确立，成为封建社会一种特殊尊贵的筑墓形式，影响很广。
有种传说孔子墓地是他本人选定的。在孔子七十三岁那年，他感到行将告别人世，便叹道：“太山其颓乎！梁木其坏乎！哲人其萎乎！”之后领着七十二弟子去勘选墓地。孔子认为墓地风水直接关系到后代的兴衰，所以他不辞劳累，亲自奔波于齐鲁大地，最终选定曲阜城北的泗水河之滨，少昊陵傍，圈地数顷为墓地。除了墓莹，最早的地面建筑是孔子弟子们为守墓而搭建的茅屋。据《史记》载：孔子殁后，弟子皆结庐守墓，服丧三年，唯子贡思慕情深，三年之后复独居三年始归。这期间，子贡将南方稀有珍木楷树移植于墓旁，借以寄托他对老师的一腔真情。后人念其深挚感人的师生情谊，在子贡守墓处建三间西屋，立碑“子贡庐墓处”以记之。清康熙年间，子贡手植楷树遭雷击焚死，康熙帝得知后，不仅补植楷树一株，还立碑一通，亲笔手书“子贡手植楷”五个字。传说每年农历八月二十七日孔子诞辰日前后，这块石碑便会昼夜不停地冒出水珠来，屡拭屡冒。当地人说那是子贡为祭祀老师而伤心流泪，所以俗称“含泪碑”。
秦始皇当政后，由于实行“焚书坑儒”政策，对儒家创始人孔子当然亦不放过——尽管孔子已死去二百七十多年。秦始皇不仅派兵抄了孔子的家——孔庙（所幸孔子九代孙孔鲋将《论语》、《孝经》、《尚书》等儒家经典砌于祖堂的夹皮墙中，得以保留），对孔子墓地也大肆发掘，唯恐有儒家经典藏于地下（见《孔氏祖庭广记》）。传说孔林中的洙水河，也是秦始皇所为。秦始皇为了让儒学彻底消亡，欲破坏孔子坟墓的风水，他将孔子墓与阙里故宅用条人工河隔开，认为孔子就无法显圣了。而孔子后人认为：这条河正是孔子当年就预料到的圣水，早年孔林缺的就是这条河，秦始皇甘愿为孔子效劳，帮助完成了孔林的最后一项工程。
到了汉代，政治相对稳定，经济空前发展，文化进一步繁荣，表现在墓葬形制上，也有了新的发展与变革。这个时期的墓不仅筑有封土标志——墓冢，而且强调“事死如事生，礼也”（《左传·哀公十五年》），实行厚葬。被秦始皇破坏的孔子墓，于东汉永寿三年（157年），开始敕修，恢复孔子墓。当时的墓“地不过一顷”。孔子墓前东为其子孔鲤墓，南为其孙孔伋墓，这种墓葬布局称之“携子抱孙”。人们认为“怀子抱孙，世代出功勋”，“父在子怀，富贵永远来”。墓葬的布局与风水关系到圣脉的兴旺。对此，孔子祖孙三代的墓地，环以红色垣墙，称之“东周墓地”（或称“三垅”），形成了墓地中的墓地这一奇特墓葬文化景观。
自东汉经过历朝历代的十三次重修、增建、扩充至清雍正年间，孔林已占地达3000余亩，并筑有长达7.5公里的林墙。墙内乔枝巨本，古木参天，青翠苍郁；奇木异草，比比皆是，四时不雕；林下墓冢累累，碑碣林立，石仪成群；六十多座楼亭殿堂坊隐现林木中。著名历史学家郭沫若游罢孔林，欣然挥毫：