函谷关最早在春秋战国时代由秦国所建。“因在谷中,深险如函而得名。东自崤山,西至潼津,通名函谷,号称天险。”关隘地处深险谷地,地势险要,窄处只能容一辆马车通行,所谓“车不方轨,马不并辔”。而且由于这段黄河流域丘峦起伏,有中条山、崤山等阻断,函关谷底成为附近地区唯一东西向平坦的通道,自然成为军事要冲。
战国时,战国七雄除秦以外的其余六国曾联合对抗秦国,但秦国在函谷关成功抵御住六国联军的攻势。西汉贾谊的政论名篇《过秦论》写道:“于是六国之士……尝以什倍之地,百万之众,叩关而攻秦,秦
人开关延敌,九国之师,趋循遁逃而不敢进”,其中的“关”就是指函谷关,可见其战略影响。
由于函谷关易守难攻,秦朝末年各地起义抗秦后,新立的楚怀王为尽快平息战乱,宣告谁先入关中,得为关中王,此处所提的关亦是函谷关,之后刘邦先入关中,不过并非直入函谷关,理由即是函谷关易守难攻,加上关内即是秦的首都咸阳,护守函谷关的秦军必是精锐,为避免攻坚,刘邦接受张良的建议绕道进入关中。不过,项羽不满刘邦先入关,设下鸿门宴,但又不愿违逆楚怀王当初的宣告,因此在册封时将刘邦封为巴王,之后封为汉王,虽然巴、汉两地也属于关中关内(函谷关以西),但当时为未开化的不毛之地,甚至是秦与秦朝专门用来流放罪犯的地方。不过刘邦仍然在汉中成功积蓄力量,最终在楚汉相争中战胜项羽。
西汉建立后,在函谷关边设县,称弘农,治弘农郡。东汉末年群雄起兵讨伐董卓,董卓强迫汉献帝从洛阳迁都长安时,就以函谷关坚固易于防守为理由[2]。三国时代,曹魏曾在附近建关楼,常被称为新关,与秦函谷遥相呼应。此后两千年间,地势险要的函谷关常常成为军事争夺的对象,包括唐代安史之乱,甚至抗日战争等。
相传为尹喜的寓所。尹喜,春秋时代人,素识天象,曾为函谷关关令。传说他曾在此接待老子。唐开元十九年(公元741年)陈王府参军田同 秀(桃林县人)为献媚皇上,进言玄宗皇帝说天降灵符于函谷尹喜故室,玄宗即遣人去挖掘,果然掘得“灵符”,玄宗大喜,以为之是老子对他的恩赐,遂将年号 “开元”改为“天宝”。