春秋，魯隱公五年（前718年）宋人伐鄭圍長葛，始見其名。屬鄭國，為城邑。
戰(zhàn)國，周烈王元年（前375年）韓哀侯滅鄭，長葛屬韓，后（前361~前350年期間）為魏伐取，長葛歸魏，改名長社。
秦行郡縣制，長社始為縣，屬潁川郡。
漢承秦制，長社仍屬潁川郡。王莽新朝，改潁川郡為左隊，長社屬左隊。東漢，復西漢舊制，長社屬潁川郡。
三國曹魏、西晉、東晉，長社屬潁川郡。
南北朝，宋少帝景平元年（423年）北魏的將周幾夷許昌城，立豫州封疆，長社為北魏占領(lǐng)，時，許昌城夷毀，潁川郡治徙長社，長社屬潁川郡。東魏天平初，置潁州（治長社），長社屬潁州郡。武定七年（549年）潁州、潁川郡及長社縣移治潁陰（今許昌市），潁州改曰鄭州，長社屬鄭州潁川郡。北齊因之。北周改鄭州為許州，長社屬許州。
隋開皇三年（582年），罷郡，行州縣制，改長社縣為潁川縣，屬許州。開皇六年（586年），析置長葛縣（治所今老城），長葛屬許州。大業(yè)三年（607年），復行郡縣制，改許州為潁川郡，長葛縣屬之。
唐武德四年（621年），改潁川郡為許州，長葛屬許州。天寶元年（742年），改許州為潁川郡，乾元元年（758年），潁川郡又復為許州，長葛縣歸屬不變。
五代，后梁改唐許州忠武軍為許州匡國軍，長葛屬之。后唐復許州匡國軍為許州忠武軍，后晉、后漢、后周俱因之。
宋初，長葛屬京西路許州。熙寧五年（1072年），屬京西北路許州。元豐三年（1080年），升許州為潁昌府，長葛屬潁昌府。
金，貞元元年（1153年）改潁昌府為許州昌武軍，長葛屬許州昌武軍。
元，長葛屬汴梁路許州。
明，長葛屬開封府許州。
清，長葛屬河南省開歸陳許鄭道許州直隸州。
中化民國2年（1913年），廢府存道，長葛屬開歸陳許鄭道，3月1日，開歸陳許鄭道改稱豫東道，翌年改稱開封道。民國16年（1927年）廢道，長葛屬中區(qū)第二行政區(qū)。民國21年（1932年），河南設(shè)行政督察區(qū)，長葛屬河南第一行政督察區(qū)。
中華人民共和國建立后，長葛屬許昌專區(qū)。1969年改專區(qū)為地區(qū)，長葛屬許昌地區(qū)。
1986年2月，許昌地區(qū)撤消，許昌市升為省轄市，長葛屬之。
1993年12月14 日長葛縣撤縣為市，隸屬許昌市。