黄粱梦吕仙祠依据唐代沈既济所撰传奇小说《枕中记》产生的著名梦典“一枕黄粱”而建。据历史文献和历代维修碑文记载，黄粱梦吕仙祠始建于唐末宋初之间，具体年代不详。
明嘉靖二十八年（1549年）秋，道士国师陶仲文路经邯郸。见吕翁祠殿域倾圮，规模狭隘，乃以帑金重建。太常寺寺丞龚佩监修，历三月竣工。次年八月，陶仲文报请朝廷赐额。世宗皇帝（朱厚璁）亲书“风雷隆一仙宫”，命工部制匾，差礼部卿徐阶至邯郸行安谢礼。后因边境战事紧张，徐未成行。
明嘉靖三十三年（1554年），陶仲文自请携御匾至邯郸行安谢礼。因修复的祠门（今午朝门）门楣低隘，不能挂匾，又于祠门南重建一门（今丹门，又称丹房）以承匾。复在新旧祠门之间凿莲池，建栈桥，八卦亭。奠定了黄粱梦吕仙祠建筑格局。
此后，历朝历代均有修复。
清光绪二十七年（1901年）秋，慈禧太后（叶赫那拉氏）与光绪皇帝（爱新觉罗·载恬）自西安起程回銮。邯郸县知县奉命在吕仙祠左右建东、西行宫。冬，慈禧等过吕仙祠小憩。
民国六年（1917年），邯郸县山洪暴发，吕仙祠大部分建筑坍塌。民国七年（1918年），警长孔纯洁联络县绅，募捐修葺，民国十一年（1922年）十一月竣工。从此至建国前，吕仙祠未得到续修。
入民国后，北洋军队、东北军队、日本侵略军都曾驻扎吕仙祠，给吕仙祠的文物造成相当程度的破坏。
建国初期，吕仙祠曾长期被邯郸县政府、邯郸县银行、邯郸县中学等单位占用。
1956年，河北文物工作队普查黄粱梦吕仙祠，公布为河北省第一批文物保护单位。
1979年，邯郸地区文物保管所进驻黄粱梦吕仙祠。
1982年，河北省人民政府公布黄粱梦吕仙祠为第二批河北省重点文物保护单位。
1984年9月，成立邯郸市黄粱梦文物保管所。
1984年9月，河北省文物局立项维修黄粱梦吕仙祠。河北省文物局、邯郸市政府共同拨款100万元，对山门、丹房、八卦亭、午朝门、钟鼓楼、钟离殿、吕祖殿、卢生殿按原貌进行了落架大修。对东、西配殿揭顶大修。
1986年10月1日，黄粱梦吕仙祠第一期维修工程竣工，并正式对游人开放。
1991年9月，邯郸市黄粱梦文物保管所更名为邯郸市黄粱梦文物管理处至今。
