笔架山或称东山，又因韩愈而称韩山。唐元和十四年（819），韩愈因谏迎佛骨被贬为潮州刺史，在潮州8个月，询民疾苦，重农桑，筑堤防，兴学校，祭鳄鱼，开潮州文风，给潮人留下深刻影响。
后人敬仰韩公，将笔架山称为“韩山”，将亭称为“侍郎亭”。宋淳熙十六年（1189年）知军州事丁允元认为韩公尝游于此并手植橡木，韩公之祠应迁建于此，所以将城南七里的韩文公祠迁至今址。
此庙始建于北宋年间，建在城南7里。苏轼曾撰写了著名的《潮州韩文公庙碑》。韩祠在元、明两代屡经修营，不下20次。祠宇据地高旷，构造古雅。内分前后二进，并带两廊。
后进筑在比前进高出几米的台基上，内供韩愈塑像。堂上有对联：“辟佛累千言，雪冷蓝关，从此儒风开岭娇；到官才八月，潮平鳄诸，于今香火遍瀛洲。”祠内有历代碑刻36块，其年代最早者即苏轼的《潮州韩文公庙碑》，从城南移此，置正堂南墙下。祠内前后二进梁柱，还分悬今人为重修韩文公祠所题写的匾额。韩祠倚山临水，肃穆端庄。
1988年，原侍郎亭旧址又新建了“侍郎阁”（韩愈曾任刑部侍郎，人称“韩侍郎”），占地328平方米，系双层垂檐建筑。其下层为展览厅，上层辟为“韩愈纪念馆”，阁前石砌平台正中有2米多高的韩愈平身石像1尊。
