有两段有关伍员山的资料，伍员山分属安徽郎溪和江苏溧阳，郎溪这边资料如下：
春秋时代，楚平王诛伍氏，伍员逃吴国，经此山而得名。又传伍子胥为复仇，举兵伐楚，扎营建牙该山，故也称伍牙山。
属凌笪乡农场，自建立一直沿用至今。
溧阳这边资料如下：
据《舆地广记》说：“伍子胥对伐楚回后，带经吴军返回时，途过这座山，因此而得名”徐一经主编的《罢志》上则说伍子婿在此山建牙（牙，指牙旗，即军营）而得名。民间传说伍子胥逃出瞑关，（今安徽黄山以北）逃到溧阳境内的一座大山里，为了迷惑逃兵，宪马倒行使马蹄朝着相反方向进入山口，向濑水方向逃去，后来人们将这座上称为伍牙山，或邦牙山，解放后改称为伍员山至今，山上原有但都祠，现已积存。存上写石花蕾地青古迹。民间传说，护牙山名称是历史，当年但子婿逃到此山中，因有一口好看的牙齿，乃被敌人认出来，但员外就用石头把牙敲碎，但有山神保佑，故得名。
春秋末期已存在至今。
