相传春秋末年，鲁国的国君鲁哀公要修造一座巨大的宫殿。由于这工程规模空前，竟无人敢接手营造。正在君臣一筹莫展的时候，有人向鲁哀公推荐了民间巧匠公输班。于是便派人连夜召去见他。
当时的公输班虽然年轻，却也是远近闻名的能工巧匠。因为他是鲁国人，人们都称他为鲁班。他接过修造宫殿的图纸一看，认为要修造这样庞大的建筑物，没有直径一庹多粗的梁柱是不行的。于是便带领几十名工匠去寻找木材。
          他们天天早出晚归，找啊，找啊，踏遍附近的山山水水，也没有找到合适的木料，那些树木，不是太细，就是太弯，都不能用作梁柱。
        于是鲁班便带上干粮，率领工匠们到远处去找。经过了五天的艰难跋涉，走进一片山林中，只见到处怪石嶙峋，古木参天，三人合抱的大树比比皆是。工匠们向山下的居民一打听，才知这山因处鲁国东境，名叫东山，山上经常有虎豹出没，平时无人敢去。鲁班他们因为王命在身，也顾不得许多，便在村里居住下来，做好了砍树的准备。
         第二天，他们便上山砍树，谁知却遇到了意想不到的困难，原因他们都是用的笨重的斧头，砍伐一般的树木还可以，要砍伐这样粗大的木料非常吃力，常常几天也砍不到一棵，进度异常缓慢。眼看着期限逼近，鲁班心中十分忧虑。
        这天，鲁班又带领工匠们向山上走去。由于他心事重重，不留神踩翻了一堆碎石，幸于他顺手抓住了一把茅草，才没有滑倒。当他站稳脚 根时，却见手上鲜血直流，原来手被拉破了一道口子。鲁班心想：这茅草怎么这么厉害？他顾不得伤口疼痛，便对茅草观察起来，发现茅草的边缘上长着又密又锋利的细齿！于是他便根据这个原理发明了锯子，按期伐完了所需的木材。
        这就是木工锯的由来！
         再说鲁班住在当地居民家里，看到老百姓吃的米粉和面粉，都是用石杵在石臼里捣细，费工又费力。他便寻想：把米和麦放在两片粗石中间研磨，不是更快些吗？有一天下工回来，他根据这想法试了试，果然省力的多？他便进一步改进，把两片厚石相对的一面刻上齿纹，中心还按上一个轴，让上面的石头能够转动，磨起米粉和麦粉来，又快又省力。
        这便是后来应用了几千年的石磨。当时确实给居民解决了很大的困难。人们无不欢欣鼓舞。
         有一天，鲁哀公派来了大批人马，要把采伐的木材运走，鲁班也要和他们一块回去修宫殿了。当地人民听说后，都纷纷扶老携幼前来送行，真是难分难舍。后来人们为了纪念这位能工巧匠，感谢他的大恩大德，就把东山改为鲁班山，后来又渐渐简称为鲁山。当然，这只是民间传说，鲁山一名的真正来历，都是因为它当时地处鲁国而得名。主峰海拔1108.3米，是山东省的第四高峰，故有 孟子登东山而小鲁 之说。