关于五百罗汉的来历,在佛教中有多种说法:一是如《十诵律》中载,释迎在世时,常有五百弟子随侍听法传道。一是在释迦涅盘后,参加第一次结集或第四次结集的五百比丘。在《舍利弗问经》中又说,弗沙秘多罗王毁灭佛法后,有五百罗汉重兴圣教。唐玄奘《大唐西域记》中则记载:摩揭陀国有一千名佛僧,其中五百名是修成了正果的罗汉僧,另五百是凡夫僧,国王名叫无忧王,对他们都很敬仰。由于五百罗汉僧平时不露真相,无忧王不知道他们是罗汉增,只当一般佛僧看待。有位叫摩诃提婆的凡夫僧发表违背教规的言论,造成佛僧思想混乱,无忧王决定处死这一千名佛僧。这时,五百罗汉各显通,腾云驾雾而去,在迦湿弥罗国的一个山谷里隐居起来。无忧王知情后专程来道歉,并在国都按五百罗汉模样塑造了五百尊像。从此,五百罗汉像就流传下来,并传到中国。尽管说法不同,但罗汉被认为是“断尽烦恼,堪受世间供养之圣者”。
中国汉地佛教尊崇五百罗汉是从五代时开始的。当时,吴越王钱氏在天台山方广寺造五百铜罗汉。显德元年(954年),道潜禅师得吴越钱忠懿王的允许,在杭州净慈寺创建了五百罗汉堂。宋太宗雍熙二年(985年),造罗汉像五百一十六身(十六罗汉与五百罗汉),奉安于天台山寿昌寺,从此各地大寺院多建五百罗汉堂。关于五百罗汉的名号,五代时(复斋碑录》有关于天台山石桥寺五百罗汉的名号,今已不存。另有南宋绍光四年(1134年)工部郎高道素所录江阴军(乾明院五百罗汉尊号碑》,将五百罗汉一一起名造姓。佛教研究者认为,碑中所举五百罗汉的名号毫无典据,是宋人附会之谈而已。但此后,凡寺院建五百罗汉堂,皆援用其名。