康熙离开五台山后,关于顺治出家并终了五台的传闻,在社会上越传越广。而那绝色美人董小宛,竟红颜薄命,好端端一个如花似玉美人,竟谢却红尘,不能不令芸芸众生扼腕叹息。时国子监祭酒、江南名士吴梅村曾作《清凉山赞佛诗》,以咏顺治、董小宛之事。其诗有云:“双成明靓影徘徊,玉作屏风壁作台。薤露雕残千里草,清凉山下六龙来。”后人有附会其诗者说,其中“双成”及“千里草”字句,是暗指董妃,清凉山是五台山上一峰,是暗指世祖出家。康熙帝一生巡幸五台山共计五次,暗喻顺治帝和康熙帝共来六次,即“清凉山下六龙来”一句。据传,康熙皇帝直到顺治帝老死五台山,方才不去,只是秘密派人将父皇生前使用的一把扇子、一双鞋子带回,埋入清东陵孝陵地宫,而作为顺治皇帝本人,压根就没有入葬陵寝。