柳永虽然一生中常常留恋于风花雪月场所,但是据说柳永是有妻子的,其妻名叫谢玉英,是个青楼名妓,擅长歌舞且才貌双全,平日里最喜欢唱柳永写的词。当时柳永惹怒了宋仁宗,到余杭上任县令的时候经过苏州,结识谢玉英,二人心意相通,传说“凤栖梧”这首词就是柳永写给谢玉英的。
后来柳永离开苏州之前和谢玉英约定好,柳永永远不变心,而谢玉英不再接客。柳永在余杭做了三年的官,认识了很多新的名楼歌妓,但是并没有忘记和谢玉英的约定,在柳永会京城的时候到江州和谢玉英见面,谢玉英当时已经在接新的客人了,柳永心中很是伤心便在墙上写了一首词,词中描绘了他们之前的恩爱场景和誓言,谢玉英看到后很是后悔自己没有遵守约定,便自己跑到京城找柳永,最后二人在陈师师家见面,二人重归于好,在陈师师家东边的院落住下,二人过起夫妻般的日子来。后人就将谢玉英称为柳永的妻子,不过后来又时候二人感情破裂,加上柳永坎坷的仕途,柳永四处辗转,柳永又结识许多青楼女子,如柳永后来字词中写到的虫娘,香香,禾娘等。至于后来谢玉英怎么样了,就鲜有记载了。
后来柳永死的时候,家中没有钱财,是他的各个相好凑钱埋葬了他,有传说说,谢玉英当时也在,并且为柳永戴孝,哀痛过度,两个月后也去世了,不过这是民间传说的故事,没有确切的史书及后世的资料记载。