人无完人。可是那些掌权者非但不褒奖他热心国事，反而说他是东宫官，抢在谏官之前议论朝政是一种僭越行为；于是被贬谪为州刺史。王涯说他母亲是看花的时候掉到井里死的，他写赏花的诗和关于井的诗，有伤孝道，这样的人不配治郡，于是他被贬为江州司马。实际上他得罪的原因还是那些讽喻诗。贬官江州（现九江）给白居易以沉重的打击，他说自己是 “面上灭除忧喜色，胸中消尽是非心”，早年的佛道思想滋长。三年后由于好友崔群的帮助他升任忠州刺史。
