男友和我都没离婚，可是他每次和我在一起害怕被别人说闲话，但是还想和我在一起，我不知道该怎么办才好。