彩礼一定要带回娘家吗

彩礼一定要带回娘家吗？我留给弟弟结婚很过分吗，我真的错了吗？
我家住在农村，家里还有一个弟弟，因为小时候家里条件不好，弟弟初中毕业就没念书了，家里就供我这个大学生已经很困难了，这么多年我也就觉得对家里和弟弟有所亏欠。
我大学毕业找了份工作，工资不算很高但是比较安稳。没多久我在我们单位认识了一个男生，我们谈了半年的恋爱就打算结婚了，男方的家庭情况也算可以，不是大富大贵也是个小康家庭。我们见过了双方的家长，虽然他妈嫌我们家穷还有个弟弟，但是我老公的坚持也让他们接受了我。我长相中等，给人的感觉就是贤妻良母型的，比较稳重。
又过了半年，我们结婚了，婆婆家给了8万8的彩礼。这笔钱有一半我留给爸妈了，因为弟弟在外边也处了一个对象，可能没多久也要结婚，我爸妈没有那么多的钱，我这个当姐姐的就留给他们一部分吧，也算是这么多年我爸妈供我上大学的补偿，还有就是想补偿我的弟弟。
我嫁过来的第二天，婆婆就问我那笔彩礼钱在哪，我就实话给她说了。她却非常生气的叫我去要回来，说那笔钱是给我们过日子用的，不是给我弟弟娶媳妇的。我特别的伤心，一般来说，大部分的彩礼都是被新娘带回婆家过日子了，但是我家的情况不时比较特殊吗，为什么就不能理解一下呢。我老公知道了之后也是没好气的让我要回来，我不知道该怎么办了。
这话都已经说出口了，钱已经给了我爸妈了，我怎么好意思在要回来呢，这样我爸妈和我弟怎么想我。养这么大的姑娘一点都不知道为家里着想，我真的开不了这个口，但是老公和婆婆的态度也很坚决，我该怎么办......