不一定。要回孩子的抚养权与什么时候起诉离婚无关。只要是夫妻双方的感情破裂无法挽回了，就可以协议离婚或起诉离婚。而孩子的抚养权是要看夫妻双方哪一方抚养更有利于孩子的健康成长，法院一般都是以这个原则判决抚养权的。
法律对此没有规定，随时可以起诉要求变更；法院会从有利于子女健康成长，保护子女合法权益结合父母双方的实际抚养能力和条件等具体情况考虑判决孩子的抚养权
