你好，不是都写了借条吗？可以凭借条直接起诉解决，从法律意义上讲，可能你后来写了不让他还四万元的条，一是他是向你妈借的，你打的条也是无效的，二是此条是在被胁迫条件下写的，可以要求法院撤销，但你需要证据支持。具体的起诉程序涉及较多问题，在此无法一一讲清，建议请律师帮助为宜。
去法院起诉 但是得看有没有过诉讼时效 你的描述中没有提到任何时间 我无法判断
