有借条证明他借你的钱,就是书证,具有很强的证明效力,除非对方有相反证据足以推翻,比如有证据证明是被胁迫所签的,不过现在对方无法证明是被胁迫签的借条,你当然可以起诉他。不过你还应当证明你确实已把五万元交给对方,如果对方给你写有受到条那么你的证据就充足了。假如通过银行转账方式汇的款,当然也可证明。如果都没有,你还需要进行录音取证。
借条具备法律效力,可以起诉要回借款。