首先，你能不能够提供你给了他五万元的证明，如果有能够证明他借了你的钱，你当然可以起诉。但是不要指望银行这边给你提供什么帮助，因为银行只认借款人和担保人，既然你已经偿还了该笔贷款，那么借款人和担保人同银行签订的借款合同和担保合同就失效了，没有法律效益了。并且担保合同是保证借款人不偿还贷款了银行找借款人和担保人共同承担偿还责任，不做其他用途。
