你不签字可以的，但是等于你放弃了你的复议权利，因为责任认定书是有时间限制的，如果你认为认定书有错误，可以再复议期内，申请复议，超了复议期，即便你不签字，认定书也具有法律效力了。
事故认定书不签字可以吗？
