可以退回。当事人需要带着当时交失地保险交款那些单据和本人的身份证的相关信息去银行的柜台提出申请，银行的柜台就能把你这笔钱给你退回来。