需要退还赃款。组织卖淫的收入属于非法所得，应依法上交非法所得赃款。