不会。警方会侦查出应该退还多少赃款，按照侦查出的通知家属退还相应的赃款，如果家属退多了会再给家属退回去，不会算赃款。