按照《治安管理处罚法》来进行惩罚。根据《刑法》第245条规定，犯非法侵入住宅罪的，处三年以下有期徒刑或拘役。非法侵入住宅罪是指非法强行闯入他人住宅，或者经要求退出仍拒绝退出的行为。这里的“非法”是指行为人未经住宅权人同意或者没有法律依据。“侵入”主要包括两种情况：一是未经住宅权人允许擅自闯入。二是进入时住宅权人不反对，但在住宅权人要求退出时，仍然滞留，不肯退出。