行政单位执行处罚时，若存在特定情况，上级行政单位或相关部门有权要求其改正。这包括以下情形：一是没有合法依据实施行政处罚的；二是擅自调整处罚类别或力度的；三是违反规定的处罚程序的。上述行为违反了行政法规，上级单位需对直接负责的主管人员和其他相关责任人进行行政处分。