不会。被行政处罚不会被单位开除，因为行政处罚的性质是一种以惩戒违法为目的、具有制裁性的具体行政行为。根据我国相关的法律规定，劳动者被依法被追究刑事责任，用人单位有权解除与劳动者签订的劳动合同，且用人单位无须支付经济补偿金。