要回钥匙。不想让装修工人继续装修房子了，但钥匙还在人家手上应该打电话给工人，要回钥匙，做好交接工作，然后更换锁芯。