该情况取决于医院规定和所在地区卫生行政部门的指导原则。医生在下乡服务期间的主要任务是提供医疗服务、支持基层医疗机构的工作以及提高当地的医疗水平，若回原单位的话，会被认为是与下乡服务的目标不一致，除非有特殊情况或者明确的政策允许。在实际操作中，医生在完成日常工作之余，利用周末或休假时间回到原单位处理个人事务、参加学术活动或者进行必要的专业培训等情况也是存在的。但这些都需要事先得到上级领导的同意，并确保下乡服务工作不受影响。