明代吴姓在此设店，后发展为集市，习称吴家铺，后简为吴家。吴家镇始建于清朝光绪年间，民国十九年（1920年）建镇，解放后，1950年建吴家镇区公所，1958年公社化时，永兴乡（现清流镇）、玉方乡和吴家镇合并，成立吴家人民公社。