需要。婴儿游泳馆需要申请卫生许可证，以确保其设施和设备符合卫生标准。卫生许可证的申请需要提供游泳池的卫生设施和清洁计划等资料。