责任属于工人。如果是因为工厂管理不善或者安全管理不到位导致库房门被撬开，那么责任应该由工厂方承担。如果是因为工人本身的不当行为导致库房门被撬开，那么责任应该由工人承担。