三四个人的小企业是不需要缴纳残保金的。根据《残疾人就业保障金征收使用管理办法》，自工商登记注册之日起3年内，对安排残疾人就业未达到规定比例、在职职工总数20人以下（含20人）的小微企业，可以免征保障金。具体而言，用人单位安排残疾人就业的比例不得低于本单位在职职工总数的1.5%。具体比例由各省、自治区、直辖市人民政府根据本地区的实际情况规定。如果用人单位安排残疾人就业达不到其所在地省、自治区、直辖市人民政府规定比例的，则应当缴纳保障金。《管理办法》还指出，用人单位将残疾人录用为在编人员或依法与就业年龄段内的残疾人签订1年以上（含1年）劳动合同（服务协议），且实际支付的工资不低于当地最低工资标准，并足额缴纳社会保险费的，方可计入用人单位所安排的残疾人就业人数。值得注意的是，用人单位安排1名持有《中华人民共和国残疾人证》（1至2级）或《中华人民共和国残疾军人证》（1至3级）的人员就业的，按照安排2名残疾人就业计算。用人单位跨地区招用残疾人的，也应当计入所安排的残疾人就业人数。以上信息旨在帮助小企业更好地了解相关政策，从而合理规划企业运营，减轻负担。根据相关规定，小企业如符合特定条件，可以在一定时期内免除缴纳残保金。这有助于减轻企业负担，促进企业发展。为确保信息准确无误，请参考相关官方文件或咨询专业人士获取最权威的信息。