残疾人保障金的计税依据主要涉及企业职工人数、残疾人就业比例以及工资总额等因素。

具体来说，企业的职工人数是计算残疾人保障金的重要依据。一般来说，企业安排残疾人就业的比例不得低于职工总数的1.5%，具体比例由各省、自治区、直辖市人民政府规定。这个比例直接影响到企业需要缴纳的残疾人保障金金额。

另外，企业安排残疾人就业的比例也是计算残疾人保障金的关键因素。如果企业未达到规定比例，就需要缴纳残疾人保障金。而残疾人就业比例越高，企业需要缴纳的残疾人保障金就越少。

最后，工资总额也是影响残疾人保障金计税的重要因素之一。在计算企业所得税时，企业支付的残疾人工资可以在计算应纳税所得额时加计扣除，从而降低企业的税负。

综上所述，残疾人保障金的计税依据是一个综合了企业职工人数、残疾人就业比例和工资总额等多个因素的考量。企业应当按照规定合理安排残疾人就业，并准确计算缴纳残疾人保障金，以履行企业的社会责任和义务。