根据《中华人民共和国治安管理处罚法》第四十三条的规定，故意殴打他人的行为都需受到处罚。具体处罚措施为：若殴打他人的行为，或故意伤害他人身体，将面临五日至十日的拘留，同时并处二百元至五百元的罚款。如果情节较轻，处罚则可为五日以下拘留或五百元以下罚款。如果故意殴打他人的行为属于以下情形之一，处罚将更为严厉，面临十日至十五日的拘留，同时并处五百元至一千元的罚款。这些情形包括：结伙殴打或伤害他人，殴打或伤害残疾人、孕妇、不满十四周岁的未成年人或六十周岁以上的老年人，以及多次殴打或伤害他人，或一次性殴打或伤害多人。因此，打架事件中，即使双方都有小伤，只要一方不愿调解，另一方可能仍需接受法律制裁。具体拘留天数和罚款额度将根据实际情况而定。值得注意的是，虽然打架双方可能都有小伤，但在法律上，双方的过错程度可能不同。因此，法律对双方的处罚可能也会有所不同。如果打架事件中，双方都有小伤且不愿调解，双方是否都要被拘留，将取决于具体情节。若一方的行为构成较严重的情况，如结伙殴打、伤害残疾人等，该方可能会面临更严厉的处罚，包括拘留。总之，在处理打架事件时，应当依据相关法律规定，对双方的违法行为进行公正合理的评判与处理。