限制人身自由的行政处罚权只能由公安机关（公安部门）行使。根据中华人民共和国行政处罚法等相关法律法规的规定，限制人身自由的处罚是一种最为严厉的行政处罚措施，仅限于公安机关依据法律进行。其他任何行政机关均无权实施此类处罚。