离婚时夫妻双方都不要孩子该如何处理

生活中，很多离婚纠纷的夫妻双方因孩子的抚养权归属问题协商不成，最后起诉到法院。大多数情况下夫妻都想要孩子的抚养权，双方因此争执不下。但也存在夫妻双方只顾自己，推卸责任都不愿意抚养孩子的情形。
司某与高某于2010年结婚，双方育有一双儿女，女儿高某一现年九周岁，儿子高某二现年4周岁，两个子女现均随其祖父母生活。双方婚后，初期感情尚可，后期因故产生矛盾，现已分居生活。司某以其夫妻感情破裂为由诉至法院，要求离婚。诉讼中，双方均同意离婚，但均要求对方抚养儿子高某二。
法庭经调查，高某二不仅反映慢，而且至今不怎么说话，除了爸爸妈妈等少数词语外，其他的语言表达少之又少，导致前几年家人一直认为他是个哑巴。但家人既不想着如何引导他说话，也不带他去医院检查，就这么把他给忘了。承办法官了解上述情况后，动之以情、晓之以理，动员双方一定要尽到父母的责任去抚养教育儿子，尽最大努力让孩子在良好的家庭环境中健康成长。最终，在承办法官的耐心劝导下，司某与高某达成一致，约定婚生女高某一由高某抚养，婚生子高某二由司某抚养，抚养费由双方各自自理。
法官说法：
根据《中华人民共和国婚姻法》第二十一条规定：父母对子女有抚养教育的义务；子女对父母有赡养扶助的义务。父母不履行抚养义务时，未成年的或不能独立生活的子女，有要求父母付给抚养费的权利。子女不履行赡养义务时，无劳动能力的或生活困难的父母，有要求子女付给赡养费的权利及《最高人民法院关于人民法院审理离婚案件处理子女抚养问题的若干具体意见》第二十条规定：在离婚诉讼期间，双方均拒绝抚养子女的，可先行裁定暂由一方抚养。父母对子女的抚养义务是强制性的，不抚养可能构成遗弃，甚至需要追究刑事责任。如一方拒不履行抚养义务的，可以采取制裁措施迫使其履行自己的义务；双方应当就子女抚养问题进行协商，协议不成应由人民法院裁定由一方抚养。判决时主要从子女随哪一方生活更有利于子女健康成长教育的角度，综合考虑双方的经济条件、品格、职业等因素。