根据《中华人民共和国民法典》第一千零八十四条的规定，离婚后，不满两周岁的子女，以由母亲直接抚养为原则。已满两周岁的子女，父母双方对抚养问题协议不成的，由人民法院根据双方的具体情况，按照最有利于未成年子女的原则判决。子女已满八周岁的，应当尊重其真实意愿。

对于离婚损害赔偿责任方，其在婚姻关系存续期间的行为如果严重影响到其作为监护人履行抚养、教育子女的能力和条件，或者可能对子女身心健康造成不利影响，法院在判决抚养权归属时可以此作为考量因素。但单纯的离婚损害赔偿责任并不必然导致抚养权的丧失，关键在于该方是否具备足够的能力和条件，以及其行为是否符合子女的最大利益。