Вопрос про ребенка

Здравствуйте, мы не муж и жена, не расписаны, живём вместе и у нас есть ребенок ему 2,5 лет, он выпивает но работает, я пока в декрете но есть официальная работа, не пью, не гулящая, не курю, с ребенком всегда ( только если в больницу мне надо) а так везде с ним, я его очень люблю, но отец ребенка под алкоголем начинает мне говорить что я никто и он заберет сына, незнаю что делать (