Можно ли лишить отцовства бывшего мужа моей девушки?

У бывшего мужа моей девушки не может быть детей. Он абсолютно бесплоден. Они перепробовали много искусственных способов зачатия, потратили много денег, и в итоге так и не обзавелись ребёнком. Она встретила меня, и ещё находясь в браке, забеременела и родила. На тот момент она считала, что натянутые отношения с мужем после рождения изменятся в лучшую сторону. Но он не помогал ей при беременности, и даже после родов особо помощи не было. Когда ребёнку исполнилось 8 месяцев, они разошлись, а в год - официально развелись. Согласие на развод было с обоих сторон, однако, как мне кажется, муж считал развод чем-то временным, проверкой брака...
Я продолжаю встречаться с сыном и его мамой, помогаю, чем могу, и думаю создать семью. Бывший муж алименты не платит (да и не надо), но настойчиво требует встречи с сыном. Иногда в грубой и угрожающей форме. Какие бы он не приследовал цели, сын ему точно не нужен. Мы с моей девушкой опасаемся, что он может потребовать через суд разрешение видиться с \"сыном\".
Можно ли лишить его отцовства и всех прав на ребёнка? И каким образом это можно сделать?
Заранее большое спасибо за ответ!