Отказ в предоставлении служебного жилья

Здравствуйте.
Мой муж- военный,служит больше года в Пушкине (Спб)и там же мы снимаем квартиру .Нас трое,я,муж и ребенок 2 года.По закону при поступлении на службу военных обеспечивают служебным жильем ,но нам в этом в отказали по той причине,что мы были прописаны в квартире(26 кв.м.- квартира-студия) моего брата,находящейся в Санкт-Петербурге.Мы уже как год выписались из нее и прописались в военной части,но в ДЖО и военном и гражданском судах нам поступил отказ в предоставлении служебного жилья,т.к.якобы мы ,хоть там и не прописаны сейчас,но до сих пор имеем право пользования этим жилым помещением.Хотя по закону по кв.метрам оно не рассчитано на семью из 3 человек.Скажите пожалуйста,правомерен ли отказ в предоставлении служебного жилья,а если да,то как брату нас лишить этого самого права пользования?