Аванс за квартиру

Здравствуйте! я продаю свою квартиру с покупателем заключил предварительный договор о купли-продажи квартиры, по этому договору он передал мне аванс, документы у меня все готовы к регистрации, в данный момент покупатель отказывается от покупки так как потратил оставшуюся часть денег и трребует возврат аванса, в заключенном между мной и моим покупателем прредварительном договоре купли продажи есть пункт говорящий о том, что если сделка не состоится по вине покупателя то сумма аванса ему не возвращается, а если по вине продавца то он обязан вернуть аванс, моей вины же тут нету, часть данного аванса я передал за вновь преобретаемую квартиру, и закупил стройматерриалы на неё. скажите придется ли мне возвращать деньги моему покупателю