Предмет договора

Я пообещал индивидуальному предпринимателю встретиться с ним с целью подписания договора об оказании услуг (ремонт квартиры) и передачи ему аванса. На следующий день я позвонил ему, извинился, и сообщил, что отказываюсь от подписания договора. В ответ он заявил, что все телефонные разговоры записаны и стал требовать денежную компенсацию за отказ от "устного договора", который мы якобы заключили.
Но устно мы договаривались ТОЛЬКО о том, оформим договор письменно, как полагается. Ни о каком устном договоре о ремонте, ни о каких компенсация или иных условиях речь не шла. Кто прав?
С уважением, Михаил.