我有一套二手房卖给了别人由于当时时间太紧没有签订合同也没有办理房产过户而是去办理

我有一套二手房卖给了别人由于当时时间太紧没有签订合同也没有办理房产过户而是去办理了公证手续并且委托他人全权办理，可是对方为了逃税至今没有过户，我现在又要买房可是他不过户我就产生二套房的高税，买方又不愿意给我承担这笔税费，我该怎么办呢