我家有一间老房子，旁边有一块小地，一九七几年时期我爷爷跟村委书记说家里人太多，向村委会讨要那块地作为煮饭用。1998年的时候，有人找我家借那块地，写了借条，有证人，借20年，对方拿来开小诊所。到2018年我们要回那块地时对方不还，说那是公家的地，说公家的地借条不算，我们反问他说公家的地为当时什么不找公家借而知道要找我家借，他借口说不知道是公家的地。然后我们找村委会处理，村委会说要证明那块地一九七几年时期村委书记给我们用，问题是那个时候相关的人都不在了，我们也没土地证，感觉像要证明我们是我们一样。现在法律上不能证明那块地是我们的，然而在没借给对方之前是我们在用，换句话说如果当时不借现在都是我们在用，不借还在，借了反而没了，一切显得那么怪异！不知道现在有没有办法要回来？