Die Rechtslage ist definitiv so:
Der Eigentümer (BF) kann die Sache jederzeit vom Besitzer (du) zurückfordern.
Rechtlich gesehen bist du nicht der Eigentümer, auch wenn du das geglaubt hast.

Allerdings ist kein Kaufvertrag zustande gekommen, da ein Bestandteil (Eigentumsübergang) nicht stattgefunden hat. Somit kannst du den Kaufpreis selbstverständlich zurückfordern, auf dem zivilrechtlichen Weg.
Ob er das Geld noch hat bzw. ob da was zu holen ist, ist die andere Frage.