Ganz kurz gesagt, macht rtl_fm nur aus HF ein Audiosignal (Jürgen erschlägt mich jetzt vermutlich ;-)).
Insofern sollte es nicht an rtl_fm liegen, wenn der Pocsag-Dekoder sich auf falsche Baud-Werte einschießt. Vorausgesetzt natürlich, das Audiosignal ist in Ordnung, also Bandbreite etc. bei rtl_fm stimmen...