Das Problem liegt daran, daß im Include Pfad nicht mysql\mysql.h zu finden ist. Such' einmal nach der Datei mysql.h. Sollte in einem Ordner /mysql/ liegen. Denn bei CFLAGS in der Datei Makefile mit -I den Ordner hinzufügen, der den Ordner mit Unterordner mysql enthält. Danach sollte es gehen.

Bei Schwierigkeiten einfach mal das Ergebis von

find / -name mysql.h

angeben. Dann kann ich Dir die passenden Parameter sagen.

Habe weder mit Debian, noch mit ubuntu grosse Erfahrungen. Sieht aber so aus, daß da einige Pfad anders gehandhabt werden.