Ja, das geht.
In der selben Datei, wo das Log Level eingestellt wird lässt sich das konfigurieren.
Den genauen Eintrag weiß ich jetzt nicht auswendig.
Steht aber hier in der Doku (RollingFileAppender):
http://logback.qos.ch/manual/appenders.html