Pachtvertrag

Ich habe ein Grundstück (1600m²) übertragen bekommen. Auf diesem Grundstück wurde vor ca. 20 Jahren ein Gartenhaus (Massivbau) errichtet. Dies geschah ohne Einwilligung des damaligen Eigentümers und ohne die Einholung von Genehmigungen.
Dieses Grundstück wurde an meine Eltern vererbt. Im Jahr 2003 wurde mit dem Nutzer des Gartenhauses ein landwitschaftl. Pachtvertrag abgeschlossen. Dieser sieht ausschließl. eine Nutzung als Garten und zur Kleintierhaltung vor. Eine Klausel die den Pächter nach Ablauf des Pachtvertrages zur Entfernung des Gebäudes verpflichtet ist vorhanden. Der Vertrag ist mittlerweile unbefristet gültig.
Dieses Grundstück ist nach Beantragung zum Bauland ernannt worden. Ich möchte es nun zum Bau eines Eigenheimes selber nutzen.
Habe ich durch die veränderte Widmung des Grundstückes ein außerordentliches Kündigungsrecht? Welche Kündigungsfristen müssen eingehalten werden? Besteht seitens des Pächters ein Gewohnheitsrecht? Kann die Höhe der Pacht dem Wertzuwachs des Grundstückes angepasst werden?