Fahrtkosten Wohnung Arbeitsstätte bei doppelter Haushaltsführung

Ich habe in den Jahren 2004 und 2005 (bis September) in Lüneburg gearbeitet und hatte meinen Hauptwohnsitz (Familie) in Wuppertal. Es bestand in Scharnebeck (Nähe von Lüneburg) ein 2. Wohnsitz im Rahmen der doppelten Haushaltsführung.
Ich habe jeweils an Freitagen die Fahrtkosten einfache Entfernung als Familienheimfahrten eingereicht und anerkannt bekommen.
Die Fahrten jeweils montagsmorgens von Wuppertal nach Lüneburg (in der umgekehrten Richtung) direkt zur Arbeitsstätte habe ich als Fahrtkosten Wohnung zur Arbeiststätte eibgereicht, die aber komplett vom Finanzamt gestrichen wurden. Dabei ignoriert das Finanzamt, dass es sich nicht um Familienheimfahrten handelt, sondern um Fahrten zwischen Wohnung und Arbeitsstätte handelt.
Meine Frage:
Ist es explizit geregelt (wenn ja, bitte wo?), dass bei einer doppelten Haushaltsführung die Fahrten vom Hauptwohnsitz (mit der längeren Entfernung) grundsätzlich nicht als Fahrten zwischen Wohnung und Arbeitsstätte anerkannt werden?