Hallo Daniel,
das Problem kommt mir bekannt vor. Bei meinem Echelle habe ich folgende Ursachen festgestellt für den Unterschied der Blazefunktionen zwischen Flat- und Sciencespektrum:
1. falsches Alignment beim Einkoppeln des Flatlichts in die Faser (50 mu rund), dadurch verschiedene F-Ratio am Ausgang der Faser.
2. verschiedene F-Ratio beim Einkoppeln, Auswirkung ähnlich, ebenso Sekundärspiegel Teleskop.
3. verschmutzte, resp. defekte Faser, dadurch ungleichmässige Ausleuchtung im Fernfeld
4. asymmetrische Ausleuchtung des Kameraobjektivs und Crossprismas duch das Gitter, dadurch Vignettierung am roten resp. blauen Ende der Gitterordnung, ergibt zusammen mit 1-3 Abweichungen der Blazefunktion(sehen so aus wie im Paper beschrieben). Genaue Justierung des Strahlengangs mit Weisslicht erforderlich, dazu ist ein genügend lichtstarkes Objektiv hilfreich (ausser Du verwendest eine White Pupil).
5. Kameraverschluss (SBIG8300 mit rotierendem Verschluss). Bei kurzen Verschlusszeiten (Flat) ungleichmässige Belichtung von Seite zu Seite, abhängig von Belichtungszeit, da der Verschluss beim Öffnen und Schliessen beschleunigt, macht sich besonders nach dem Zusammensetzen der Ordnungen bemerkbar, lässt sich aber leicht korrigieren.
Ich tippe auf Punkt 4, da Du Punkt 1 und 2 ausschliesst und vermutlich sauber arbeitest.
Zur Kontrolle der Polarisation, wie von Tobias erwwähnt, würde ich eine Lambda/2 Platte in zwei Positionen, 0° und 45° gedreht, beim Kollimator einbauen und die Veränderungen beobachten. Ich bin nicht sicher, ob ein "grauer" Strahlteiler, was Du immer damit meinst, nicht polarisiert.
Wenn Du das Problem mit dem Flat gelöst hast, bei der Wellenlängenkalibrierung taucht die gleiche Problematik nochmals auf, und zwar als Kalibrierfehler bei ungleiche Ausleuchtung des Gitters mit Referenz und Sciencelicht, siehe z.B.
https://arxiv.org/abs/1001.0794
bei mir hat das rund +/-500m/sec ausgemacht, zum Glück reproduzierbar (gemessen mit H2O Linien um H-alpha)
Viel Erfolg bei der Fehlersuche,
Martin