Forum der Vereinigung der Sternfreunde

Hallo,

dieser Thread soll dazu dienen, unklare Punkte aus dem MIDAS-Kurs zu diskutieren.
Da wird sicher die eine oder andere Frage auftauchen.

Herzliche Grüße
Siegfried

Am 03.11.2014 um 12:20 schrieb Hold Siegfried: (das glaube ich gerne)
würde ich gerne diskutieren.. nur leider habe ich meinen Usernamen
vergessen.. aber registriert sein muss ich wohl, weil ich kann unter
meiner emailadress gpiehler(at)mainz-online.de nicht nochmal registrieren...

Gruß
Georg.

auch ich bin bei weiteren MIDAS-DIskussionen dabei. Bin z Zt dabei ein logfile zu bearbeiten, daß es ein bißchen übersichtlicher wird.
Gruß Rolf

Gute Idee! Habe gestern noch Fedora auf meinem Desktop-Rechner installiert und bin auch gerade bei den Log-Files

Grüße

Ulrich

Hallo Georg,
dein Username ist "Dr. Georg Piehler"
Dein Passwort musst du selbst wissen.

_________________
Herzliche Grüße / best regards

Lothar

https://lotharschanne.wordpress.com/

Hallo,

SMS akzeptiert mein Vergleichsspektrum nicht! Egal welchen threshold man einstellt, da kommt nichts raus, obwohl gut belichtet.
Ich vermute, SMS erwartet einen Streifen und nicht einen Punkt (von der Faser). Bleibt noch das ganze zu Fuß abarbeiten, wie in
Heppenheim gesehen. Wollte auf die Schnelle ein Deneb-Profil auswerten. Montag und Dienstag, vorm Wetter Umschwung,
sind noch einige Aufnahmen gelungen.

Gruß
Siegfried

Am Freitag, den 07.11.2014, 14:18 +0100 schrieb Hold Siegfried:
Ja, richtig. SMS heißt Spektrograph Mit Spalt.
Für LL-gekoppelte Spektrographen sollte man sich eigene Routinen
schreiben. Der Weg zu Fuß ist da eine gute Möglichkeit sich an die
Arbeitsweise von Midas zu gewöhnen.

Gruß
günter

_________________
Im längsten Frieden spricht der Mensch nicht so viel Unsinn und Unwahrheit als im kürzesten Kriege. (Jean Paul)

Hallo,

wie entfernt man warme Pixel in MIDAS?
Bei meinen Übungen sitzt ein "Warmer Pixel" genau im Bereich der Emission von Deneb, siehe Screenshot.
Hier für die Übung ist nur 1 light und 1 dark verwendet. dieser warme Pixel wird beim Mitteln vermutlich verschwinden.
Um das Signal nicht zu verfälschen, kann nur ein Vergleich mit den Nachbarpixel sinnvoll sein, denke ich.

Gruß
Siegfried

Hallo Siegfried,
ich würde mit den Pixeln senkrecht zur Dispersionsrichtung mitteln, sofern Dein Spektrum mehr als zwei Pixelreihen belegt. Probier Median und Mittelwert. Falls das kein befriedigendes Ergebnis liefert, kann man aus den Pixelwerten darunter/darüber und rechts und links davon Parabeln bilden und diese mitteln und dann auf die fragliche Zeile anwenden.
Viele Grüße
Christian

Hallo Christian,
das ist schon eine sehr mühsame Prozedur den Wert von einem Pixel zu ändern!

Gruß
Siegfried

Hallo Siegfried,
Iraf macht das innerhalb der Funktion apall (mnem: aperture all) automatisch, wenn die Variable clean auf yes gesetzt wird. Wenn meine Erinnerung nicht täuscht, gibt es sowas auch in Midas. Ich bin mir aber nicht sicher.
Viele Grüße
Christian

Hallo Christian,

danke für die Hinweise!
Bin noch am durchwühlen der Help, habe aber noch nichts gefunden. Obwohl einem beim Suchen so einiges nützliches unterkommt!
Und da taucht gleich die nächste Frage auf, nämlich die Achsenbeschriftung. Bei Untersuchungen der Emission wäre es nützlich, wenn die
X-Achse auch oben beschriftet wäre. Je tiefer man eintaucht, umso mehr Fragen ergeben sich.

Viele Grüße
Siegfried

Hi Siegfried,

heisse Pixel (hp) sollten durch das Dark entfernt werden. Falls es also kein hp sondern eher ein Cosmic ist, so empfehle ich die Science-Aufnahmen per Median zu mitteln.

Gruss,
Daniel

_________________
Daniel P. Sablowski

https://www.kunstmann.de/buch/axel_hack ... 42000/t-2/
https://dpsablowski.wordpress.com
https://github.com/DPSablowski
https://www.aip.de/mitglieder/dsablowski/

Hallo Daniel,

dieser hp verschwindet auch beim Mitteln mehrere Aufnahmen. Mir geht es hier darum, wie ein einzelner Pixel korrigiert werden kann.
Hin und wieder passiert es eben das ein "Ausreißer" übrig bleibt.

Gruß
Siegfried

Hallo Siegfried,

wenn das ein Ausreisser ist und du Median verwendest, dann bleibt da nix übrig

Daniel

_________________
Daniel P. Sablowski

https://www.kunstmann.de/buch/axel_hack ... 42000/t-2/
https://dpsablowski.wordpress.com
https://github.com/DPSablowski
https://www.aip.de/mitglieder/dsablowski/

Hi,
bei der software zu der Sigma oder NOVACCD kann man einzelne Pixel, einzelne Zeilen oder auch Spalten definieren durch Anklicken . Dann werden die durch einen Mittelwert der Umgebung ersetzt.

berthold

Hallo -

in dunkler Vergangenheit erinnere ich mich das dieses MIDAS garantiert kann.
Auch wenn ich es nicht jetzt direkt durchprobiert habe. Ich denke, wenn man sich mal Help Modify/Pixel zu Gemüte führt, wird man dort oder auch den verwandten Befehlen die passende Info und die Möglichkeiten der Pixel-Modifikation erforschen können..

Bei der generellen Arbeit mit MIDAS darf man nicht vergessen, das das Bearbeitungskonzept grundsätzlich eher so war, das es neben einem ASCII-Terminal ein Grafic-Device gab.. - daher ist die Verarbeitung eher Befehls orientiert. X11 basierende Installationen kamen erst Ende der 80-iger Jahren auf. Dort wurde dann mal tatsächlich in einem Fenster auf einem Bild was geklickt - so wie es heute eher üblich ist.

Viel Spass und Qapla’

Georg

Hallo,
bei meiner Iraf-Präsentation hatte ich ein Bias vom Objektspektrum subtrahiert. Normalerweise nimmt man dazu ein Dark. zur Begründung habe ich auf ein Dark mit 300 s Belichtung, einem Durchschnitt von 10 Bias und der Differenz beider Bilder die Iraf-Funktion imstatistics angewendet, wobei ich bei den letzten drei Zeilen die Pixelwerte nach oben bei 1000 abgeschnitten habe. Zusätzlich habe ich das Differenzbild noch mit surface als Graphik dargestellt. Nach unten habe ich kein Limit eingegeben, daher die negativen Werte beim Minimum.

# IMAGE NPIX MEAN STDDEV MIN MAX
dark 2131508 383.7 105.2 213. 65535.
bias 2131508 371.2 11.5 283. 468.
bdark 2131508 12.46 105.2 -179. 65126.

dark 2129981 382.5 39.9 213. 1000.
bias 2131508 371.2 11.5 283. 468.
bdark 2130821 11.61 42.92 -179. 999.5

Kamera: Atik 383L+ bei T=-25 C°
Man sieht, daß bis auf die heißen Pixel der Dunkelstrom vernachlässigbar ist.
Viele Grüße
Christian

Hallo - wenn ich das richtig verstanden habe, ist das Dark-Bias so um die 12 Counts...
Das mag nur eine kleine absolute Differenz zu sein...

Was mir mehr Sorgen macht ist die STD-Abweichung im Dark und im Bias... die vom Dark ist deutlich höher... diese STD-Abweichung wird man auch bei schwachen Signalen kleines S/N im unkorrigiertem CCD-Bild haben.

Wenn man nur mit dem BIAS subtrahiert wird dieser erhöhten STD-Abweichung nicht Rechnung getragen. Ich kann mir vorstellen, das das bei schwachen Signalen eine Auswirkung hat..

Wenn das Wetter wieder mal hinreichend klar ist, werde ich dieses mal an einem Bild mit geringem S/N austesten.

Hast Du Dir mal die STD-Abweichung als Funktion der Chip-Temperatur angeschaut?

Gruß Georg.

Hallo,
bezüglich hot pixel und cosmics habe ich bei der ESO folgendes gefunden:

If two or more spectra have been taken under the same conditions, a very efficient way of removing particle hits from the raw data is to replace pixel values with large deviations from other observations with a local estimator, as done in the command COMBINE/LONG.

If multiple images are not available, cosmic ray hits have to be filtered out by a different method. The main requirement is that the image is not changed where there are no hits, especially on the area covered by the object under study. This can for instance be done with the command:

FILTER/MEDIAN inframe outframe 0,3,0.3 NR subframe

where subframe defines the region to filter. But you may wish to try other parameters and parameter values. This step is done twice to remove the hits on the sky on each side of the object.

Those cosmic ray hits in the area surrounding the object spectrum, which are particularly disturbing, were removed one by one using MODIFY/AREA ? ? 1, and working with the cursor on a zoomed display. Particular care must be exercised here, in order to modify only the few pixels affected by cosmic rays. For point sources and extended sources with very smoothly varying spatial profiles, FILTER/MEDIAN may also be tried. However, in order to preserve the instrumental profile the filter width along the dispersion axis must be set to 0.

Another possibility is to use the command FILTER/COSMIC. The algorithm detects hot pixels from a comparison of the pixel value with the ones of the neighbouring pixels. It rejects every `feature' that is more strongly peaked than the point spread function.

Regardless of the method used, it is necessary to check the performance of the filter by careful inspection of the difference between raw and filtered image which can be computed as COMPUTE/IMA TEST = RAW-FILTERED.


Habe es allerdings NICHT selbst ausprobiert.
Gruß Rolf

Hallo,

habe inzwischen die ganze Prozedur mit 2 Objektaufnahmen und 5 dark gemacht. Da ist auch alles in Oednung, keine heißen Pixel.
Wollte nur schaun wie das in MIDAS geht.

Gruß
Siegfried

Hallo,

wie sollte ein Flat, mit Faser gewonnen, normiert werden. Nehme an, die gleichen Zeilen wie bei den Objektdaten und nicht das ganze Feld?

Gruß
Siegfried

Hallo Siegfried,
meiner Ansicht nach ist das die einzige Möglichkeit. Aber möglicherweise kann Daniel mehr dazu sagen.
Viele Grüße
Christian

Hallo Siegfried, was meinst Du mit "Flat normieren"?

Gruß, Thomas

Hallo Thomas,

in Heppenheim haben wir aus dem gemitteltem Flat den median ermittelt und dann das Flat damit dividiert.
Damit sollte der Bereich in dem das Objektspektrum liegt, auf 1 gesetzt sein. Mit Abweichungen nach oben und unten,
Schmutz oder Aufhellung. Da wo nix ist wird das light durch 1 dividiert und somit nicht beschnitten!
So habe ich das verstanden.

Gruß
Siegfried

Hallo Thomas,

warum man Flats normiert, oder auch nicht, steht sehr ausführlich in

Phillip Massey
A User's Guide to CCD Reductions with IRAF

Seite 19f, 3.9 Normalizing Spectroscopi Flats using "response"

Die Midashilfe zu NORMAL/FLAT gibt da leider nicht so viel her. Auch in unserem Standardwerk

Phillip Massey, Margaret Hanson
Astronomical Spectroscopy

wird die Normierung der Flats vorausgesetzt aber nicht weiter diskutiert.

günter

_________________
Im längsten Frieden spricht der Mensch nicht so viel Unsinn und Unwahrheit als im kürzesten Kriege. (Jean Paul)

Dachte ich's mir doch, die berühmte Response.

"A User's Guide to CCD Reductions with IRAF" bekomme ich nicht geladen und kann es mir daher nicht ansehen (warum steht der nicht in der FG-Seite?). Massey & Hanson schreiben in "Astronomical Spectroscopy" aber auch:

"The basic premise... is that one should neither observe nor reduce data by rote. Simply subtracting biases because all of one's colleagues subtract biases is an inadequate reason for doing so. One needs to examine the particular data to see if doing so helps or harms. Similarly, unless one is prepared to do a little math, one might do more harm than good by flat-fielding. Software reduction packages, such as IRAF or ESO-MIDAS are extremely useful tools-in the right hands. But, one should never let the software provide a guide to reducing data. Rather, the astronomer should do the guiding. One should strive to understand the steps involved at the level that one could (in principle) reproduce the results with a hand calculator!"

Deshalb frage ich nach der Normierung, die i.d.R. unnötig ist. Eine Response macht m.E. nur bei sehr breiten Linien (WR) Sinn.

Gruß, Thomas

So, ich habe Massey gefunden, entpackt und den entsprechenden Teil gelesen.

Er schreibt "One has to be very careful here that one does not do more harm than good, however, in fitting the flat feld."

Und weiter:

We would like to remove the large-scale, wavelength-dependent structure that is peculiar to the flat-field itself, e.g., removing bumps and wiggles which are found in the flat-field source but not found in the stellar or sky spectrum. These bumps, wiggles, and color effects can exist due to (a) the lamps being of a very different temperature than the celestial sources you are observing, (b) transmission features in any color-balance flters used with the projector lamps, and (c) the wavelength-dependence refectivity of whatever you are shining the project lamps on.

Genau so ist das. Eine generelle Anwendung dieser Response ist nicht empfehlenswert. Sie liefert potenziell zusätzliches Rauschen und globale Intensitätsabweichungen, die das Endergebnis verschlechtern können. Nur wenn es wirklich nötig ist sollte sie angewendet werden.

Gruß, Thomas

Uuups, das hier habe ich jetzt gerade erst gesehen. Ehrlich gesagt, verstehe ich das immer noch nicht. Dieses gemittelte Masterflat habt ihr also noch einmal durch dessen Median dividiert? Und dann das Spektrum durch dieses median-reduzierte Flat dividiert? Warum soll das Objektspektrum noch vor dem kollabieren auf 1 gesetzt werden? Was ist das Ziel? Vielleicht können die Mentoren das noch einmal kurz erläutern. Ich will nicht sagen, dass ich das alles besser weiß und vielleicht führt das hier jetzt zu weit, ich versteh es aber wirklich nicht.

Gruß, Thomas

Hallo,

wir haben ja Übungen gemacht und nicht einfach eine fest stehende Routine durchgeführt. Ziel war es dabei auch, Möglichkeiten des Umgangs mit Bilddateien, wie z.B. Rechenoperationen auf alle Pixel etc., zu demonstrieren bzw. durchzuführen. Also auch mit den Möglichkeiten von Midas zu spielen.

Ein Beispiel wie man eine Rechenoperation auf alle Pixel einer Aufnahme anwenden kann war, den Durchschnitt des Flats zu bestimmen, es mit dem Median der entsprechenden Darkserie zu korrigieren und dann den Durchschnittswert (Mean) dieses darkkorrigierten Flats zu bestimmen. Diese Zahl haben wir dann verwendet und haben das darkkorrigierte Flat damit normiert, in dem wir es durch diese Zahl (mittlere Pixel-Intensität) geteilt haben. Resultat ist ein mittleres Flat, dessen Pixel im Mittel eine Intensität von 1 haben, aber immer noch alle Informationen des ursprünglichen enthält (Strukturen, etc.).

Wenn man dieses "normierte" Masterflat verwendet und die zugehörigen Science-Aufnahmen durch es teilt, werden die absoluten Intensitäten dieser Science-Aufnahmen im Mittel nicht wesentlich verändert. Das ist zwar nicht wichtig, war aber eine nette Übung. Das Teilen der Science durch das ursprüngliche Flat ergibt ja Pixelintensitäten, die meist unter 1 liegen, weil das Flat stärker belichtet ist. Ist auch nicht wichtig, aber irgendwie unschön.

Es war also eine überwiegend pädagogische Übung, die nicht zwingend ist.

_________________
Herzliche Grüße / best regards

Lothar

https://lotharschanne.wordpress.com/

Hallo Siegfried,

sorry, ich kann momentan aus Zeitgründen die Forumsaktivität nicht in Echtzeit verfolgen.

Was Lothar genau mit Euch gemacht hat, weiß ich nicht.

Prinzipiell gibt es bei der Datenreduktion keine Unterschiede zwischen Faser- und Spaltdaten.

Was unseren Lord Eversberg verwirrt ist klar: Median ist eine Methode der Mittelwertbildung und ist damit bereits bei der Mittelung der Aufnahmen (ob nun Flat, Bias, Dark, Objekt oder Hau-Mich-Tot-Daten ist egal) zu wählen oder eben das arithmetische Mittel. Für kleine Stichproben ist der Median besser, für grössere sollte des Arithmetische gegen den Median streben (zumindest für normale CCD-Aufnahmen).

Durch was man dann das extrahierte Flat dividiert ist schnuppe. Wenn man es überhaupt braucht/will wird das fertige Objektspektrum am Ende (der Reduktion) an irgendeiner Stelle des Kontinuums auf 1 gesetzt.

Aber wie ich zumindest in meiner Windows-Gruppe betont habe: Wenn ein Flat die Daten verschlechtert, dann nicht verwenden! Aber wegen Einflüsse von Artefakten (Abschattungen) immer eines aufnehmen zum vergleichen!

Gruss,
Daniel

_________________
Daniel P. Sablowski

https://www.kunstmann.de/buch/axel_hack ... 42000/t-2/
https://dpsablowski.wordpress.com
https://github.com/DPSablowski
https://www.aip.de/mitglieder/dsablowski/

Ah, jetzt ist alles klar. Danke ihr zwei Könige!
Euer Lord

Es war mir eine Ehre!

_________________
Daniel P. Sablowski

https://www.kunstmann.de/buch/axel_hack ... 42000/t-2/
https://dpsablowski.wordpress.com
https://github.com/DPSablowski
https://www.aip.de/mitglieder/dsablowski/

Hallo,

zunächst vielen Dank für die Erläuterungen. Ist nicht auszuschließen das MIDAS und ich noch Freunde werden.
Ich arbeite mich halt Punkt für Punkt durch und melde mich wenn's nicht weitergeht. Dazu ist dieses Forum ja bestens geeignet.

Herzliche Grüße
Siegfried

Hallo Thomas,
hier ist der entsprechende Link:
http://iraf.noao.edu/docs/spectra.html
Da findet man ein ganzes Konvolut von Anleitungen. Für Iraf-Nutzer is vor allem "A Beginners Guide to Using IRAF" von Jeanette Barnes nütztlich.
Viele Grüße
Christian

Arbeit adelt. Wir bleiben bürgerlich.

Hallo,

komme bei der Kalibrierung nicht weiter!
Wo ist hier der Hund begraben?

Gruß
Siegfried

Hallo Siegfried,
auch ich bin Neuling in der Verwendung von Midas, habe neben Dir in der "Übungsstunde" bei Lothar gesessen.
Nun denke ich den kleinen Fehler bei Deinen Angaben bemerkt zu haben, u.zw.
Nach Eingabe von
IDENT/LONG Neon....bdf
hast Du die 2 Wellenlängen entsprechend eingetragen, aber zum Abschluss des zweiten Eintrags bist Du nicht noch einmal mit dem Cursor auf das Fraktogramm gefahren und hast nicht mit der rechten Mausklick abgeschlossen.
Dadurch waren die Wellenlängen nicht registriert worden.
Das sehe ich daran, dass nach dem nächsten command
CALIBR/LONG
die letzten drei Zeilen der Antwort fehlen.
Diese sind: Initial Wav. : 6449.6
Final Wav. : 6755.415
Step : 0.199
Ich hoffe Dir damit gedient zu haben!
Gruß
Hans-Werner

Hallo,
die Kalibration ist meiner Ansicht nach die größte Schwachstelle bei MIDAS, da sie extrem fehleranfällig ist. Nachdem bei mir das ganze MIDAS wegen fehlerhafter Eingaben x-mal abgestürzt ist, habe ich mich zum Umstieg entschlossen. Bei dem analogen Befehl identify in Iraf gehst Du mit dem Cursor auf eine Linie, drückst die m-Taste und gibst die gewünschte ungefähre Wellenlänge ein. Nach zwei oder drei Wellenlängen gibst Du ein l ein und alles wird mit dem Linienkatalog verglichen. Das ist alles, was zu tun ist. Wenn man sieht, daß man die falschen Wellenlängen eingegeben hat, hat man das korrigieren, indem die alte Eingabe gelöscht und durch einen neuen Wert ersetzt wird. Das geht selbst dann, wenn ich identify verlassen habe. Ich kann diese Funktion später wieder aufrufen und die Eingabe verbessern.
Viel Spaß weiterhin mit MIDAS!
Christian

Hallo Hans-Werner,

wie Christian bemerkt ist MIDAS doch nicht so Fehlerfrei wie immer wieder betont wird!
Also die rechte Maustaste habe ich nach Eingabe der Wellenlänge gedrückt, auch threshold
auf 0.01 eingestellt, wie in der Anleitung von Günter steht. Die Kalibration mit den Daten von Lothar ( Langspalt)
funktioniert Fehlerfrei.
Ärgerlich!

Gruß
Siegfried

Hallo Siegfried und Christian,
ist ja interessant. Ich werde mich vorerst richtig mit Midas vertraut machen und jede Stufe des Ablaufs mit Verständnis erarbeiten. Mal sehen!
Nun habe ich auf Ubuntu Midas und Iraf eingerichtet. Nachdem ich Midas weitgehend verstanden habe, konzentriere ich mich auf Iraf.
Für den Start von Iraf möchte ich mich bei Dir Christian bedanken!
Gruß Hans-Werner