Forum der Vereinigung der Sternfreunde

Hey,

Malin und ich haben nun begonnen uns mit Midas auseinander zu setzten. Unsere Motivation war Anfangs eigentlich, dass wir genau wissen wollten, was so mit den Daten passiert - einfach die "black boxes" hinter uns lassen!

Nach allerersten eigenen Versuchen konnten wir uns auch für 3 Stunden mit Lothar treffen, der uns sehr geduldig ein wenig in das Programm eingeführt hat.

Nun macht es inzwischen auch noch Spaß, sich näher mit der Reduktion von Daten auseinander zu setzen. Ich denke für die Windows User ist der schwierigste Schritt einfach anzufangen und sich auf etwas neues einzulassen. Ich kann aber jeden dazu ermuntern !!!



So nun aber zum aktuellen Problem. Ich habe es bisher nicht hinbekommen das Spektrum nach der Wellenlänge zu kalibrieren. Ich habe dazu eine Tabelle angelegt mit den Wasserlinien und möchte dann Midas im Context long Linien finden lassen. Dort kommt aber immer eine Fehlermeldung!

Midas 007> SEARCH/LONG deneb_sky .03 30 ? ? ? abs
search lines
------------
input image : deneb_sky
output table : line.tbl
input parameters
search window : 30 pixels
detection threshold : 0.03 DN
average on : 0 scan-lines
step of : 1 scan-lines
centering method : gaussian fit
search for absorption lines
*** stack smashing detected ***: /usr/lib/eso-midas/15SEP/stdred/exec/lnsearch.exe terminated

Program received signal SIGABRT: Process abort signal.

Backtrace for this error:
#0 0x7F33A40A3E08
#1 0x7F33A40A2F90
#2 0x7F33A39EA4AF
#3 0x7F33A39EA428
#4 0x7F33A39EC029
#5 0x7F33A3A2C7E9
#6 0x7F33A3ACE11B
#7 0x7F33A3ACE0BF
#8 0x401B75

Program received signal SIGSEGV: Segmentation fault - invalid memory reference.

Backtrace for this error:
#0 0x7F33A40A3E08
#1 0x7F33A40A2F90
#2 0x7F33A39EA4AF
#3 0x7F33A356ECCB
#4 0x7F33A3570667
#5 0x7F33A40A3E08
#6 0x7F33A40A2F90
#7 0x7F33A39EA4AF
#8 0x7F33A39EA428
#9 0x7F33A39EC029
#10 0x7F33A3A2C7E9
#11 0x7F33A3ACE11B
#12 0x7F33A3ACE0BF
#13 0x401B75
(ERR) Problems in executing /usr/lib/eso-midas/15SEP/stdred/exec/lnsearch.exe

Kann mir da jemand weiterhelfen?


Dann habe ich bei der 6573 Wasserlinie ein "dunkles" Pixel. da weiß ich nicht so recht ob es an der Kamera liegt oder an einer nicht optimalen Reduktion. Für die gemittelten Bilder habe ich average/img genutzt. Eventuell ist hier der Median besser? Wenn ja, sollte man den Median für alle Daten nutzen oder nur für bestimmte?
Mein genutztes Rezept lässt sich auf jeden Fall noch vereinfachen/zusammenfassen bzw. in einer klügeren Reihenfolge rechnen (Ich hoffe da wird jemand schlau draus, die Reihenfolge ist der Befehle ist ein wenig durcheinander, da ich vergessen hatte das flat zu normalisieren) :

Midas 016> COMPUT/IMAG flat_corr = ((flat_mean.bdf - bias_mean.bdf) - (dark_mean.bdf - bias_mean.bdf) * (245/4200))
Midas 023> COMPUT/IMAG flat_corr.bdf = flat_corr.bdf / 2.848364e+04
Midas 019> COMPUT/IMAG dark_corr = (dark_mean.bdf - bias_mean.bdf)
Midas 020> COMPUT/IMAG deneb_corr = ((((deneb_mean.bdf - bias_mean.bdf) - dark_corr.bdf) * (1800 / 2400)) / flat_corr.bdf)


Viele Grüße und CS
Christoph

Hallo,
MIDAS ist in dieser Hinsicht einfach Schrott. Dieser Programmierer wäre bei jeder halbwegs normalen Firme rausgeschmissen worden. Nahezu alle anderen Programme sind einfacher zu handhaben.
Ich habe früher Stunden mit vergeblichen Versuchen vertrödelt, bis ich es satt hatte und auf das modernere IRAF umgestiegen bin. Das klappte nach drei Tagen Einarbeitung ohne jede Hilfe.
Bei den Profis ist aus gutem Grund MIDAS fast vollständig verdrängt worden. Die ESO, für die MIDAS eigentlich geschrieben war, hat sich davon auch längst verabschiedet.
Viele Grüße
Christian

Hey Christian,

ja ich habe mir selber schon Gedacht, dass ESO MIDAS eigentlich ganz toll ist, aber die Wellenlängenkalibration wohl ein großer Schwachpunkt.

Allerdings kann ich mich persönlich (im Moment ?!) einfach nicht mit NOAO IRAF anfreunden. Ich kann es gar nicht so recht beschreiben. Die Befehlsstruktur ist anders und es werden so ne Art "textbasierte Auswahlfelder" genutzt. Dazu produzierte es schon während der Installation laufend Fehler. Ist wohl einfach Geschmackssache!

Fällt mir grad ein: Was mir in den Videos zu IRAFso aufgefallen war, ist dass dort eigentlich nie von Darks die Rede ist. Sind die Profikameras durch die Stickstoffkühlung vom thermischen Rauschen befreit?

Aber zurück zum Thema, wenn es nicht komplett sinnlos ist, weil die Kalibrationsprobleme zu gravierend sind, würde ich trotzdem erst einmal aus den nicht rationellen Gründen bei MIDAS bleiben.

Viele Grüße und CS
Christoph

Naja, MIDAS als " Schrott" zu bezeichnen, finde ich befremdlich und ich kann in solchen Bemerkungen nicht die hier gebotene Sachlichkeit erkennen.
Für uns Amateure dürfte midas in jeder Hinsicht ausreichen. Aber gut, ich habe folgendes ! Wie ich hoffe, Zweckdienlichere anzumerken:

Günter Gebhard hat eine sehr hilfreiche Anleitung verfasst, die heißt:

"Erste Schritte mit midas" . Da ist Alles im Detail beschrieben, was man zur Reduktion von Spektren unter MIDAS benötigt, selbstverständlich auch deren Kalibrierung. Wenn man sich das sorgfältig ansieht, gibt es da keine "Black Box" mehr.

Darüber hinaus gibt es auf der Homepage des genannten Autoren, zwei Skripte, mit denen unter Midas Spektren weitgehend automatisch reduziert werden können, sowohl Spektren von spaltlosen Spektrographen (OPA) und von Spektrographen mit Spalt ( SMS). Das kann ich dem geneigtem Leser nur sehr empfehlen.

Berthold

Hallo,
selbstverständlich wird auch bei Iraf mit darks gearbeitet. Die werden subtrahiert:

imarith objektspektrum.fit - dark.fit xyz.fit



apall xyz.fit
apall = all apertures. xyz wird zu einem 1-dim. Spektrum reduziert

apall Ne out=Ne ref= xyz recenter- trace- back- interaction-
Das Kalibrationsspektrum Ne.fit wird zu einem 1-dim. Spektrum Ne.ms.fits reduziert und zwar genau auf denselben Pixeln wie xyz

identify Ne.ms.fits
Den Ne-Linien werden die Wellenlängen zugeordnet, wobei meistens 2 oder 3 reichen

hedit ne.ms.fits REFSPEC1 "Ne.ms.fits" add+ ver- show+
hedit. edit header

dispcor xyz.ms.fits xyzcal.ms.fits
dispcor. correct dispersion, d. h. Wellenlängen werden zugeordenet

continuum xyz.ms.fits xyznor.ms.fits
Normalisierung

Fertig! Das waren 7 Befehle.
Bei apall, identify und continuum öffnen sich automatisch Fenster, in denen die Verarbeitung graphisch unterstützt wird.
Christian

Hallo Christoph, bitte schicke mir das Bild deneb_sky als Fits oder auch bdf. Dann werden wir mal sehen, ob man mit so einem Schrottprogramm wie ESO-Midas tatsächlich vernünftig arbeiten kann.

Zuversichtlich grüßt günter

_________________
Im längsten Frieden spricht der Mensch nicht so viel Unsinn und Unwahrheit als im kürzesten Kriege. (Jean Paul)

Auf meiner Homepage gibt es momentan keine Links mehr zu den Midas-Kontexten OPA uns SMS und auch nicht zu den Ersten Schritten.
günter

_________________
Im längsten Frieden spricht der Mensch nicht so viel Unsinn und Unwahrheit als im kürzesten Kriege. (Jean Paul)

Ja , ich wusste nicht, dass diese links nicht mehr bestehen; ich hätte vorher das prüfen sollen, ist aber in jedem Fall ein grosser Nachteil, das waren sehr lehrreiche contexte insbesondere auch im Hinblick auf deren ausführliche Kommentierung. Diese Programme setzten alle auf MIDAS auf, ich habe lange damit gearbeitet. Wenn trotz der hier geäusserten negativen Einschätzung jemand an diesen Programmen und deren Erläuterunng interessiert ist, müsste er sich halt direkt an Günter Gebhard wenden.

berthold

Hallo,
offensichtlich teilt Ihr mein Urteil nicht so ganz . Ich habe während meine beruflichen Tätigkeit mit sehr vielen Softwareprodukten und -Umgebungen zu tun gehabt. Ebenso war ich auch von fachlicher Seite an der Entwicklung von Software beteiligt. Ich habe auch versicherungsmathematische Anwendungen selbst programmiert. Daher glaube ich mit diesem Hintergrund mir ein Urteil erlauben zu dürfen. Zur Entwicklung professioneller Software gehört mehr als Programmierkenntnisse. Ein ganz wichtiger Punkt sind die Plausibilitätsprüfungen von Benutzereingaben. Wird z. B. eine Dezimalzahl gefragt, muss unbedingt geprüft werden, ob die Eingabe wirklich eine Dezimalzahl darstellt, z. B. ob höchstens ein Dezimalkomma vorhanden ist und der Rest nur aus Ziffern besteht. Ein weiteres Kriterium ist, ob diese Zahl im zulässigen wertebereich liegt. Professionelle Programme sind voller Plausibilitätsprüfung, damit die Stabilität gewährleistet ist.
Daran mangelt es bei der MIDAS Routine für die Kalibration total. Ich kann mich nicht erinnern, jemals eine derartig fehlerhafte Software gesehen zu haben, wenn man von den ersten VisualSpec Versionen absieht. Heute soll dieses Programm ja erheblich verbessert worden sein.
Als MIDAS entstand waren Programmierer in Deutschland absolute Mangelware. Die wenigen guten gingen lieber in die Wirtschaft, die erheblich bessere Gehälter bot. Die Ausbildung auf akademischen Niveau war damals in Deutschland in den ersten Anfängen. In den USA war man damals viel weiter, so daß es dort wesentlich bessere Voraussetzungen gab.
Es ist natürlich auch möglich, daß diese Routine von einem Wissenschaftler für den zeitlich begrenzten eigenen Gebrauch geschrieben wurde. In solchen Fällen treibt man natürlich nicht soviel Aufwand.
Wie auch immer, ich bleibe dabei, daß dieser Teil von MIDAS nicht im entferntesten Minimalkriterien genügt.
Viele Grüße
Christian

Hallo,

okay, vielen Dank erst einmal für die Meinungen Ideen und Hilfe.

Wir werden uns auch nach und nach IRAF gerne noch einmal angucken und dann entscheiden! Vielen Dank, Christian, für die Anleitungen. Erst einmal aber gucken, ob wir das in MIDAS gelöst bekommen...

Zu den Skripten möchten wir erst später kommen, da dort ja wieder alles, wenn auch nachvollziehbar, automatisiert abläuft. Zuerst einfach verstehen und ausprobieren, was mit den Daten so passiert!

Eigentlich ist doch der Quellcode von MIDAS frei zugänglich oder? Gibt es denn jemanden hier im Forum, der so fit im Programmieren ist, dass er die Probleme beheben könnte?

Viele Grüße und CS
Christoph

Vergiß das! Es ist eine alte Erfahrung, daß in solchen Fällen der Aufwand für eine Neuprogrammierung mit Sicherheit niedriger ist als sich in einem fremden Code zurechtzufinden.
Christian

Hallo Christian,

ja das habe ich fast befürchtet! Wahrscheinlich wäre es großer Zufall, wenn wenn etwas so gut dokumentiert ist, dass man gleich durchsteigt?!

Allerdings habe ich es nun mit der Kalibration hinbekommen. Es war aber eher Trail and Error... . Mir scheint, dass man die Parameter mit bedacht setzen muss, sonst quittiert Midas das mit einem Fehler oder Absturz. Das ist wohl genau die Sache mit der Plausibilitätsprüfung.

Auf jeden Fall muss ich mir diese Prozedur genauer angucken und verstehen!
Berthold, ich habe sogar die Anleitung von Günter. Ich weiß grad gar nicht mehr woher, glaube aber, dass wir die hier auf dem Forumsserver haben.

Viele Grüße und CS
Christoph

Hallo Christoph,
genau. Wenn das so einfach wäre hätte das die ESO vermutlich selber gemacht. So leichtfertig schmeißt niemand eine teure Software in den Eimer.
Aber Du hast ein exzellentes Spektrum aufgenommen!
Viele Grüße
Christian

Christoph hat in einem Fram mit durchschnittlich 50000 ADU nach Abweichungen von 0.03 ADU gesucht. Dafür ist Midas nicht ausgelegt. Mit

search/long deneb_sky 500 30 ? ? ? abs

erhält man dann ein sinnvolles Ergebnis.

Mit freundlichem Grinsen
günter

_________________
Im längsten Frieden spricht der Mensch nicht so viel Unsinn und Unwahrheit als im kürzesten Kriege. (Jean Paul)

Hallo Günter, hallo Christoph,
selbst wenn MIDAS intern nur mit einfacher Genauigkeit (single precision oder einfach single in C) rechnet, hätte meiner Ansicht nach kein SIGABTR Flag kommen dürfen, da es für numerische Fehler eigene Fehlermeldungen gibt. Google sagt folgendes:
http://en.cppreference.com/w/cpp/utilit ... /SIG_types
SIGABRT
abnormal termination condition, as is e.g. initiated by std::abort()
SIGSEGV
invalid memory access (segmentation fault)
MIDAS wie IRAF sind vor der C++ Ära geschrieben worden. Leider kann ich so schnell kein altes C Handbuch finden, um meine Einschätzung zu bestätigen. Die oben genannten Fehlermeldungen entstehen aber meiner Erinnerung nach auf der Assembler oder auf der Maschinensprache Ebene. Im übrigen müsste single precision für den oben genannten Fall noch gerade ausreichen. Kurz und ungut: Es handelt sich um etwas schwerwiegenderes.
Im übrigen würde ich davon ausgehen, daß MIDAS genauso wie Iraf intern mit doppelter Genauigkeit rechnet, wie das damals schon Standard war. Ansonsten kann man das durch Neukompilierung mit geänderter Compilereinstellungen ändern. Der Sourcecode ist ja offensichtlich erhältlich.
Viele Grüße
Christian

Hallo,
durch Zufall habe ich bei Iraf auch eine Fehlermeldung 'segment violation' erhalten. Ich habe als Befehl zum Plotten
splot _alpcyg_2017ß717.fits
eingegeben, wobei anstelle einer '0' ein 'ß' steht.
Allerdings hat Iraf danach nicht abgestürzt sondern normal weitergelaufen.
Viele Grüße
Christian

N.B. splot ist das 'working horse' von Iraf. Man kann damit S/N und Äqivalentbreite bestimmen, Ausschnitte betrachten, Continuum definieren u. s. w., alles interaktiv