Forum der Vereinigung der Sternfreunde

Hallo,

arbeitet jemand unter uns häufig mit AstroPy?

Mich würde interessieren, wie dieses Python-Package im Vergleich zu ESO-Midas und IRAF zu bewerten und wie flexibel es in der Auswertepraxis für Spektren ist. Ich habe gesehen, dass es da eine spezifische Menge Klassen und Funktionen gibt, mit denen man fits-Dateien handeln kann. Auch hochspezialisierte sogenannte "Afiliated Packages" stehen zur Verfügung.

Nach einigen Tagen Einarbeitung in Python (und Installation der Anaconda-Distribution für wissenschaftliche Python-Anwendungen) stehe ich am Scheideweg, ob ich das weiter verfolgen soll. Nach meinen Erfahrungen mit Midas weiß ich, dass es wichtig ist, Freunde zu haben, die sich mit solchen Programmiersprachen auskennen und die einem helfen können/wollen, wenn man sich gerade mal wieder im Labyrinth der Computersprache verirrt. Als Einzelkämpfer kommt man schnell an seine (Zeitaufwands)Grenzen.

_________________
Herzliche Grüße / best regards

Lothar

https://lotharschanne.wordpress.com/

Hallo Lothar,

ich verwende AstroPy bei der Aufnahme von Spektren. Im Referenzspektrum
wird automatisch ein Gaussprofil an die hellste Linie in einem
wählbaren Bereich gelegt um so mit der FWHM die Fokussierung des
Spektrographen beurteilen zu können. Nach der Aufnahme lasse ich mit
AstroPy noch Fitsheader in die Dateien schreiben, die ich gerne
aufgenommen hätte, zB GRATING, GRATPOS.

Wenn sich da eine Interessengruppe AstroPy bilden würde, wäre ich gerne
dabei.

Ich würde mir auch gerne mal die Arbeitsweise der verschiedenen
Pipelines, die von ESO angeboten werden, erklären lassen. Die Pipelines
sind in den Repositories von Ubuntu dabei. Die Dokumentation auf den
ESO-Seiten kapiere ich allerdings überhaupt nicht.

IRAF wurde inzwischen an die Community übergeben und wird öffentlich
unter Git weiter gepflegt. Da wird auch bald ein Debianpaket
erscheinen. Das bei IRAF verwendete xgterm und die ximtools sind
anscheinend ganz tot. Wie eben auch esomidas.

günter

_________________
Im längsten Frieden spricht der Mensch nicht so viel Unsinn und Unwahrheit als im kürzesten Kriege. (Jean Paul)

Hallo Günter, hallo Lothar,
an einer Interessengruppe Astropy bin ich auch interessiert. Ich habe Astropy mal mit Günters Unterstützung probiert, war aber nicht erfolgreich.
Ich möchte allerdings darauf hinweisen, daß die ESO mit Iraf nichts zu tun hat. Iraf wurde von der National Optical Astronomy Observatory (NOAO) entwickelt. Meine Installation läuft übrigens mit xgterm sehr gut.
Es ist aber immer gut eine Alternative zu haben, daher bin ich sehr interessiert.
Viele Grüße
Christian

Hallo ihr beiden,

auf eine Frage an einen uns allen gut bekannten Midas-Profi, wo ich an einem Midas-Skripte-Kurs teilnehmen könnte, erhielt ich als Antwort, das heute die Astronomie-Studenten überwiegend mit AstroPy unterrichtet werden. Midas wird nicht mehr gelehrt. Das war für mich ein Grund, im Internet zu recherchieren. Zumal ich schon seit Jahren immer wieder angesetzt habe, mich in Python einzuarbeiten. Bisher ohne Erfolg, weil mir die Motivation -die konkrete Anwendung- fehlte.
Nun habe ich genau eine Woche investiert, jeden Tag ca. 6 h ohne Hilfe durch Freunde, und bin hoch erfreut. Die Lernkurve in Python ist extrem steil, weil diese Sprache sehr einleuchtend und (vordergründig) einfach ist. Heute konnte ich schon fits-files manipulieren, als "Foto" in unterschiedlichen Versionen darstellen, den header ändern, das Histogramm erstellen, Statistik.... Dinge, für die ich in Midas Monate brauchte.
Sicher, diese Euphorie hilft am Anfang, hält aber erfahrungsgemäß nicht lange an, aber es lohnt sich schon, Zeit zu investieren. Midas wird bestimmt noch lange mein Brot-und-Wasser-Sytem für den Alltag sein, aber es bekommt Konkurrenz.

Ich habe folgendes in Ubuntu (Linux) installiert: Anaconda (diese Distribution enthält alles wesentliche: NumPy, SciPy, AstroPy, Matplotlib, Pandas, ipython, ipython-notebook, spyder und mehr). Und wenn man es braucht, lädt man sich weitere Pakete herunter. Und die Dokumentation des Systems ist super, auch alle die Zusatzpakete sind bestens dokumentiert durch Tutorials und Guides.

Vielleicht findet sich hier eine Gruppe zusammen, die gemeinsam versucht, sich in dieses System einzuarbeiten und sich gegenseitig unterstützt.
Jeder Anfang ist schwer...aber wenn man am Anfang ist, ist man noch nicht am ENDE.

_________________
Herzliche Grüße / best regards

Lothar

https://lotharschanne.wordpress.com/

I too have used Anaconda AstroPy. In my case to scan a fits image file to check for over exposure of an echelle spectrum. However, this seems a long way from having the tools available in IRAF for spectra extraction and calibration. Have these tools been developed anywhere?

Regards Andrew

Hallo Lothar Das habe ich hier schon vor längerer Zeit festgestellt, ist also wirklich nichts neues.
Es gibt Python 2.X und Python 3.X. Die sind nicht kompatibel.
Geht mit Iraf ruck zuck.
Kauf Dir Mark Lutz, Python Pocket Reference. Mehr braucht man eigentlich nicht. Python ist eine Programmiersprache wie viele andere auch. Es gibt Schleifen, Fallunterscheidungen, komplexere Strukturen wie Mengen (ungeordnet, jedes element darf nur einmal vorkommen), Vektoren, Matrizen u.s.w.
Nimm noch gatspy für LombScargleFast hinzu. Das ist besser als das die LombScargle Routine.
Viele Grüße
Christian

Hallo Günter, Ja, so kleine Hilfsmittel für den Alltag scheinen mir für den Einstieg geeignet zu sein. Für die umfassenden Auswertungen von CCD-Aufnahmen (Spektren, flats, darks....) scheint es in Python noch keine Entsprechung zu ESO-Midas oder IRAF zu geben. Es gibt aber astronomiespezifische Bibliotheken wie Astropy und PyAstronomy mit allerlei Paketen zum Umgang mit CCD-Aufnahmen, Spektrenauswertung (z.B. Normierung) etc. Die werde ich mir die nächsten Wochen genauer anschauen....parallel zum Python-Erlernen.
Das Pymidas ist ja auch schon alt (2005). Ich fange damit jetzt nicht mehr an (solange sich da keine wesentlichen Gründe für seine Anwendung auftun).
Außerdem sollten wir Alten ab und zu auch mal was neues ausprobieren, damit wir nicht einrosten

_________________
Herzliche Grüße / best regards

Lothar

https://lotharschanne.wordpress.com/

Hallo Lothar,

bei Astropy fehlt mir eigentlich nur noch eine Möglichkeit zur
Wellenlängenkalibration. Der optimal extraction algorithmus ist ja in
einigen Papers beschrieben und scheint bei waagrecht liegenden Spektrum
nicht so schwer zu implementieren zu sein.

Ja, und die geometric correction, die bei ESO-Midas so schön zusammen
mit der WL-Kalibration durchgeführt wird fehlt mir auch noch. Naja,
muss man halt selber machen. Gegen den Gehirnrost hilft das vielleicht
ein wenig.

Die Pipelines haben aber wohl nichts mit Pymidas zu tun, die sind wohl
etwas Neues, das ich noch nicht so verstehe, diese Pipelines. Ich werde
in Zukunft einige Wochenende frei haben, da können wir uns gerne mal
treffen.

IRAF > Midas > Astropy, oder
IRAF > Astropy > Midas, oder
wie ist das genau?

günter

_________________
Im längsten Frieden spricht der Mensch nicht so viel Unsinn und Unwahrheit als im kürzesten Kriege. (Jean Paul)

Hallo Ihr beiden,
schaut Euch mal bitte das an:
http://www.stsci.edu/institute/software_hardware/pyraf
Pyraf ist die Einbettung von Iraf in Python.
Viele Grüße
Christian

Hallo zusammen,

es freut mich, dass dieses Thema hier mal besprochen wird. Ich habe bis vor 3 Jahren beruflich viel MATLAB programmiert. Danach habe ich mit Python angefangen und kann das was Du sagst Lothar nur bestätigen. Man lernt sehr schnell, auch wenn man ursprünglich kein objektorientierter Programmierer ist und das Internet ist voll von Hinweisen der Python User.
Ich hatte mir als Übungsaufgaben Bertholds Echelle-Spektren hergenommen (vielen Dank Berthold) und Auswerteroutinen dafür geschrieben (Kalibrationsüberwachung, Kreuzkorrelation...). Die Spektroskopischen Tools in astropy sind bisher wohl begrenzt, aber vielleicht könnten wir daran etwas ändern ?
Jedenfalls fände ich es toll wenn wir uns in dieser Hinsicht etwas mehr austauschen bzw. organisieren könnten. Es muss ja nicht jeder das Rad neu erfinden !

Gruß
Klaus

Da gibt's Aufregendes:

https://pyspeckit.readthedocs.io/en/latest/


günter

_________________
Im längsten Frieden spricht der Mensch nicht so viel Unsinn und Unwahrheit als im kürzesten Kriege. (Jean Paul)

Hallo zusammen,

Python ist meiner Meinung nach einer der besten Programmiersprachen für die Datenanalyse (und wird auch immer mehr im professionellen Bereich dafür eingesetzt). Spektren (aus Spektrographen) habe ich persönlich damit noch nicht reduziert oder ausgewertet. Aber dafür habe ich einige andere, kleine Sachen in Python 2 und 3 umgesetzt.

Mein Vorschlag, damit man einen Überblick erhält, was schon an Know-How vorhanden ist und jeder vielleicht ein bisschen was zum Ausprobieren hat:
Die, die schon mit Python Spektren bearbeitet haben, laden ein kleines Beispiel hoch und schreiben dazu eins, zwei Sätze (Zielsetzung, verwendete Umgebung). Am Besten zusammen mit einem Satz Beispiel-Dateien, damit man es schnell ausprobieren kann.

Was haltet ihr davon?

Viele Grüße,

Gerrit

Hmm....

ich weiß MIDAS ist alt... .... aber es gibt hinreichend viel Know How im Team...
...und jeder von uns weiß, dass es für Beginner schon eine gewisse Schwelle bedeutet, sich mit Linux und Midas & ... auseinander zu setzen und da ist es gut, wenn es Leute mit Erfahrung gibt.

Ich bin jetzt kein "Feind" von Neuem... aber ich stelle mir halt die Frage, was soll das Verlassen des Pfades des Bewerten bringen... Werden Spektren besser verarbeitet? Geht es um wesentliche Beschleunigung der Auswertung... Auch wenn die Profis umsteigen, ist das für uns jetzt schon relevant?

Was ist also der Benefit für uns? (Außer, dass wir das "Rad" der gesammelten Erfahrung neu erfinden?)

Gruß
Georg

-----Ursprüngliche Nachricht-----
Von: Gerrit Grutzeck [mailto:fg-spek-data@vdsastro.de]
Gesendet: Samstag, 24. März 2018 14:20
An: fg-spek-admin@vdsastro.de
Betreff: [fg spektroskopie] Re: AstroPy-Anwender

Link zum neuen Beitrag: http://forum.vdsastro.de/viewtopic.php?t=5141#p31361

Hallo zusammen,

Python ist meiner Meinung nach einer der besten Programmiersprachen für die Datenanalyse (und wird auch immer mehr im professionellen Bereich dafür eingesetzt). Spektren (aus Spektrographen) habe ich persönlich damit noch nicht reduziert oder ausgewertet. Aber dafür habe ich einige andere, kleine Sachen in Python 2 und 3 umgesetzt.

Mein Vorschlag, damit man einen Überblick erhält, was schon an Know-How vorhanden ist und jeder vielleicht ein bisschen was zum Ausprobieren hat:
Die, die schon mit Python Spektren bearbeitet haben, laden ein kleines Beispiel hoch und schreiben dazu eins, zwei Sätze (Zielsetzung, verwendete Umgebung). Am Besten zusammen mit einem Satz Beispiel-Dateien, damit man es schnell ausprobieren kann.

Was haltet ihr davon?

Viele Grüße,

Gerrit

Hallo Georg,
mit Iraf geht es durch die bessere GUI schneller und in manchen Fällen (z. B.gekrümmtes 2D Spektrum) auch besser.
Es bleibt natürlich jedem selbst überlassen, wie er arbeitet und welche Software er einsetzt. Ich finde es aber nicht gut, wenn noch Einführungskurse in Midas gehalten werden, sei es in Seminaren oder schriftlich.
Viele Grüße
Christian

Hallo,

PyMIDAS könnte für uns interessant sein!
https://www.eso.org/sci/software/esomidas/pymidas/

LG
Siegfried

Hallo,

aus aktuellem Anlass würde ich mir ein Tool zur Header Korrektur wünschen,
nicht ein oder zwei Profile, das geht gut mit fv https://heasarc.gsfc.nasa.gov/docs/software/ftools/fv/
Sondern Datensätze.
Ich bin kein Programmierer und bin deshalb auf zugängliche Tools angewiesen.
Konkret geht es um Zeitreihenanalyse, hier sind korrekte Headereinträge erforderlich.
Z.B. verlangt MIDAS den Eintrag in TM-START = Sekunden nach Mitternacht.
Headereinträge sind standardisiert und dies sollte kein Problem sein, dem ist aber nicht so.
Es beginnt mit der Aufnahmesoftware, weitere Änderungen unternimmt die Software zur Bildkalibrierung
AstroArt oder so, und am Ende purzelt aus der Baches Routine ein Profil mit fehlenden Zeiteinträgen!
Als einzig mir bekannte "saubere Aufbereitung" erfolgt mit SMS von Günter!

LG
Siegfried

Hallo Siegfried,
die Headerbearbeitung einer ganzen Serie ist mit normalem Iraf kein Problem. Ein Befehl reicht.
Viele Grüße
Christian

Hallo zusammen, ich habe kaum Ahnung vom programmieren und war bisher immer einfacher User von Programmen wie MIDAS und IRAF. Ich habe von AstroPhy gehört und mir scheint, dass das eine sehr hilfreiche und flexible Ergänzung bei der Dateninterpretation ist. Für die reine Datenreduktion und dessen Handhabung sind MIDAS und IRAF nach meiner Einschätzung jedoch völlig ausreichend und hinreichend mächtig. Und dabei würde ich wie Christian IRAF vorziehen. Es hängt wie immer davon ab, was man eigentlich tun will und was man braucht.

Gruß, Thomas

Hallo Siegfried,

bei den Header-Einträgen bin ich unter anderem auch zur Zeit bei.

Du hast doch schon MIDAS Erfahrung und nutzt es auch zur Datenreduktion?! Versuche Doch mal für Dein Problem ein MIDAS-Skript zu schreiben oder die die Du nutzt zu erweitern. Da braucht man gar keine so großen Programmierkenntnisse.
Ich dachte zu Anfang auch, dass das sonst wie schwer ist und habe es ein wenig vor mich her geschoben, bis ich aus aktuellem Projektanlass einfach mal angefangen habe, meinen selbst geschriebenen Leitfaden für die Datenreduktion mit MIDAS in ein Skript zu schreiben;)
Zum Teil (!) ist es eigentlich nur Befehle in richtiger Reihenfolge in eine Textdatei zu schreiben. Du könntest z.B. zum Schluss den Header mit den vorhandenen Zeitdaten aus den Rohdaten auslesen und in den Header des reduzierten Spektrums schreiben lassen. Sinnvolle Befehle dafür sollten copy/dd und copy/dk ... sein.


Dies ist doch eigentlich mit der große Gewinn durch Profiprogramme, dass man sich für individuelle Probleme Skripte schreiben kann, um diese zu lösen!


Aber es gibt sicher auch andere Lösungswege. Allerdings wüsste ich auch nicht, ob man wirklich noch jemandem MIDAS empfehlen sollte, der davor steht von Grund auf das erlernen zu müssen. Da dann wohl eher Astropy, wo ich übrigens auch Interesse dran habe.

Viele Grüße und CS
Christoph

Hallo,
um etwas konkreter zu werden, will ich hier ein paar Beispiele in Iraf geben. Ich gehe davon aus, daß sie sofort verständlich sind. Sie sind den Hilfetexten der entsprechenden Funktionen entnommen (Kontextabhängige Hilfe gibt es meines Wissens nach in MIDAS nicht):

Headerparameter lesen, wobei die Ausgabe auch in eine Datei geschrieben werden und dann mit Pyraf oder Excel bearbeitet werden kann:
EXAMPLES
1. Compute the mean exposure time for all the images in a
database. Note that the argument "yes" is a trivial case of a
general boolean expression and hence need not be quoted.

cl> hselect n1.* exp yes | average

2. Print the name, length of axes 1 and 2, and title of all two
dimensional images in a database.


cl> hselect n1.* $I,naxis[12],title 'naxis == 2'
n1.0001 512 512 quartz
n1.0002 512 512 "dome flat"
n1.0005 384 800 "ngc 3127 at 45 degrees"
cl>


3. Produce an image name list for use to drive another task. The
selection criterion is all images for which the value of the
parameter "q-flag" has the value 1. Note carefully the use of
quotes. If the (==>) operator is unfamiliar read the manual page for
hedit.

cl> hselect n1.* $I '(==>)"q-flag" == 1' > imlist

If the parameter "q-flag" were instead named "qflag", the following
simpler expression would suffice.

cl> hselect n1.* $I 'qflag == 1' > imlist

4. Scan a set of keyword and allow for missing keywords.

cl> hselect pix $I,$exptime,$airmass yes missing=INDEF |
>>> scan (s1, x, y)

Note that when checking for missing values the missing value must be
of the appropriate type or else you need to use string variables or
nscan to check. The default missing value is "INDEF" which can be
scanned into both string and numerical variables.

Headerparameter schreiben bzw. ändern:
EXAMPLES
1. Globally edit the database "n1", setting the value of the string
parameter "obs" to "sky" if "s-flag" is 1, to "obj" otherwise.

cl> hedit n1.* obs '((==>)"s-flag" == 1 ? "sky" : "obj")'

2. Globally edit the same database, replacing the value of the
parameter "variance" by the square root of the original value.

cl> hedit n1.* var '(sqrt(var))'

3. Replace the values of the fields A and B by the absolute value
of the original value:

cl> hedit n1.* a,b '(abs($))'

Viele Grüße
Christian