Forum der Vereinigung der Sternfreunde
https://forum.vdsastro.de/

Darks: Verwendung des Medians oder des Mittels ?
https://forum.vdsastro.de/viewtopic.php?t=3515		 Seite 1 von 1
Autor:  Lothar Schanne [ 09. März 2011, 17:07:04 PM ]
Betreff des Beitrags:  Darks: Verwendung des Medians oder des Mittels ?
Hallo zusammen,

ich würde gerne eure Meinung zu folgenden Fragen hören:

Welche Argumente sprechen für oder gegen die Verwendung des Medians einer Serie von einzelnen Darkaufnahmen? Im Vergleich zur Verwendung eines arithmetischen Mittels?
Autor:  Thomas Eversberg [ 09. März 2011, 17:22:09 PM ]
Betreff des Beitrags: 
Hallo Lothar,

Darks sollen die gleiche Belichtungszeit haben, wie die entsprechende Rohaufnahme. Je länger diese ist, umso höher ist die Wahrscheinlichkeit für Einschläge kosmischer Teilchen in den Chip. Wie Du weißt, machen sich diese durch sehr hohe Intensitäten bemerkbar. Willst Du nun mehrere Aufnahmen mitteln, kann man diese Ereignisse durch einen Median gut eliminieren. Bei kurzen Belichtungszeiten gilt das natürlich auch, nur ist die Wahrscheinlichkeit für ein kosmisches Teilchen geringer. Je länger man belichtet desdo wichtiger wird also der Median. Und da die Grenzen fließend sind, empfielt es sich grundsätzlich den Median wählen.

Gruß, Thomas
Autor:  Lothar Schanne [ 09. März 2011, 17:37:53 PM ]
Betreff des Beitrags: 
Hallo Thomas,

genau das ist auch meine (bisherige) Denke und meine Praxis. Aber eliminiere ich mit dem Median nicht auch heisse Pixel, die ich nicht eliminieren will ?
Das ist der eigentliche Hintergrund meiner Frage. Gehen mir mit dem Median nicht heisse Pixel verloren, die dann bei Verwendung des Medians nicht mehr eliminiert werden?

Ich habe die letzten Tage diese eps Aur Spektren bei 7700 nm gemessen. Danach dann einfach die Aufnahmen addiert und vorher einen Median meiner Darks abgezogen (die natürlich unter gleichen Bedingungen aufgenommen wurden, gleiches T und t). Dann treten im extrahierten Spektrum immer so hässliche hotspots auf wie in der Anlage. Und das gab mir zu Denken. :shock:

Dateianhänge:
graph.jpg
graph.jpg [ 30.44 KiB | 4572 mal betrachtet ]
Autor:  Thomas Eversberg [ 09. März 2011, 17:46:33 PM ]
Betreff des Beitrags: 
Hi Lothar!
Zitat:
Aber eliminiere ich mit dem Median nicht auch heisse Pixel, die ich nicht eliminieren will ?
Na ja, heiße Pixel sind zeitunabhängig weil sie ja immer da sind. Die kannst Du weder mit dem Mittelwert noch mit dem Median einer Zeitreihe loswerden. Die kannst Du aber identifizieren und per Hand löschen oder Du machst das mit MIDAS. Ich glaube, da gibt es irgendeinen Befehl. Heiße Pixel sind so intensiv, dass sie deutlich über dem Mittelwert eines einzelnen Darks liegen (sollten).
Zitat:
Gehen mir mit dem Median nicht heisse Pixel verloren, die dann bei Verwendung des Medians nicht mehr eliminiert werden?
Diese Frage verstehe ich nicht.
Zitat:
Dann treten im extrahierten Spektrum immer so hässliche hotspots auf wie in der Anlage.
Das könnte durchaus ein nichteliminiertes heißes Pixel sein.

Gruß, Thomas
Autor:  Lothar Schanne [ 10. März 2011, 09:01:32 AM ]
Betreff des Beitrags: 
Zitat:
Zitat:
Gehen mir mit dem Median nicht heisse Pixel verloren, die dann bei Verwendung des Medians nicht mehr eliminiert werden?
Diese Frage verstehe ich nicht.
Hallo Thomas,

bei der Bildung des Medians werden doch die Messwerte der Stichprobe (hier die Inhalte der Pixel (x,y) aller i Darkaufnahmen) der Größe nach geordnet und der mittlere Wert ist der Median (auf die Unterscheidung des Falles gerade oder ungerade Anzahl der Messpunkte können wir hier verzichten). Da die heissen Pixel (wie auch die Cosmics) in der oberen Hälfte der geordneten Pixelinhalte liegen, sind ihre Werte nicht im Median der Darks "enthalten" (während sie beim Mittelwert linear beitragen). Also gehen die heissen Pixel (und die Cosmics) im Median der Darks verloren.

Oder unterliege ich hier einem Missverständnis?
Autor:  Lothar Schanne [ 10. März 2011, 12:29:43 PM ]
Betreff des Beitrags: 
Das Thema hat sich für mich erledigt. Habe falsches gedacht. :roll: Stand auf dem Schlauch.

Bei der Medianbildung eines heissen Pixels (x,y) ist dieses in allen Aufnahmen heiss oder normal. Nur singuläre Ereignisse, wie Cosmics, fallen heraus.
Autor:  Martin Dubs [ 10. März 2011, 19:20:00 PM ]
Betreff des Beitrags: 
Hallo Lothar,

kommen Deine "Hotspots" eventuell nicht daher, dass beim Spektrum Cosmics auftreten? Mit einer Medianbildung der Spektren könnten diese vielleicht eliminiert werden, allerdings erhöht sich dadurch das Rauschen (schlechteres S/N). Wäre vielleicht mal einen Versuch wert, habe es selber noch nicht ausprobiert, da ich noch am S/N herumdoktere.

Gruss, Martin
Autor:  Thomas Eversberg [ 10. März 2011, 22:32:17 PM ]
Betreff des Beitrags: 
Hallo Martin!
Zitat:
Mit einer Medianbildung der Spektren könnten diese vielleicht eliminiert werden, allerdings erhöht sich dadurch das Rauschen (schlechteres S/N).
Kann schon sein, doch warum sollte man das tun? Mir scheint, der Spike ist einfach ein Artefakt und auch als solcher identifizierbar. Im Dark lässt sich das löschen (Median) und man prozessiert auf die bekannte Art. Bleibt dann noch so ein Spike übrig, verfolgt man wiederum die Ursache zurück. Nicht für alle Probleme finden sich Algorithmen, manchmal muss Handarbeit ran.

Falls dieser Spike, wie ich vermute, tatsächlich ein Restartefakt ist, setzt man ihn auf 1 und findet sich mit der fehlenden Information an dieser Stelle ab, statt ein ganzes Spektrum mit Medianbildung wegzuwerfen.

Gruß, Thomas
Autor:  Monika Maintz [ 11. März 2011, 02:00:04 AM ]
Betreff des Beitrags:  Darks: Verwendung des Medians oder des Mittels ?
Hi,
Zitat:
Zitat:
Mit einer Medianbildung der Spektren könnten diese vielleicht eliminiert
werden, allerdings erhöht sich dadurch das Rauschen (schlechteres S/N).
Kann schon sein, doch warum sollte man das tun? ...
ich habe mal einen Profiastronomen dabei beobachtet, wie er versucht hat,
in einem Echellespektrum alle nach der routinemäßigen Datenreduktion noch
übrig gebliebenen "Dellen" liebevoll von Hand auf 1 zu normieren... Das
hat weh getan. - Weniger machen, ist oftmals mehr, zumal man beim
Korrigieren Gefahr läuft, Informationen "rauszukorrigieren" oder
zusätzliche Fehler einzubauen.

Viele Grüße zur Geisterstunde, Moni
Autor:  Otmar Stahl [ 11. März 2011, 09:48:43 AM ]
Betreff des Beitrags:  Darks: Verwendung des Medians oder des Mittels ?
Hallo Thomas,

On 03/10/2011 09:32 PM, Thomas Eversberg wrote:
Zitat:
Hallo Martin!
Zitat:
Mit einer Medianbildung der Spektren könnten diese vielleicht
eliminiert werden, allerdings erhöht sich dadurch das Rauschen
(schlechteres S/N).
Die Medianbildung über Spektren ist problematisch, da i.a. nie alle
Spektren genau den gleichen Mittelwert haben.
Zitat:
Kann schon sein, doch warum sollte man das tun? Mir scheint, der
Spike ist einfach ein Artefakt und auch als solcher identifizierbar.
Im Dark lässt sich das löschen (Median) und man prozessiert auf die
bekannte Art. Bleibt dann noch so ein Spike übrig, verfolgt man
wiederum die Ursache zurück. Nicht für alle Probleme finden sich
Algorithmen, manchmal muss Handarbeit ran.

Falls dieser Spike, wie ich vermute, tatsächlich ein Restartefakt
ist, setzt man ihn auf 1 und findet sich mit der fehlenden
Information an dieser Stelle ab, statt ein ganzes Spektrum mit
Medianbildung wegzuwerfen.
Wieso wird bei der Medianbildung ein ganzes Spektrum weggeworfen? Der
Median wird doch pixelweise gebildet? *Im Prinzip* kann man auf die
Sternspektren den Median genauso wie auf Darks anwenden.
Zitat:
Gruß, Thomas
Herzliche Grüße,
Otmar
Autor:  Lothar Schanne [ 11. März 2011, 12:37:00 PM ]
Betreff des Beitrags: 
Zitat:
Falls dieser Spike, wie ich vermute, tatsächlich ein Restartefakt ist, setzt man ihn auf 1 und findet sich mit der fehlenden Information an dieser Stelle ab, statt ein ganzes Spektrum mit Medianbildung wegzuwerfen.
Hallo Thomas,

ich lasse solche spikeförmigen Artefakte immer drin. Jemand, der bischen Ahnung hat, erkennt sie gleich als nicht zum "wahren" Spektrum zugehörend. Es ist auch eine Frage der "Datenehrlichkeit".
Deshalb finde ich es auch wichtig, alle Originaldaten aufzubewahren, so dass im Prinzip jeder Datenreduktionsschritt unabhängig überprüft werden kann oder nachträgliche Vergleiche mit verschiedenen Routinen durchführbar sind. Meine rund 50 GB Originaldaten inkl. der Aufnahmeprotokolle sind deshalb mehrfach gesichert.
Autor:  Günter Gebhard [ 11. März 2011, 19:11:18 PM ]
Betreff des Beitrags: 
Die folgende Antwort hatte ich am 9.März per Mail ans Forum geschickt wo sie aber wohl nie angekommen ist:

Nach meiner Erfahrung (mit Lothars Aufnahmen) gibt es in allen Frames
Spikes, die nicht ortsfest sind. Da sie nur 1 px betreffen halte ich die
aber auch nicht für Cosmics.

Im Median sind diese wandernden HotPixels dann nicht mehr enthalten.
Damit fehlen sie also im Median und werden auch aus den Objektaufnahmen
nicht entfernt. Das ist aber besser, als negative Intensitäten in den
Objektframes nach dem Darkabzug. Da hat extract/long manchmal Probleme
damit und erzeugt leere Spektren.

Gruß
günter
Autor:  Sander Slijkhuis [ 12. März 2011, 23:48:55 PM ]
Betreff des Beitrags: 
Hallo zusammen,

in meiner Standard-reduktion entferne ich von jedem Dark-serie die hoechste und niedrigste Wert, und nehme von den Rest den Mittelwert.
Etwas ausgefeilter waere, erst die Standardabweichung von jede Serie zu bestimmen und nur dann hoechste und letzte weg zu werfen, wen der St.abw. eine Schwelle ueberschreitet.
Da habe ich aber noch kein objektives Kriterium gefunden.

Gruesse
Sander
Seite 1 von 1 Alle Zeiten sind UTC+02:00
Powered by phpBB® Forum Software © phpBB Limited
https://www.phpbb.com/