A Trainable Markov Random Field for Low-Level Image Feature Matching with Spatial Relationships Ein trainierbares Markoff-Zufallsfeld für die Zuordnung lokaler Bildmerkmale unter Berücksichtigung ihrer räumlichen Beziehungen

Abstract

Many vision applications rely on local features for image analysis, notably in the areas of object recognition, image registration and camera calibration. One important example in photogrammetry are fully automatic algorithms for relative image orientation. Such applications rely on a matching algorithm to extract a sufficient number of correct feature correspondences at acceptable outlier rates, which is most often based on the similarity of feature descriptions. When the number of detected features is low, it is advisable to use multiple feature detectors with complementary properties. When feature similarity is not sufficient for matching, spatial feature relationships provide valuable information. In this work, a highly generic matching algorithm is proposed which is based on a trainable Markov random field (MRF). It is able to incorporate almost arbitrary combinations of features, similarity measures and pairwise spatial relationships, and has a clear statistical interpretation. A major novelty is its ability to compensate for weaknesses in one information cue by implicitely exploiting the strengths of others. Zusammenfassung: Ein trainierbares MarkoffZufallsfeld für die Zuordnung lokaler Bildmerkmale unter Berücksichtigung ihrer räumlichen Beziehungen. Viele Anwendungen im Bereich des maschinellen Sehens nutzen lokale Merkmale für die Bildanalyse, insbesondere in den Bereichen Objekterkennung, Bildregistrierung und Kamerakalibrierung. Ein wichtiges Beispiel in der Photogrammetrie sind vollautomatische Algorithmen für die relative Kameraorientierung. Dazu muss aus den Bildmerkmalen verschiedener Bilder anhand eines Matchingalgorithmus eine ausreichende Anzahl von Zuordnungen mit vertretbarem Ausreißeranteil gewonnen werden. Die Suche nach Zuordnungen basiert dabei meist auf der Ähnlichkeit von Merkmalsbeschreibungen. Wenn die Anzahl der extrahierten Merkmale gering ist, macht es Sinn, mehrere möglichst komplementäre Merkmalsdetektoren gleichzeitig einzusetzen. Ist die Ähnlichkeit von Bildmerkmalen kein ausreichendes Kriterium für die Zuordnung, liefern räumliche Beziehungen von Merkmalen zusätzlich wertvolle Information. In dieser Arbeit stellen wir ein allgemeines Matchingverfahren vor, das auf einem trainierbaren Markoff-Zufallsfeld basiert. Es ermöglicht die gleichzeitige Berücksichtigung nahezu beliebiger Arten von Bildmerkmalen, Ähnlichkeitsmaßen und paarweisen räumlichen Beziehungen, und lässt sich statistisch klar interpretieren. Eine Besonderheit dieses Verfahrens ist seine Eigenschaft, Schwachpunkte einer Informationsquelle durch die Stärken einer anderen implizit auszugleichen.