Τριεστιακός τανυστής

Στην υπολογιστική όραση, ο Τριεστιακός τανυστής^[1] είναι ένας πίνακας αριθμών 3×3×3 (δηλαδή ένας τανυστής) που ενσωματώνει όλες τις προβολικές γεωμετρικές σχέσεις μεταξύ τριών όψεων. Συνδέει τις συντεταγμένες αντίστοιχων σημείων ή γραμμών σε τρεις όψεις, ανεξάρτητα από τη δομή της σκηνής και εξαρτάται μόνο από τη σχετική κίνηση (δηλ. τη στάση) μεταξύ των τριών όψεων και των εγγενών παραμέτρων βαθμονόμησής τους. Ως εκ τούτου, ο Τριεστιακός τανυστής μπορεί να θεωρηθεί ως η γενίκευση του θεμελιώδους πίνακα σε τρεις όψεις. Ας σημειωθεί ότι παρά το γεγονός ότι ο τανυστής αποτελείται από 27 στοιχεία, μόνο 18 από αυτά είναι στην πραγματικότητα ανεξάρτητα.

Υπάρχει επίσης ένας λεγόμενος βαθμονομημένος Τριεστιακός τανυστής, ο οποίος συνδέει τις συντεταγμένες των σημείων και των γραμμών σε τρεις προβολές δεδομένων των εγγενών παραμέτρων τους και κωδικοποιεί τη σχετική θέση από τις κάμερες μέχρι την καθολική κλίμακα, συνολικά 11 ανεξάρτητα στοιχεία ή βαθμούς ελευθερίας. Οι μειωμένοι βαθμοί ελευθερίας επιτρέπουν λιγότερες αντιστοιχίες για την προσαρμογή του μοντέλου, με κόστος την αυξημένη μη γραμμικότητα^[2].

Τεμάχια συσχέτισης

Ο τανυστής μπορεί επίσης να θεωρηθεί ως μια συλλογή τριών πινάκων τάξης δύο ${\mathbf {T} }_{1},\;{\mathbf {T} }_{2},\;{\mathbf {T} }_{3}$ γνωστές ως Τεμάχια συσχέτισης. Υποθέτοντας ότι οι πίνακες προβολής των τριών όψεων είναι ${\mathbf {P} }=[{\mathbf {I} }\;|\;{\mathbf {0} }]$ , ${\mathbf {P} }'=[{\mathbf {A} }\;|\;{\mathbf {a} }_{4}]$ and ${\mathbf {P} ''}=[{\mathbf {B} }\;|\;{\mathbf {b} }_{4}]$ ,, τα τεμάχια συσχέτισης του αντίστοιχου τανυστή μπορούν να εκφραστούν σε κλειστή μορφή ως ${\mathbf {T} }_{i}={\mathbf {a} }_{i}{\mathbf {b} }_{4}^{t}-{\mathbf {a} }_{4}{\mathbf {b} }_{i}^{t},\;i=1\ldots 3$ όπου ${\mathbf {a} }_{i},\;{\mathbf {b} }_{i}$ είναι αντίστοιχα οι i^th στήλες των πινάκων της κάμερας. Στην πράξη, ωστόσο, ο τανυστής εκτιμάται από τις αντιστοιχίες σημείων και γραμμών στις τρεις όψεις.

Τριγραμμικοί περιορισμοί

Μια από τις πιο σημαντικές ιδιότητες του Τριεστιακού τανυστή είναι ότι δημιουργεί γραμμικές σχέσεις μεταξύ γραμμών και σημείων σε τρεις εικόνες. Πιο συγκεκριμένα, για τριάδες αντίστοιχων σημείων ${\mathbf {x} }\;\leftrightarrow \;{\mathbf {x} }'\;\leftrightarrow \;{\mathbf {x} }''$ και οποιεσδήποτε αντίστοιχες γραμμές ${\mathbf {l} }\;\leftrightarrow \;{\mathbf {l} }'\;\leftrightarrow \;{\mathbf {l} }''$ μέσω αυτών, ισχύουν οι ακόλουθοι τριγραμμικοί περιορισμοί:

({\mathbf {l} }^{\prime t}\left[{\mathbf {T} }_{1},\;{\mathbf {T} }_{2},\;{\mathbf {T} }_{3}\right]{\mathbf {l} }'')[{\mathbf {l} }]_{\times }={\mathbf {0} }^{t}

{\mathbf {l} }^{\prime t}\left(\sum _{i}x_{i}{\mathbf {T} }_{i}\right){\mathbf {l} }''=0

{\mathbf {l} }^{\prime t}\left(\sum _{i}x_{i}{\mathbf {T} }_{i}\right)[{\mathbf {x} }'']_{\times }={\mathbf {0} }^{t}

[{\mathbf {x} }']_{\times }\left(\sum _{i}x_{i}{\mathbf {T} }_{i}\right){\mathbf {l} }''={\mathbf {0} }

[{\mathbf {x} }']_{\times }\left(\sum _{i}x_{i}{\mathbf {T} }_{i}\right)[{\mathbf {x} }'']_{\times }={\mathbf {0} }_{3\times 3}

όπου $[\cdot ]_{\times }$ συμβολίζει τον λοξό-συμμετρικό πίνακα διασταυρούμενου γινομένου.

Μεταφορά

Με δεδομένο τον Τριεστιακό τανυστή τριών προβολών και ένα ζεύγος αντιστοιχισμένων σημείων σε δύο προβολές, είναι δυνατόν να προσδιοριστεί η θέση του σημείου στην τρίτη προβολή χωρίς περαιτέρω πληροφορίες. Αυτό είναι γνωστό ως μεταφορά σημείου και ένα παρόμοιο αποτέλεσμα ισχύει για τις γραμμές και τις κωνικές. Για γενικές καμπύλες, η μεταφορά μπορεί να πραγματοποιηθεί μέσω ενός τοπικού διαφορικού μοντέλου καμπυλών με ταλαντευόμενους κύκλους (δηλ. καμπυλότητα), οι οποίοι μπορούν στη συνέχεια να μεταφερθούν ως κωνικές.^[3] Η μεταφορά μοντέλων τρίτης τάξης που αντανακλούν τη στρέψη του χώρου με τη χρήση βαθμονομημένων τριφασικών τανυστών έχει μελετηθεί^[4], αλλά παραμένει ένα ανοικτό πρόβλημα για μη βαθμονομημένους Τριεστιακούς τανυστές

Εκτίμηση

Μη βαθμονομημένο

Η κλασική περίπτωση είναι 6 αντιστοιχίες σημείων^[5]^[6] που δίνουν 3 λύσεις.

Η περίπτωση που εκτιμά τον Τριεστιακό τανυστή από 9 αντιστοιχίες γραμμών έχει επιλυθεί μόλις πρόσφατα^[7].

Βαθμονομημένο

Η εκτίμηση του βαθμονομημένου Τριεστιακού τανυστή αναφέρθηκε ως διαβόητα δύσκολη και απαιτεί αντιστοιχίες 4 σημείων^[8].

Πρόσφατα επιλύθηκε η περίπτωση της χρήσης μόνο τριών αντιστοιχιών σημείων, όπου στα σημεία αποδίδονται εφαπτόμενες κατευθύνσεις ή προσπίπτουσες γραμμές- με μόνο δύο από τα σημεία να έχουν προσπίπτουσες γραμμές, αυτό είναι ένα ελάχιστο πρόβλημα βαθμού 312 (άρα μπορούν να υπάρξουν το πολύ 312 λύσεις) και είναι σχετικό με την περίπτωση γενικών καμπυλών (των οποίων τα σημεία έχουν εφαπτόμενες), ή σημείων χαρακτηριστικών με αποδιδόμενες κατευθύνσεις (όπως οι κατευθύνσεις SIFT)^[9]. Η ίδια τεχνική έλυσε τη μικτή περίπτωση τριών αντιστοιχιών σημείων και μιας αντιστοιχίας γραμμών, η οποία έχει επίσης αποδειχθεί ότι είναι ελάχιστη με βαθμό 216.

Δημοσιεύσεις

Brualdi, Richard A. (2006). «Combinatorial Matrix Classes». Encyclopedia of Mathematics and its Applications. 108. Cambridge University Press. doi:10.1017/CBO9780511721182. ISBN 978-0-521-86565-4.
Brualdi, Richard A.; Ryser, Herbert J. (1991). «Combinatorial Matrix Theory». Encyclopedia of Mathematics and its Applications. 39. Cambridge University Press. doi:10.1017/CBO9781107325708. ISBN 0-521-32265-0.
Botha, J.D. (2013), «31. Matrices over Finite Fields §31.3 Binary Matrices», Handbook of Linear Algebra (Discrete Mathematics and Its Applications) (2nd έκδοση), Chapman & Hall/CRC, doi:10.1201/b16113, ISBN 978-0-429-18553-3
Kim, Ki Hang (1982), Boolean Matrix Theory and Applications, ISBN 978-0-8247-1788-9
Ryser, H.J. (1957). «Combinatorial properties of matrices of zeroes and ones». Canadian Journal of Mathematics 9: 371–7.
Ryser, H.J. (1960). «Traces of matrices of zeroes and ones». Canadian Journal of Mathematics 12: 463–476. doi:10.4153/CJM-1960-040-0. https://archive.org/details/sim_canadian-journal-of-mathematics_1960_12_3/page/462.
Freedman, David A.· Pisani, Robert· Purves, Roger (2007). Statistics (4th έκδοση). W.W. Norton & Company. ISBN 978-0-393-92972-0.
Tabachnick, Barbara G.· Fidell, Linda S. (2006). Using Multivariate Statistics. Pearson International Edition (5th έκδοση). Needham, MA: Allyn & Bacon, Inc. ISBN 978-0-205-45938-4.

Wichura, Michael J. (2006). The coordinate-free approach to linear models. Cambridge Series in Statistical and Probabilistic Mathematics. Cambridge University Press. σελίδες xiv+199. ISBN 978-0-521-86842-6. MR 2283455.
Christensen, Ronald (2002). Plane Answers to Complex Questions: The Theory of Linear Models (Third έκδοση). New York: Springer. ISBN 978-0-387-95361-8.

Δείτε επίσης

Εξωτερικοί σύνδεσμοι

Παραπομπές

↑ «The Trifocal Tensor - Detailed explanation of the trifocal geometry» (PDF).
↑ Martyushev, E. V. (2017). «On Some Properties of Calibrated Trifocal Tensors». Journal of Mathematical Imaging and Vision 58 (2): 321–332. doi:10.1007/s10851-017-0712-x.
↑ Schmid, Cordelia (2000). «The Geometry and Matching of Lines and Curves Over Multiple Views». International Journal of Computer Vision 40 (3): 199–233. doi:10.1023/A:1008135310502. http://hal.archives-ouvertes.fr/docs/00/54/83/01/PDF/ijcv.pdf.
↑ Fabbri, Ricardo; Kimia, Benjamin (2016). «Multiview Differential Geometry of Curves». International Journal of Computer Vision 120 (3): 324–346. doi:10.1007/s11263-016-0912-7. Bibcode: 2016arXiv160408256F.
↑ Richard Hartley and Andrew Zisserman (2003). «Online Chapter: Trifocal Tensor» (PDF). Multiple View Geometry in computer vision. Cambridge University Press. ISBN 978-0-521-54051-3.
↑ Heyden, A. (1995). «Reconstruction from Image Sequences by means of Relative Depths». Proceedings of IEEE International Conference on Computer Vision. σελίδες 1058–1063. doi:10.1109/ICCV.1995.466817. ISBN 0-8186-7042-8.
↑ Larsson, Viktor· Astrom, Kalle· Oskarsson, Magnus (2017). «Efficient Solvers for Minimal Problems by Syzygy-Based Reduction». 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). σελίδες 2383–2392. doi:10.1109/CVPR.2017.256. ISBN 978-1-5386-0457-1.
↑ Nister, David; Schaffalitzky, Frederik (2006). «Four Points in Two or Three Calibrated Views: Theory and Practice». International Journal of Computer Vision 67 (2): 211–231. doi:10.1007/s11263-005-4265-x.
↑ Fabbri, Ricardo; Duff, Timothy; Fan, Hongyi; Regan, Margaret; de Pinho, David; Tsigaridas, Elias; Wampler, Charles; Hauenstein, Jonathan και άλλοι. (23 Mar 2019). «Trifocal Relative Pose from Lines at Points and its Efficient Solution».
arXiv:1903.09755
[cs.CV]
.

Hartley, Richard I. (1997). «Lines and Points in Three Views and the Trifocal Tensor». International Journal of Computer Vision 22 (2): 125–140. doi:10.1023/A:1007936012022. https://archive.org/details/sim_international-journal-of-computer-vision_1997-03_22_2/page/n18.
Torr, P. H. S.; Zisserman, A. (1997). «Robust Parameterization and Computation of the Trifocal Tensor». Image and Vision Computing 15 (8): 591–607. doi:10.1016/S0262-8856(97)00010-3. https://archive.org/details/sim_image-and-vision-computing_1997-08_15_8/page/590.
Bareiss, Erwin (1968), «Sylvester's Identity and Multistep Integer-Preserving Gaussian Elimination», Mathematics of Computation 22 (102): 565–578, doi:10.2307/2004533, https://www.ams.org/journals/mcom/1968-22-103/S0025-5718-1968-0226829-0/S0025-5718-1968-0226829-0.pdf

[1] «The Trifocal Tensor - Detailed explanation of the trifocal geometry» (PDF).

[2] Martyushev, E. V. (2017). «On Some Properties of Calibrated Trifocal Tensors». Journal of Mathematical Imaging and Vision 58 (2): 321–332. doi:10.1007/s10851-017-0712-x.

[3] Schmid, Cordelia (2000). «The Geometry and Matching of Lines and Curves Over Multiple Views». International Journal of Computer Vision 40 (3): 199–233. doi:10.1023/A:1008135310502. http://hal.archives-ouvertes.fr/docs/00/54/83/01/PDF/ijcv.pdf.

[4] Fabbri, Ricardo; Kimia, Benjamin (2016). «Multiview Differential Geometry of Curves». International Journal of Computer Vision 120 (3): 324–346. doi:10.1007/s11263-016-0912-7. Bibcode: 2016arXiv160408256F.

[hzbook-5] Richard Hartley and Andrew Zisserman (2003). «Online Chapter: Trifocal Tensor» (PDF). Multiple View Geometry in computer vision. Cambridge University Press. ISBN 978-0-521-54051-3.

[6] Heyden, A. (1995). «Reconstruction from Image Sequences by means of Relative Depths». Proceedings of IEEE International Conference on Computer Vision. σελίδες 1058–1063. doi:10.1109/ICCV.1995.466817. ISBN 0-8186-7042-8.

[7] Larsson, Viktor· Astrom, Kalle· Oskarsson, Magnus (2017). «Efficient Solvers for Minimal Problems by Syzygy-Based Reduction». 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). σελίδες 2383–2392. doi:10.1109/CVPR.2017.256. ISBN 978-1-5386-0457-1.

[8] Nister, David; Schaffalitzky, Frederik (2006). «Four Points in Two or Three Calibrated Views: Theory and Practice». International Journal of Computer Vision 67 (2): 211–231. doi:10.1007/s11263-005-4265-x.

[9] Fabbri, Ricardo; Duff, Timothy; Fan, Hongyi; Regan, Margaret; de Pinho, David; Tsigaridas, Elias; Wampler, Charles; Hauenstein, Jonathan και άλλοι. (23 Mar 2019). «Trifocal Relative Pose from Lines at Points and its Efficient Solution».
arXiv:1903.09755
[cs.CV]
.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]