68
Παρουσίαση Διπλωματικής Γεώργιος Καρακωνσταντής Σχεδίαση και υλοποίηση του υλικού της διεπαφής ενός οπτικού αισθητήρα σε System On Chip για την επεξεργασία εικόνας και τη συμπίεση video Επιβλέπων: Γεώργιος Σταμούλης Αναπληρωτής Καθηγητής

System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

  • Upload
    others

  • View
    0

  • Download
    0

Embed Size (px)

Citation preview

Page 1: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Παρουσίαση Διπλωματικής

Γεώργιος Καρακωνσταντής

Σχεδίαση και υλοποίηση του υλικούτης διεπαφής ενός οπτικού αισθητήρα σε

System On Chip για την επεξεργασίαεικόνας και τη συμπίεση video

Επιβλέπων: Γεώργιος Σταμούλης

Αναπληρωτής Καθηγητής

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 2: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 214/7/2005

Εισαγωγή‘Μια εικόνα αξίζει όσο χίλιες λέξεις’Αύξηση των απαιτήσεων για εφαρμογές πολυμέσωνΜείωση του μεγέθους των συσκευών, βελτίωση της ποιότητας της εικόνας, μείωση του κόστους παραγωγής και της κατανάλωσης ισχύοςΣυνεχής ανάπτυξη και βελτίωση στον ψηφιακό οπτικό κόσμοΤα μέσα καταγραφής μιας εικόνας άλλαξαν και βελτιώνονται συνεχώςΗ εικόνα που παράγεται από έναν αισθητήρα απαιτείται να βελτιωθείΕφαρμογή αλγορίθμων προ επεξεργασίας εικόναςΚρίσιμα προβλήματα σχεδίασηςΑντικείμενο

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 3: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 314/7/2005

Οργάνωση

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 4: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 414/7/2005

Οπτικοί αισθητήρες

Χρησιμοποιούνται σε ένα ευρύ φάσμα εφαρμογώνΔύο τεχνολογίες κατασκευής

CCD (Charge Coupled Device) CMOS (Complementary Metal Oxide Semiconductor)

Παράγοντες ανάπτυξης CMOSΛειτουργικοί περιορισμοί CCDΑπαίτηση για μικρό μέγεθος και χαμηλή κατανάλωση

Τρόπος λειτουργίας (i(n1,n2) = ia(n1T1,n2T2))Φωτοηλεκτρικό φαινόμενοΔιαφορές

ΚατασκευαστικέςCMOS πιο ευέλικτη, κάθε pixel αυτόνομο

CCD: υψηλής ποιότητας και χαμηλού θορύβου εικόνες100 φορές περισσότερη κατανάλωση ενέργειαςCMOS:λιγότερη κατανάλωση ενέργειας, ευκολία κατασκευής, μικρότερο κόστος, μικρότερη ανάλυση

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 5: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 514/7/2005

CMOS αισθητήρες

Κάθε pixel διευθυνσιοδοτείται ανεξάρτητα και περιέχειμια φωτοδίοδο καιτρία transistors

Μεγαλύτερα επίπεδα θορύβουΕφαρμογές που απαιτούν χαμηλή κατανάλωση ενέργειας, μικρό μέγεθος καιμέση ανάλυση εικόναςΕνσωματώνουν τα αναλογικά και ψηφιακά μέρη σε ένα chip

Επιπρόσθετη εξοικονόμηση ενέργειας επιτελώντας επιπρόσθετη επεξεργασίαΤυπικά ελέγχεται από το πρωτόκολλο επικοινωνίας I²C

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 6: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 614/7/2005

Αισθητήρας επιλογής

Εταιρεία Micron - MT9V112Χαμηλή κατανάλωσηEνσωματώνει εξελιγμένες λειτουργίες on-chip Έξοδος 16-bit RGB (RGB565)2 κύρια ρολόγια

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 7: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 714/7/2005

Ψηφιακή επεξεργασία εικόνας

Αυξανόμενες εφαρμογέςΕικόναΚαταγραφή εικόναςΧρωματικά μοντέλα

RGB, YCbCr, CMYKΠρωταρχικά φίλτρα: άριστη αναπαραγωγήχρωμάτωνΣυμπληρωματικά φίλτρα: περισσότερο ευαίσθηταΦωτεινότητα (luminance), χρωματικό τόνος (hue), και κορεσμός (καθαρότητα χρώματος)

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 8: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 814/7/2005

Αλυσίδα προ-επεξεργασίαςΣημαντικό πεδίο έρευνας

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 9: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 914/7/2005

Αλγόριθμοι

Χρωματική σταθερότηταΟι κάμερες δεν έχουν την δυνατότητα βελτίωσης μέσω αιώνιας εξέλιξηςΑλγόριθμος εξισορρόπησης του λευκού – White Balance

ΑπλόςΠολύπλοκος

Gray World υπόθεσηΜκ = Μb = Mπ

Υλοποίηση

[225 211 175]pixel (184, 51):[209 211 208] [225 211 208]

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 10: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 1014/7/2005

Αλγόριθμοι

Εφαρμογή White balance

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 11: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 1114/7/2005

Διάφοροι αλγόριθμοι έχουνπροταθεί

Υλοποίηση αλγορίθμου αυτόματης έκθεσης (auto exposure)

Αλγόριθμοι

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 12: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 1214/7/2005

Αλγόριθμοι

Υλοποίηση αλγορίθμου αυτόματηςέκθεσης (auto exposure)

Max exposure time = 30msMin exposure time = 1ms

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 13: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 1314/7/2005

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 14: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 1414/7/2005

Αρχιτεκτονική Συστήματος

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 15: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 1514/7/2005

Πρωτόκολλο επικοινωνίας I2C (Inter Integraded Circuit )

Πρωτόκολλο επικοινωνίας για την ανταλλαγή δεδομένων μεταξύ συσκευώνΑποτελεί παγκόσμιο de-facto standardΕλαχιστοποιεί τις διασυνδέσεις, οπότε γίνεται χρήση λιγότερων pinsΕπιτρέπει μικρότερες και λιγότερο ακριβές συσκευέςΧαρακτηριστικά

Κάθε συσκευή που συνδέεται στο I2C bus έχει μια μοναδική διεύθυνσηΜaster/slave σχέσεις μεταξύ των συσκευώνΚάθε συσκευή μπορεί να λειτουργεί σαν αποστολέας ή παραλήπτηςΑποτελείται από δύο γραμμές, την SDA για την μεταφορά τωνδεδομένων και την SCL για το ρολόιΤα δεδομένα μεταδίδονται με ταχύτητες που φθάνουν τα 100 kbits/secστο Standard mode

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 16: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 1614/7/2005

Δυο σημαντικές συνθήκες είναι οι Start και Stop οι οποίες δημιουργούνταιπάντα από τον master

Μεταφορά δεδομένωνΚάθε φορά στέλνονται 8 – bitΚάθε byte ακολουθείται από ένα σήμα επιβεβαίωσης (Acknowledge bit)

Πρωτόκολλο επικοινωνίας I2C (Inter Integraded Circuit )

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 17: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 1714/7/2005

Απαιτούνται16-bit για την εγγραφή ενός εσωτερικού καταχωρητή – 2 μεταφορέςΤυπική ανάγνωση

Εάν η αίτηση ήταν εγγραφή, ο master μεταφέρει την διεύθυνση του καταχωρητήπου επιθυμεί να γράψει

Απλό και προσφέρει πολλά πλεονεκτήματα στον σχεδιαστή και κατασκευαστή

Πρωτόκολλο επικοινωνίας I2C (Inter Integraded Circuit )

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 18: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 1814/7/2005

Ροή πληροφορίας σχεδίασης VLSI

Έννοια όρου ‘Ροή πληροφορίας’Μεθοδολογία σχεδίασης bottom-up

Επίπεδο transistor και επίπεδοφυσικής σχεδίασηςΣχεδίαση συστημάτων υψηλήςαπόδοσης

Μεθοδολογία σχεδίασης top-downHDL περιγραφή, αυτόματη σύνθεσηΨηφιακά κυκλώματα

Απαιτούνται πολλές επαναλήψεις γιατην ικανοποίηση των απαιτήσεωναπόδοσης μέχρι την τελική κατασκευήτου συστήματος

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 19: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 1914/7/2005

Σύλληψη ιδέας, προσδιορισμός απαιτήσεων απόδοσηςΠεριγραφή του κυκλώματος σε μια γλώσσα περιγραφήςυλικού (HDL)Λειτουργική προσομοίωσηΣύνθεση

Παραγωγή αρχείου netlist – περιγραφή σε επίπεδο πυλώνΥλοποίηση

Μετάφραση (translate)Έλεγχος αρχείου netlist και περιορισμών (ucf)

MAPΑνάθεση λογικών στοιχείων σε φυσικά στοιχεία τουFPGA τα οποία υλοποιούν λογικές συναρτήσεις(LUT)

Place And Route (PAR)Ανάθεση λογικών στοιχείων σε συγκεκριμένες θέσειςτης συσκευήςΔρομολόγηση μέσω της χρήσης διασυνδέσεων

Ροή πληροφορίας σχεδίασης FPGA

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 20: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 2014/7/2005

Περιγραφή σε γλώσσα υλικού

Επιλέχθηκε η VHDLΑποτελεί βιομηχανικό πρότυπο (IEEE 1164 standard - 1993)Δυνατότητα περιγραφής κυκλωμάτων ως προς

τη δομή (structure),τη ροή δεδομένων (dataflow) και τησυμπεριφορά τους

Περιγραφή της χρονικής συμπεριφοράςΔυνατότητα επαναχρησιμοποίησης σχεδιάσεων και έτοιμωνβιβλιοθηκώνΗ χρήση κώδικα αντί σχηματικών είναι αποτελεσματικότερη για τησχεδίαση μεγάλων και πολύπλοκων κυκλωμάτων λόγω

ταχύτερης σύλληψης (capture) καιευκολότερης διαχείρισης και τροποποίησης της σχεδίασης

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 21: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 2114/7/2005

Διάταξη προγραμματιζόμενηςλογικής - FPGA

Ψηφιακό λογικά προγραμματιζόμενο chipΔισδιάστατες διατάξεις λογικών βαθμίδων διασυνδεόμενες μεταξύ τουςμέσω καλωδίων και λογικών διακοπτών, υπό τον πλήρη έλεγχο τουσχεδιαστή.Δυο είδη FPGAs

ΕπαναπρογραμματιζόμεναLook Up Tables (LUT)

One-time προγραμματιζόμενα (OTP).Συμβατικές πύλες

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 22: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 2214/7/2005

Διάταξη προγραμματιζόμενηςλογικής - FPGA

Λογική βαθμίδα FPGA: Look Up Tables (LUT)Προσδιορισμός της εξόδου με βάση τις τιμές των εισόδωνΣτοιχεία αποθήκευσης τιμών (0 και 1) (latches) Flip-flops για την υλοποίηση ακολουθιακής λογικής

Απαιτείται κάποια τάση, για να λειτουργήσουν τα flip-flop καιοι λογικές πύλεςΥπάρχουν 2 είδη pins

Τα αφοσιωμένα (dedicated pins) καιΤα pins του χρήστη

Μια σχεδίαση FPGA συνήθως είναι σύγχρονηΔημιουργία binary αρχείου (.bit) για την εγκατάστασηXάνουν την λειτουργικότητά τους όταν αποσυνδεθούν απότην τροφοδοσία

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 23: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 2314/7/2005

FPGA σχεδίασης

SPARTAN IIE της εταιρείας XilinxΗ βασική δομή CLB περιλαμβάνει κατανεμημένη RAM

Λογικό κελί (LC)Περιέχει μια γεννήτρια 4-εισόδων,λογική μεταφοράς και ελέχου, έναστοιχείο αποθήκευσης

Κάθε CLB περιέχει 4 λογικά κελιά οργανωμένα σε 2 όμοια τμήματα(slices)Οι γεννήτριες συναρτήσεις (function generators) υλοποιούνται σανLook Up Tables (LUT) 4 εισόδωνΤα στοιχεία αποθήκευσης μπορούννα διαμορφωθούν σαν D flip flops ή latches.Χρησιμοποιούνται πολυπλέκτεςγια την δρομολόγηση των σημάτωνΤοποθετείται σε ένα board και συνδέεταιμε περιφερειακές συσκευές

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 24: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 2414/7/2005

Λειτουργική προσομοίωσηΥλοποίηση

Εργαλεία λειτουργικής προσομοίωσηςModelSim SE 6.0aHDL Designer 2004.1bMatlab 7.0

Εργαλεία σύνθεσης και υλοποίησηςXilinx ISE 7.1i

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 25: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 2514/7/2005

Αρχιτεκτονική

Προγραμματισμός των κατάλληλωνκαταχωρητών του αισθητήρα και ανάγνωσητων τιμών τουςΕλέγχει έναν μετρητή που μετράει τοναριθμό των bits και 2 ολισθητέςΠροσθήκη επιπλέον κατάστασηςαποστολής της διεύθυνσης του καταχωρητήΑν r_w = 1 εγγραφήΤα δεδομένα στο SDA αλλάζουν μόνο όταντο SCL είναι LOW.Το bus είναι ελεύθερο όταν SDA και SCLHIGHΔεν χρειάζεται η υλοποίηση της arbitrationλειτουργίας

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 26: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 2614/7/2005

Αρχιτεκτονική

Παραλλαγμένο πρωτόκολλο επικοινωνίαςγια τον αισθητήραΔιαφέρει στη διαδικασία της ανάγνωσηςΟ master, είτε στέλνει σήμα start και τηδιεύθυνση ανάγνωσης της slave συσκευήςείτε δεν στέλνει start οπότε και μεταβαίνειστην κατάσταση μεταφοράς.Η slave διεύθυνση του αισθητήρα είναι

διεύθυνση εγγραφής0XBA : 10111010

διεύθυνση ανάγνωσης0XBB : 10111011

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 27: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 2714/7/2005

Χρήση του HDL για δημιουργίαμηχανής πεπερασμένωνκαταστάσεωνΠαραγόμενος κώδικας

Πολύ καλά οργανωμένοςΌμοιος με το δικό μας

ΠροβλήματαΟι καταστάσεις δεν είναιμε τη σειρά

Αρχιτεκτονική

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 28: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 2814/7/2005

Αρχιτεκτονική

Παραγωγή scl, sda start και stop σημάτωνΗ συχνότητα του ρολογιού είναι περίπου100kHzHIGH_CNT και LOW_CNT

Προσδιορίζουν τον αριθμό των κύκλων τουρολογιού που απαιτούνται

Χρόνοι αναμονής στις καταστάσειςέναρξης και μεταφοράς

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 29: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 2914/7/2005

Λειτουργική Προσομοίωση

ΔιαδικασίεςΑνιχνευση σημάτων έναρξης (scl=’1’ και sda=’0’) ήτερματισμού του πρωτοκόλλου (scl=’0’ και sda=’0’) Αναγνώριση της λήψη επιβεβαίωσης από τον αισθητήραΑνάθεση σωστών τιμών στη γραμμή sda

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 30: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 3014/7/2005

Προγραμματισμός καταχωρητή με τη τιμή: 0000000100000000 (RGB 565), Επαναλαμβανόμενη Έναρξη

Αποστολή διεύθυνσης εγγραφής του αισθητήρα, 0ΧΒΑ – 10111010

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 31: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 3114/7/2005

Αποστολή διεύθυνσης ανάγνωσης του αισθητήρα, 0ΧΒΒ – 10111011

Αποστολή 8-bit δεδομένων

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 32: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 3214/7/2005

Σύνθεση

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 33: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 3314/7/2005

ΟλισθητήςΦθάνουμε μέχρι και τοεπίπεδο πυλώνΠαραγωγή ενός ψηφίου τηςαρτηρίας μεταφοράςδεδομένων.

Σύνθεση

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 34: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 3414/7/2005

Χρήση πόρων συσκευής

Εκτίμηση χρονισμού

Σύνθεση

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 35: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 3514/7/2005

Υλοποίηση

Αναφορά MAPΟρισμός χρονικών περιορισμών (ucf αρχείο)

Αριθμός πυλών

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 36: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 3614/7/2005

Υλοποίηση

Αναφορά Place And Route (πραγματικές καθυστερήσεις (ns))

Αναφορά Place And Route (χρήση στοιχείων)

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 37: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 3714/7/2005

Αναφορά Post Place And Route Static TimingΘέτουμε χρονικούς περιορισμούς

Ρολόι συστήματος

Παραγόμενο ρολόι scl

Υλοποίηση

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 38: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 3814/7/2005

Υλοποίηση

Κρίσιμο μονοπάτι

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 39: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 3914/7/2005

Τοποθέτηση στο FPGA Εργαλείο floorplanner

Flip flops και πολυπλέκτες

Υλοποίηση

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 40: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 4014/7/2005

Τοποθέτηση στο FPGA Εργαλείο fpga editor

Ολισθητής διεύθυνσηςΣήμα ελέχου shift_reg_en

Υλοποίηση

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 41: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 4114/7/2005

Κατανάλωση ισχύος

Προσομοίωση χρονισμούΚαθυστερήσειςΤεχνολογία 0.18/0.15 umΣύγκριση κυματομορφών

Υλοποίηση

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 42: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 4214/7/2005

Καταγραφή εικόναςΑρχιτεκτονική

Η έξοδος του αισθητήρα μπορεί να έχει διάφορεςμορφές όπως 4:2:2 YCrCb (CCCIR656) ή 565 RGBΤο κύκλωμα αυτό δέχεται σαν είσοδο 8-bit κάθε φοράκαι σχηματίζει ένα pixel 16-bit τύπου RGB (565). Ενεργοποιεί την εγγραφή στη μνήμηΣτέλνει κάθε φορά ένα pixel 16-bit στη μνήμη

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 43: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 4314/7/2005

Παραγωγή μηχανής με το HDL Designer

Χρήση junction Εμείς χρησιμοποιούμε andστις συνθήκες

Καταγραφή εικόναςΑρχιτεκτονική

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 44: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 4414/7/2005

Καταγραφή εικόνας (ενεργοποίηση των addr_cnt_en και wen )

Ολοκλήρωση λήψης πλαισίου (line_valid= 0, frame_valid = 0, DONE)

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 45: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 4514/7/2005

Σύνθεση

Χρήση πόρων συσκευής

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 46: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 4614/7/2005

Υλοποίηση

Αναφορά Place And Routeχρήση στοιχείωνπραγματικές καθυστερήσεις (ns)

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 47: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 4714/7/2005

Κατανομή ρολογιού

Αποτελέσματα Post Place And Route Static TimingΘέτουμε χρονικό περιορισμό

Τοποθέτηση στο FPGA

Υλοποίηση

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 48: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 4814/7/2005

Αρχιτεκτονική

Μέτρηση των χρωματικών συνιστωσώνΕίσοδος ένα pixel μεγέθους 16 bitΈξοδος οι συνολικές τιμές τωνχρωματικών συνιστωσών της εικόναςΥπολογισμός στατιστικών από το λογισμικό

Αυξημένη πολυπλοκότηταΑπαιτήσεις υπολογιστικής ισχύος

Σύστημα μνήμηςΚύκλωμα ελέγχου

Αύξηση ή μείωση της διεύθυνσης μνήμηςΣτοιχείο μνήμης

Έλεγχος καταχωρητώνΑνάγνωση ή εγγραφή καταχωρητών του

του πυρήνα του αισθητήρα (Core) ήτου επεξεργαστή εικόνας (Image Flow Processor)

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 49: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 4914/7/2005

Ολοκλήρωση εγγραφής πλαισίου και ανάγνωσης μνήμη, μετρητές χρωματικών συνιστωσών

Μνήμη γεμάτη (μέγεθος 256 x 16) (full_ram=1)

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 50: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 5014/7/2005

Σύστημα μνήμηςΣύνθεση

Αντιμετώπιση προβλημάτωνμε την αύξηση του μεγέθουςτης μνήμης

RAM δύο εισόδων

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 51: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 5114/7/2005

Σύστημα μνήμηςΥλοποίηση

Αποτελέσματα Post Place And Route Static Timing

Τοποθέτηση στο FPGAΑλυσίδες παραγωγής σημάτων

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 52: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 5214/7/2005

Κύκλωμα ελέγχου συστήματοςΑρχιτεκτονική Συστήματος

Υπεύθυνο γιαΤο συντονισμό και τη σωστή λήψη, την εγγραφή και ανάγνωση της εικόνας

Ενεργοποίηση του I2C πρωτοκόλλουεπικοινωνίαςΕνεργοποιείται το σήμα ανάγνωσης rdinΔυναμική ανάθεση μεγεθών

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 53: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 5314/7/2005

Ολοκλήρωση λήψης εικόνας, ανάγνωση από το σύστημα

Ενεργοποίηση I2C

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 54: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 5414/7/2005

Σύνθεση

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 55: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 5514/7/2005

Σύνθεση

Χρήση πόρων συσκευής

Εκτίμηση χρονισμού

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 56: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 5614/7/2005

Υλοποίηση

Αναφορά MAPΟρισμός χρονικών περιορισμών (ucf αρχείο)

Αριθμός πυλών

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 57: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 5714/7/2005

ΥλοποίησηΑναφορά Place And Route

Αποτελέσματα Post Place And Route Static Timing

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 58: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 5814/7/2005

Υλοποίηση

Τοποθέτηση στο FPGAΑλυσίδες παραγωγής σημάτων

Αριστερά η αλυσίδα μέτρησης των χρωμάτων των pixel

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 59: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 5914/7/2005

Υλοποίηση

Κατανομή σήματος reset Παραγωγή ψηφίου του μετρητή red_pixel

Συνολική κατανάλωση ισχύος: 24.60 mW

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 60: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 6014/7/2005

Κύκλωμα διασύνδεσης

Εγγραφή και ανάγνωση εικόνας

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 61: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 6114/7/2005

Σύνθεση

Ένα από τα 10 πιο κρίσιμα μονοπάτια

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 62: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 6214/7/2005

Ανάγνωση εικόνας

Χρήση μετρητώνΕνεργοποίηση line_valid - HSYNC, frame_valid - VSYNC8-bit έξοδος

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 63: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 6314/7/2005

Έναρξη λήψης εικόνας

Παρατηρούμε το ram_empty και τους μετρητές των χρωματικών συνιστωσών

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 64: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 6414/7/2005

Ολοκλήρωση λήψης πλαισίουΠαρατηρούμε την ενεργοποίηση του σήματος eof

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 65: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 6514/7/2005

Ανάγνωση μνήμης

Τα pixel που διαβάζονται ταυτίζονται με αυτά του αρχείου κειμένου

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 66: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 6614/7/2005

Συμπεράσματα

Yλοποιήθηκανοι δύο πιο σημαντικοί αλγόριθμoι προ-επεξεργασίαςτα υποκυκλώματα διεπαφής του αισθητήρα

Ενσωμάτωση σημάτων για καλύτερο έλεγχο και συντονισμόΔυναμική ανάθεση μεγεθώνΙκανοποίηση όλων των περιορισμών

Πραγματική καθυστέρηση πολύ μικρότερη από την απαιτούμενηΔιατήρηση λειτουργικότητας

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 67: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 6714/7/2005

Μελλοντική Εργασία

Υλοποίηση του λογισμικού τμήματος της διεπαφήςΠροδιαγραφές

Χρήση μεγαλύτερου FPGA όπως Virtex II ProΥλοποίηση αλγορίθμων συμπίεσης (JPEG, MPEG4)Ραγδαία ανάπτυξη ψηφιακού οπτικού κόσμουΑνάπτυξη και εδραίωση των δικτύων τρίτης και τέταρτης γενιάςΕικόνα: το βασικότερο μελλοντικό μέσο επικοινωνίας

SIF

DMA

Host Unit(PPC oruBlaze)

Memory Contr.

LCDHardware

Acc.

LCD Contr.

SDRAM

GPIOINT

control UART

Bridge

Other..

Image Sensor

Hardware for the SIF PowerPC drivers for the SIF

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7

Page 68: System On Chip γιατηνεπεξεργασία ... · 2017. 12. 8. · 14/7/2005 ΚαρακωνσταντήςΓεώργιος 3 Οργάνωση Institutional Repository - Library

Καρακωνσταντής Γεώργιος 6814/7/2005

ΤΕΛΟΣΠΑΡΟΥΣΙΑΣΗΣ

Σας ευχαριστώγια την προσοχή σας

Institutional Repository - Library &

Information C

entre - University of T

hessaly08/12/2017 23:26:30 E

ET

- 137.108.70.7