La visione artificiale è un campo dell’intelligenza artificiale che consente ai computer di comprendere immagini, video e altre informazioni visive. Gli ingegneri della visione artificiale sviluppano sistemi software in grado di riconoscere oggetti, analizzare immagini, comprendere scene ed estrarre informazioni utili dai dati visivi.
Potresti costruire sistemi in grado di rilevare difetti nei prodotti fabbricati, riconoscere oggetti nelle fotografie, analizzare immagini mediche, tracciare veicoli, aiutare i robot a comprendere l’ambiente circostante o elaborare immagini da telecamere e satelliti.
Questa carriera combina programmazione, matematica, elaborazione delle immagini, apprendimento automatico e ingegneria del software. Non è necessario padroneggiare tutto in una volta. Un percorso di apprendimento strutturato può aiutarti a sviluppare passo dopo passo le competenze richieste.
Cosa fa un ingegnere di visione artificiale?
Un ingegnere di visione artificiale sviluppa e mantiene sistemi che elaborano informazioni visive.
Le responsabilità tipiche includono:
- Raccolta e preparazione di set di dati di immagini o video
- Pulizia ed etichettatura dei dati visivi
- Sviluppo di pipeline di elaborazione delle immagini
- Addestramento di modelli di machine learning e deep learning
- Costruire sistemi di classificazione, rilevamento e segmentazione delle immagini
- Elaborazione e analisi di video
- Valutazione delle prestazioni del modello
- Investigare e ridurre gli errori del modello
- Ottimizzazione dei modelli per la velocità e l’utilizzo della memoria
- Distribuzione di modelli in applicazioni e sistemi di produzione
- Lavorare con GPU, server o dispositivi edge.
La moderna visione artificiale fa molto affidamento sul deep learning, ma le tradizionali tecniche di elaborazione delle immagini rimangono utili. I datori di lavoro cercano comunemente ingegneri con competenze in Python, OpenCV, framework di deep learning e machine learning, mentre alcune posizioni richiedono anche C++, CUDA, visione 3D o esperienza di implementazione.
Come diventare un ingegnere della visione artificiale
1. Impara prima Python
Python è uno dei linguaggi di programmazione più utili per la visione artificiale e l’apprendimento automatico.
Dovresti imparare i concetti di base della programmazione Python, incluse variabili e tipi di dati, condizioni e cicli, funzioni, classi, moduli, eccezioni, gestione dei file e programmazione orientata agli oggetti. Dovresti anche imparare come utilizzare gli ambienti virtuali e gestire i pacchetti, nonché come eseguire il debug del codice quando si verificano problemi.
Dovresti anche imparare NumPy perché le immagini possono essere rappresentate come array numerici multidimensionali. Anche la familiarità con Matplotlib e Panda è utile.
Non passare mesi cercando di memorizzare ogni caratteristica di Python. Impara abbastanza programmazione per costruire progetti sempre più complessi.
2. Apprendi le conoscenze matematiche necessarie
Non è necessaria la matematica avanzata per apprendere la visione artificiale, ma una solida base matematica diventerà sempre più preziosa.
Inizia con l’algebra lineare. Scopri di più su vettori, matrici, moltiplicazione di matrici, prodotti scalari, trasformazioni, autovalori e sistemi di coordinate.
Successivamente, studia probabilità e statistica. Concetti importanti includono distribuzioni di probabilità, media, varianza, probabilità condizionata, campionamento, correlazione e valutazione statistica.
Il calcolo di base è utile anche per comprendere come apprendono le reti neurali. Focus su derivate, gradienti, derivate parziali e ottimizzazione.
La geometria è particolarmente importante per la visione artificiale perché le immagini e le telecamere coinvolgono coordinate, trasformazioni, prospettiva e spazio tridimensionale.
L’obiettivo non è diventare un matematico. Dovresti comprendere la matematica abbastanza bene per sapere cosa stanno facendo i tuoi algoritmi e modelli.
3. Impara l’elaborazione delle immagini e OpenCV
Prima di concentrarti interamente sul deep learning, apprendi i fondamenti dell’elaborazione delle immagini digitali.
OpenCV è un’importante libreria per la visione artificiale pratica. Esercitarsi in operazioni come:
- Lettura e salvataggio delle immagini
- Ridimensionare e ritagliare le immagini
- Immagini rotanti
- Cambiare gli spazi colore
- Sfocatura e nitidezza
- Soglia
- Rilevamento dei bordi
- Trovare contorni
- Operazioni morfologiche
- Trasformazioni geometriche
- Elaborazione video
- Lettura dell’input della telecamera.
L’elaborazione tradizionale delle immagini a volte può risolvere un problema senza una rete neurale. Ancora più importante, comprendere la manipolazione delle immagini aiuta a capire cosa succede ai dati visivi prima che raggiungano un modello di machine learning.
4. Impara l’apprendimento automatico
Una solida conoscenza dei fondamenti del machine learning può migliorare significativamente il modo in cui ti avvicini alla visione artificiale.
Ulteriori informazioni su:
- Set di dati di formazione, convalida e test
- Caratteristiche ed etichette
- Overfitting e underfitting
- Regolarizzazione
- Aumento dei dati
- Funzioni di perdita
- Ottimizzazione
- Ottimizzazione degli iperparametri
- Valutazione del modello.
Dovresti capire perché un modello può funzionare molto bene con le immagini di addestramento ma male con le nuove immagini.
Per la classificazione, apprendi metriche come accuratezza, precisione, richiamo, punteggio F1 e matrici di confusione.
Per il rilevamento e la segmentazione degli oggetti, apprendi l’intersezione rispetto all’unione e la precisione media media.
Comprendere la valutazione del modello è importante quanto sapere come addestrare un modello.
5. Impara il deep learning e PyTorch
Il deep learning è fondamentale per la moderna visione artificiale.
Inizia apprendendo i fondamenti della rete neurale, inclusi strati, funzioni di attivazione, propagazione in avanti, propagazione all’indietro, funzioni di perdita e discesa del gradiente.
Quindi studia le reti neurali convoluzionali. Dovresti comprendere concetti come convoluzioni, kernel, mappe di funzionalità, pooling, riempimento, stride e campi recettivi.
Dopo aver compreso le reti neurali convoluzionali, scopri le architetture moderne come le reti residue, i meccanismi di attenzione e i trasformatori di visione.
PyTorch è un framework particolarmente utile per imparare. Dovresti sapere come:
- Creare e manipolare tensori
- Carica set di dati
- Costruisci reti neurali
- Scrivi cicli di formazione
- Utilizzare funzioni di perdita e ottimizzatori
- Addestra modelli su GPU
- Salvare e caricare i modelli
- Ottimizza i modelli preaddestrati
- Valutare i modelli.
I tutorial ufficiali di PyTorch forniscono materiali didattici riguardanti tensori, set di dati, costruzione di modelli, ottimizzazione, trasferimento di apprendimento e applicazioni di visione artificiale.
Puoi anche imparare TensorFlow e Keras se sono rilevanti per i lavori che desideri, ma acquisire familiarità con un framework principale è più utile che avere una conoscenza superficiale di diversi framework.
6. Comprendere i principali compiti della visione artificiale
Dovresti acquisire familiarità con i problemi più importanti della visione artificiale.
Classificazione delle immagini
La classificazione assegna una categoria a un’immagine.
Ad esempio, un modello potrebbe determinare se una fotografia contiene un gatto, un cane o un uccello. I sistemi industriali possono anche classificare i prodotti come accettabili o difettosi.
Rilevamento oggetti
Il rilevamento degli oggetti identifica gli oggetti e le loro posizioni, solitamente utilizzando riquadri di delimitazione.
Un sistema di traffico, ad esempio, potrebbe rilevare automobili, autobus, biciclette e pedoni.
Segmentazione delle immagini
La segmentazione identifica pixel specifici appartenenti a oggetti o regioni. È utile per immagini mediche, produzione, veicoli autonomi, agricoltura e immagini satellitari.
Tracciamento degli oggetti
Il tracciamento segue gli oggetti attraverso i fotogrammi video. Le applicazioni includono il monitoraggio del traffico, l’analisi sportiva, la sicurezza e la robotica.
Riconoscimento ottico dei caratteri
Il riconoscimento ottico dei caratteri estrae il testo dalle immagini. Potresti riscontrare questa attività nell’elaborazione di documenti, nella scansione di ricevute, nell’elaborazione di documenti di identità e nell’immissione automatizzata di dati.
Visione artificiale 3D
La visione 3D si occupa di profondità, forma e ambienti tridimensionali. Argomenti importanti includono la visione stereoscopica, le telecamere di profondità, le nuvole di punti, LiDAR, la ricostruzione 3D e lo SLAM visivo.
Non è necessario specializzarsi in ogni ambito. Impara i fondamenti e poi concentrati sulle aree rilevanti per la carriera desiderata.
7. Informazioni sui dati
Un sistema di visione artificiale dipende fortemente dalla qualità dei suoi dati.
Scopri come:
- Trova o raccogli set di dati adatti
- Etichettare le immagini
- Pulisci i dati di scarsa qualità
- Crea suddivisioni di formazione, convalida e test
- Gestire lo squilibrio di classe
- Applicare un aumento dei dati realistico
- Rileva la perdita di dati
- Set di dati di documenti.
Etichette scadenti o immagini non rappresentative possono produrre un modello scadente anche quando si utilizza un’architettura avanzata.
Dovresti anche imparare a eseguire l’analisi degli errori. Se un modello funziona male di notte, ad esempio, verifica se i dati di addestramento contengono abbastanza immagini notturne, se gli oggetti sono troppo scuri o se il motion blur influisce sulle previsioni.
8. Costruisci progetti pratici
I progetti sono uno dei modi migliori per dimostrare le tue capacità.
Inizia con un progetto di classificazione delle immagini. Scegli un set di dati reale, addestra un modello utilizzando l’apprendimento del trasferimento e valuta le sue prestazioni.
Successivamente, crea un progetto di rilevamento degli oggetti. Ad esempio, potresti creare un sistema che rilevi automobili e motociclette nelle immagini stradali.
Quindi crea un progetto di segmentazione delle immagini. È possibile identificare le aree danneggiate sui prodotti fabbricati o separare gli oggetti dai loro sfondi.
Successivamente, crea un progetto di analisi video che rilevi e tenga traccia degli oggetti.
Infine, crea un’applicazione end-to-end che accetti un’immagine o un video, esegua un modello di visione artificiale e visualizzi i risultati.
Un portfolio non ha bisogno di decine di progetti. Da quattro a sei progetti ben documentati sono generalmente più preziosi di una vasta raccolta di tutorial copiati.
9. Metti i tuoi progetti su GitHub
Il tuo portfolio dovrebbe dimostrare sia l’apprendimento automatico che le capacità ingegneristiche.
Ogni grande progetto dovrebbe includere:
- Un documento README chiaro
- Descrizione del problema
- Informazioni sul set di dati
- Istruzioni per l’installazione
- Istruzioni per la formazione
- Risultati della valutazione
- Risultati di esempio
- Decisioni tecniche
- Limitazioni
- Possibili miglioramenti.
Spiega cosa hai fatto invece di caricare semplicemente un taccuino.
Ad esempio, invece di dire che hai “lavorato con il rilevamento degli oggetti”, spiega quale problema hai risolto, quale set di dati hai utilizzato, come hai addestrato il modello, quali metriche di valutazione hai selezionato e come hai migliorato le prestazioni.
10. Impara l’ingegneria e l’implementazione del software
L’addestramento di un modello su un notebook è solo una parte del lavoro di un ingegnere di visione artificiale.
Impara Git, GitHub, nozioni di base su Linux, API, Docker, test, registrazione e organizzazione del software.
Dovresti anche capire come distribuire i modelli.
Le tecnologie e i concetti utili includono:
- API REST
- Docker
- ONNX
- Inferenza della GPU
- Quantizzazione del modello
- Ottimizzazione del modello
- Il cloud computing
- Distribuzione perimetrale.
I sistemi di produzione richiedono compromessi tra precisione, velocità, memoria e costi.
Ad esempio, un modello che produce previsioni eccellenti ma impiega diversi secondi per elaborare un fotogramma potrebbe non essere adatto per un sistema di telecamere in tempo reale.
11. Impara il C++ e il GPU computing quando necessario
Python è un eccellente punto di partenza, ma C++ può diventare importante per le applicazioni critiche per le prestazioni.
Il C++ è particolarmente utile nella robotica, nei sistemi automobilistici, nei dispositivi embedded e nella visione artificiale in tempo reale.
Puoi usare Python per la sperimentazione e l’apprendimento automatico mentre usi C++ per i componenti sensibili alle prestazioni.
Dovresti anche comprendere i concetti di base dietro GPU e CUDA. La programmazione CUDA avanzata non è necessaria all’inizio, ma la conoscenza della GPU diventa sempre più utile quando si lavora con modelli di grandi dimensioni o applicazioni in tempo reale.
12. Scegli una specializzazione
Dopo aver appreso i fondamenti, valuta la possibilità di scegliere un settore o una specializzazione tecnica.
Il lavoro con veicoli autonomi può comportare il rilevamento di oggetti, la stima della profondità, la fusione dei sensori, LiDAR e la visione 3D.
La robotica può coinvolgere la localizzazione visiva, la stima della posa, la percezione della profondità, lo SLAM visivo e l’inferenza in tempo reale.
L’assistenza sanitaria può comportare l’analisi di raggi X, TC, risonanza magnetica e immagini patologiche.
La produzione può comportare ispezione automatizzata, rilevamento dei difetti, misurazione e sistemi robotici.
L’agricoltura può comportare il monitoraggio delle colture, il rilevamento di malattie delle piante, il conteggio dei frutti e il rilevamento delle erbe infestanti.
L’analisi video e di vendita al dettaglio può comportare il riconoscimento del prodotto, il monitoraggio dell’inventario, il monitoraggio degli oggetti e l’analisi dei clienti.
La tua specializzazione dovrebbe influenzare i progetti che realizzi e le tecnologie avanzate che studi.
