Modelli classici e modelli neurali

Modelli matematici: cosa sono e perche servono

Che cos’e un modello matematico?

Un modello matematico di un processo e l’insieme delle relazioni necessarie per conoscere l’andamento temporale delle uscite del processo in funzione degli ingressi e delle condizioni in cui si trova il sistema all’istante iniziale.

Esistono molti tipi diversi di modelli?

Si, la forma matematica del modello dipende dalle leggi fisiche che governano il tipo di processo e quindi non e possibile a priori determinarne la struttura, tuttavia in molti casi si puo fare riferimento a modelli standard di tipo lineare per i quali esiste una teoria ormai molto matura. E bene comunque ricordare che in natura e praticamente impossibile trovare processi che siano perfettamente lineari, percio il ricorso ad essi e molto spesso dovuto ad una semplificazione che penalizza la precisione ma rende molto piu agevole lo studio e la progettazione.

Quali sono i casi piu comuni di sistemi lineari?

La teoria dei circuiti elettrici (basata solo su resistori, condensatori e induttori) e lineare. Cio non e piu vero se si considerano i dispositivi a semiconduttore come diodi e transistor che hanno delle dinamiche rigorosamente non lineari. Esiste inoltre una forte analogia tra sistemi elettrici e sistemi meccanici basati su masse, molle e smorzatori, per cui e sempre possibile passare da un circuito ad una struttura che obbedisce alle leggi della dinamica. Naturalmente anche in quest’ultimo caso e importante tenere presente che generalmente si tratta di approssimazioni piu o meno valide della realta.

Come si perviene al modello di un sistema?

Esistono fondamentalmente due strategie: la prima e quella di fare riferimento alle leggi fisiche (come ad esempio nel caso dell’elettronica, della meccanica e della fluidodinamica), mentre la seconda, chiamata identificazione, e una tecnica che mira alla costruzione di un modello basandosi su coppie di dati ingresso/uscita. In quest’ultimo caso si parte da una struttura generica e si cerca di ottimizzarne i parametri variabili in modo che avvenga un’interpolazione dei dati quanto piu precisa possibile.

Le reti neurali come modelli identificatori

Che tipo di modello e una rete neurale?

Le reti neurali di uso comune sono modelli non lineari che vengono ottimizzati per identificare un determinato processo. Il percettrone semplice proposto inizialmente da Rosenblatt era basato sulla classificazione di dati che potevano essere linearmente separati (per semplicita immaginiamo un esempio bidimensionale: esso poteva dividere il piano in due parti con una retta e collocare i dati in uno dei due semipiani), tuttavia si noto che questo tipo di rete era inadeguata a svolgere molti compiti che richiedevano una separazione non lineare come ad esempio lo XOR binario. Per questo motivo si decise di passare a reti a piu strati (MLP, Multi Layer Perceptrons) con dinamiche tipicamente sigmoidali o a tangente iperbolica. Per questo tipo di reti venne inventato il famoso algoritmo di Back-Propagation che serviva proprio a modificare i parametri variabili, in questo caso i pesi sinaptici, al fine di rendere la rete capace di associare ai pattern di ingresso i pattern di uscita.

Quindi l’addestramento di una rete MLP equivale ad un’identificazione?

Si, tuttavia l’obiettivo che si desidera raggiungere e anche quello di rendere la rete capace di generalizzare in modo coerente alla realta.

Che cosa si intende per capacita di generalizzazione?

La capacita di generalizzazione e quella proprieta che permette ad una rete neurale di produrre uscite a partire da dati in ingresso non presenti nell’insieme utilizzato per l’addestramento. Naturalmente ogni rete e in grado di farlo, tuttavia cio che conta e la coerenza di queste uscite, vale a dire la correlazione che sussiste con i pattern forniti dall’addestratore. Un esempio molto comune e quello relativo al riconoscimento di caratteri: l’insieme d’addestramento (training set) contiene una rappresentazione di tutte le lettere dell’alfabeto, dopo un certo numero di cicli l’errore si riduce al di sotto di una soglia accettabile prefissata, a questo punto la rete e pronta per la fase di test. Se la capacita di generalizzazione e buona ci si deve aspettare che fornendo l’immagine di una lettera corrotta da rumore, ma ancora riconoscibile, la rete neurale riesca a classificarla correttamente.

I modelli classici sono in grado di generalizzare?

Quando si costruisce un modello basandosi su leggi fisiche ci si aspetta un comportamento deterministico e quindi, a patto di non effettuare eccessive semplificazioni, l’errore puo essere considerato nullo. Non c’e generalizzazione poiche e come se il modello incorporasse a se tutte le possibili coppie ingresso/uscita. Nel caso dell’identificazione invece la situazione e leggermente diversa in quanto molto spesso si parte da un modello la cui dinamica e in un certo senso prefissata: l’obiettivo e quello di verificare che, una volta regolati i parametri, l’uscita riesca a predire correttamente l’andamento delle variabili del processo misurate.

Le reti neurali hanno piu gradi di liberta dei modelli classici?

In un certo senso si. L’algoritmo di Back-Propagation e facilmente applicabile anche a reti con un numero di neuroni estremamente alto e questo, sotto opportune condizioni, garantisce un’elevata capacita di apprendimento. Tuttavia cio potrebbe influire molto negativamente sulla capacita di generalizzazione, percio e sempre necessario cercare il compromesso migliore.

E questo allora il segreto delle reti neurali?

Sicuramente le reti MLP sono molto flessibili e si adattano con facilita ai compiti piu disparati, pero non bisogna mai dimenticare che una rete neurale e un sistema deterministico esattamente come i modelli classici. E solo per comodita grafica che si rappresentano i neuroni con le relative interconnessioni: il tutto potrebbe essere ridotto ad una sterile ed estremamente complessa funzione matematica senza nulla togliere al risultato.

Che differenza c’e tra apprendimento supervisionato e non supervisionato?

Nel primo caso si parte da un training set composto da coppie di dati ingresso/uscita e si controlla che la rete impari ad associarli correttamente. Nel secondo caso, invece, l’obiettivo e quello di lasciare che sia il sistema (inteso come rete piu gli algoritmi necessari) ad auto-organizzarsi nel modo piu opportuno. E ovvio pero che anche in quest’ultimo caso l’intero processo e deterministico e procede sulla base di regole fissate dall’uomo (come la tecnica del winner takes all): l’unica reale differenza sta nel fatto che la rete neurale (in questo caso molto spesso chiamata SOM, Self Organizing Map) e piu libera di cogliere le analogie nascoste presenti nei dati e sistemare questi ultimi di conseguenza. Questo tipo di reti ha trovato un vasto impiego nel campo del riconoscimento di pattern; Kohonen, uno dei pionieri della ricerca, ad esempio progetto una macchina da scrivere fonetica che apprendeva autonomamente a classificare i singoli fonemi per poi convertirli in grafemi opportuni.

Quale reale differenza sussiste tra reti neurali e modelli classici?

L’unica vera e grande differenza e l’approccio diverso alla progettazione. Le reti neurali, come anche i sistemi a logica fuzzy, hanno permesso di osservare i problemi sotto un’angolazione differente e cio, a sua volta, ha spinto la ricerca verso lo studio di algoritmi generici in grado di manipolare i pesi sinaptici delle reti senza alcun vincolo di dimensione. Purtroppo il peso piu rilevante e dovuto al costo computazionale che, nel caso dei modelli classici lineari, e estremamente ridotto, mentre una rete neurale, per funzionare correttamente, ha bisogno o di un calcolatore o di hardware dedicato. Tuttavia anche questo aspetto, grazie all’odierno abbattimento del rapporto prezzo/prestazioni, sta lentamente perdendo importanza.

Domande frequenti

Qual e la differenza fondamentale tra un modello classico e una rete neurale?

Entrambi sono sistemi deterministici, ma cambia l’approccio. Il modello classico nasce dalle leggi fisiche del processo e non generalizza, perche incorpora gia tutte le relazioni ingresso/uscita. La rete neurale parte da una struttura generica e ottimizza i propri parametri per identificare il processo a partire dai dati, con l’obiettivo di generalizzare anche su casi mai visti.

Che cos’e la capacita di generalizzazione?

E la proprieta che consente a una rete neurale addestrata di produrre uscite coerenti anche per ingressi non presenti nel training set. Non basta che la rete risponda: le sue uscite devono restare correlate ai pattern insegnati, come quando riconosce una lettera anche se disturbata dal rumore.

Perche le reti neurali richiedono piu risorse di calcolo dei modelli lineari?

Un modello classico lineare ha un costo computazionale molto ridotto, mentre una rete neurale con molti neuroni deve aggiornare un gran numero di pesi sinaptici e necessita di un calcolatore o di hardware dedicato. Il divario, pero, si sta riducendo grazie al calo del rapporto prezzo/prestazioni.

Cosa distingue l’apprendimento supervisionato da quello non supervisionato?

Nell’apprendimento supervisionato la rete impara da coppie ingresso/uscita note e viene corretta finche non le associa bene. In quello non supervisionato, tipico delle mappe auto-organizzanti (SOM), la rete e libera di scoprire da sola le analogie nascoste nei dati, pur seguendo regole deterministiche fissate a monte.