Líneas de Investigación | Instituto de Microelectrónica de Sevilla (IMSE-CNM)

Palabras clave: spiking neural-circuits, signal-processing, learning, AER (address-event-representation), AER-contrast-retinas, AER-motion-retinas, AER-processors, AER-convolution, STDP (spike-timing-dependent-plasticity), low-power, frame-free-vision, convolutional-neural-networks

Descripción

El grupo de sistemas neuromórficos del IMSE desarrolla microchips sensores y procesadores que imitan el sensado y procesado de los seres biológicos, así como sistemas multi-chip e híbridos chips-FPGAs para escalar a mayor dimensión. También trabaja sobre algoritmos y técnicas de procesado sensorial basados en información pulsante. Los chips emplean técnicas de diseño mixto, baja corriente, baja tensión, así como técnicas de comunicación de alta velocidad. Se emplean tecnologías mixtas o digitales, y también se proyectan a aplicaciones que exploten tecnologías emergentes nanométricas o dispositivos nuevos del tipo memristores.
Actualmente, el grupo se centra principalmente en sistemas de visión por eventos sin fotogramas, construyendo retinas sensoras de contraste espacial o temporal (DVS – Dynamic Vision Sensors), que posteriormente se procesan por sistemas convolucionadores por eventos, como por ejemplo Event-Driven Convolutional Neural Networks para reconocimiento de objetos a muy alta velocidad. Estos chips y sistemas emplean técnicas de comunicación AER (Address Event Representation).
Las retinas por eventos no producen secuencias de fotogramas como las cámaras convencionales. En su lugar, cada píxel sensa luz y calcula una determinada propiedad (contraste espacial, cambio temporal) de manera continua en el tiempo. Cuando esta propiedad supera un umbral preestablecido, el píxel envía un evento al exterior (que normalmente consiste en la coordenada x,y del píxel más el signo del umbral), que se escribe en un bus (o varios) de alta velocidad, con protocolo y handshaking asíncrono. De esta manera los sensores producen flujos contínuos de eventos y los procesadores posteriores los procesan evento a evento.

Sistema sensor-procesador por eventos, con (a) retina-DVS y convolucionador-multi-kernel (b,c): capta espiral de 500Hz del osciloscopio (e), generando eventos (x,y,t), representando la trayectoria espacio-temporal (d).

Sensado-reconocimento de formas por eventos. (a) sistema, (b) estímulo, (c) eventos, (d-f) salida de las distintas etapas mostrando reconocimiento del 'trébol' simultáneo al estímulo

Resultados destacados

J. A. Pérez-Carrasco, B. Zhao, C. Serrano, B. Acha, T. Serrano-Gotarredona, S. Chen and B. Linares-Barranco, "Mapping from Frame-Driven to Frame-Free Event-Driven Vision Systems by Low-Rate Rate-Coding and Coincidence Processing. Application to Feed-Forward ConvNets," IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 35, no. 11, pp. 2706-2719, Nov 2013 » doi » additional material and video

C. Zamarreño-Ramos, R. Kulkarni, J. Silva-Martínez, T. Serrano-Gotarredona, and B. Linares-Barranco, "A 1.5ns OFF/ON Switching-Time Voltage-Mode LVDS Driver/Receiver Pair for Asynchronous AER Bit-Serial Chip Grid Links with up to 40 Times Event-Rate Dependent Power Savings," IEEE Trans. on Biomedical Circuits and Systems, vol. 7, no. 5, pp. 722-731, Oct 2013 » doi

T. Serrano-Gotarredona and B. Linares-Barranco, "A 128x128 1.5% Contrast Sensitivity 0.9% FPN 3us Latency 4mW Asynchronous Frame-Free Dynamic Vision Sensor Using Transimpedance Amplifiers," IEEE Journal of Solid-State Circuits, vol. 48, no. 3, pp. 827-838, Mar 2013 » doi

C. Zamarreño-Ramos, A. Linares-Barranco, T. Serrano-Gotarredona, and B. Linares-Barranco, "Multicasting Mesh AER: A Scalable Assembly Approach for Reconfigurable Neuromorphic Structured AER Systems. Application to ConvNets," IEEE Trans. on Biomedical Circuits and Systems, vol. 7, no. 1, pp. 82-102, Feb 2013 » doi

C. Zamarreño-Ramos, L. A. Camuñas-Mesa, Jose A. Perez-Carrasco, T. Masquelier, T. Serrano-Gotarredona, and B. Linares-Barranco, "On Spike-Timing-Dependent-Plasticity, Memristive Devices, and building a Self-Learning Visual Cortex," Frontiers in Neuroscience -Neuromorphic Engineering-, vol. 5, no.26, Mar 2011 » doi [open acces]

Proyectos y contratos de investigación relacionados con la línea

ECOMODE: Event-Driven Compressive Vision for Multimodal Interaction with Mobile Devices; IP: Bernabé Linares-Barranco; Financia: Unión Europea, ICT (H2020); Enero 2015 - Diciembre 2018

NeuRAM3: Neural Computing Architectures in Advanced Monolithic 3D-VLSI Nano-Technologies; IP: Teresa Serrano-Gotarredona; Financia: Unión Europea, ICT (H2020); Enero 2016 - Diciembre 2018

NPP: Neural Processor Project; IP: Bernabé Linares-Barranco; Financia: Samsung; Mayo 2015 - Abril 2020