Клітинні нейронні мережі

Кліти́нні нейро́нні мере́жі (КНМ, ) — обчислювальні мережі, схожі за функціонуванням до штучних нейронних мереж, але відрізняються тим, що взаємодії відбуваються лише між сусідніми одиницями. КНМ застосовують для обробки зображень, аналізу 3D поверхонь, обчислення диференційних рівнянь в часткових похідних, приведення негеометричних завдань до геометричних карт, моделювання зору та інших сенсомоторних функцій.

Архітектура КНМ В зв'язку з великою чисельністю різних архітектур важко дати точне визначення для клітинної нейронної мережі. З точки зору архітектури мереж, КНМ — це система скінченних, чисельно фіксованих, топологічно-фіксованих, локально з'єднаних нелінійних обчислювальних одиниць, що мають багато входів і лише один вихід. Нелінійні обчислювальні одиниці часто називаються нейронами або клітинами.

Математично кожна клітина може бути змодельована як дисипативна, нелінійна динамічна система, в якій інформація закодована через її початковий стан, входи та інші змінні, які визначають її поведінку.

Якщо динаміка станів клітин є неперервною в часі — тоді говорять про Неперервні КНМ ().

Якщо динаміка є дискретною в часі, то говорять про Дискретні КНМ (). Кожна клітина має один вихід, за допомогою якого вона передає інформацію про свій стан з іншими клітинами та зовнішніми пристроями. Вихідний сигнал є зазвичай дійсним числом, проте може бути комплексним, або навіть кватерніоном в Багатозмінній КНМ ().

Зазвичай нейрони (клітини) мережі є однаковим, але в деяких випадках застосовують різні типи (в Неоднорідних КНМ, ). В оригінальній моделі Чуа () і Янга () — Chua-Yang CNNL. Chua and L. Yang, "Cellular Neural Networks: Theory, " IEEE Trans. on Circuits and Systems, 35(10):1257-1272, 1988. http://nonlinear.eecs.berkeley.edu/raptor/CNNs/CellularNeuralNetworks-Theory.pdf стан клітин був ваговою сумою вхідних сигналів, і вихід був кусочно-лінійною функцією. Однак, як і Перцептронні моделі штучних нейронних мереж, ця модель мала обмежені корисні властивості. Наприклад, вона не була здатною моделювати нелінійні функції, наприклад XOR.

Сучасні нелійні КНМ здатні вирішити задачі моделювання нелійних функцій. Клітини зазвичай визначаються в двовимірному просторі з евклідовою геометрією, з розташуванням у вигляді квадратної сітки. Інколи клітини визначаються в багатовимірному просторі з трикутним, гексагональним або іншим просторово-інваріантним розміщенням. Топологічно клітини можуть розміщуватись на кінцевій площині або на тороїдальній площині. Клітини з'єднані локальними зв'язками. Це означає, що усі зв'язки однієї клітини знаходяться в межах певного радіусу (відстань вимірюється топологічно).

Зв'язки також можуть бути із затримкою в часі для того щоб працювати з даними в часі. Більшість архітектур КНМ мають клітини з однаковою коннективністю, однак є приклади застосування нейронних мереж, в яких необхідна просторово варіантна топологія (коннективність різна в різних ділянках КНМ). Можуть також застосовуватись багатошарові КНМ (), де клітини одного шару є ідентичними, для збільшення обчислювальних можливостей КНМ.

Не зважаючи на локальну коннективність клітинних нейронних мереж, обмін інформацією між віддаленими ділянками нейронної мережі може відбуватись шляхом дифузії. КНМ являють собою набір незалежних, взаємодіючих структур, що формують інтегроване ціле. Складність поведінки КНМ більша, ніж складність поведінки окремих клітин (нейронів). Тобто, клітинні нейронні мережі володіють емерджентними властивостями.

Література L. Chua and L. Yang, "Cellular Neural Networks: Theory, " IEEE Trans. on Circuits and Systems, 35(10):1257-1272, 1988. L. Chua and L. Yang, «Cellular Neural Networks: Applications» IEEE Trans. on Circuits and Systems, 35(10):1273:1290, 1988. T. Roska, L. Chua, «The CNN Universal Machine: An Analogic Array Computer», IEEE Trans. on Circuits and Systems-II, 40(3): 163–172, 1993. V. Cimagalli, M. Balsi, «Cellular Neural Networks: A Review», Neural Nets WIRN Vierti, 1993. L. Chua, T. Roska, Cellular Neural Networks and Visual Computing: Foundations and Applications, 2005. I. Szatmari, P. Foldesy, C. Rekeczky and A. Zarandy, «Image Processing Library for the Aladdin Computer», Int'l Workshop on Cellular Neural Networks and Their Applications, 2005. H. Harrer and J.Nossek, «Discrete-Time Cellular Neural Networks», Int'l Journal of Circuit Theory and Applications, 20:453-467, 1992. T. Roska and L. Chua, «Cellular Neural Networks with Non-Linear and Delay-Type Template Elements and Non-Uniform Grids», Int'l Journal of Circuit Theory and Applications, 20:469-481, 1992. S. Majorana and L. Chua, «A Unified Framework for Multilayer High Order CNN», Int'l Journal of Circuit Theory and Applications, 26:567-592, 1998. C. Wu and Y. Wu, «The Design of CMOS Non-Self-Feedback Ratio Memory Cellular Nonlinear Network without Elapsed Operation for Pattern Learning and Recognition», Int'l Workshop on Cellular Neural Networks and Their Applications, 2006. D. Balya, G, Tímar, G. Cserey, and T. Roska, «A New Computational Model for CNN-UMs and its Computational Complexity», Int'l Workshop on Cellular Neural Networks and Their Applications, 2004. M. Yalcin, J. Suykens, and J. Vandewalle, Cellular Neural Networks, Multi-Scroll Chaos And Synchronization, 2005. K. Yokosawa, Y. Tanji and M. Tanaka, «CNN with Multi-Level Hysteresis Quantization Output» Int'l Workshop on Cellular Neural Networks and Their Applications, 2006. T. Nakaguchi, K. Omiya and M. Tanaka, «Hysteresis Cellular Neural Networks for Solving Combinatorial Optimization Problems», Int'l Workshop on Cellular Neural Networks and Their Applications, 2006. K. Crounse, C. Wee and L. Chua, «Linear Spatial Filter Design for Implementation on the CNN Universal Machine», Int'l Workshop on Cellular Neural Networks and Their Applications, 2000. H. Ip, E. Drakakis, and A. Bharath, «Towards Analog VLSI Arrays for Nonseparable 3D Spatiotemporal Filtering», Int'l Workshop on Cellular Neural Networks and Their Applications, 2006. M. Brugge, «Morphological Design of Discrete−Time Cellular Neural Networks», University of Groningen Dissertation, 2005. J. Poikonen1 and A. Paasio, «Mismatch-Tolerant Asynchronous Grayscale Morphological Reconstruction», Int'l Workshop on Cellular Neural Networks and Their Applications, 2005. M. Gilli, T. Roska, L. Chua, and P. Civalleri, «CNN Dynamics Represents a Broader Range Class than PDEs», Int'l Journal of Bifurcations and Chaos, 12(10):2051-2068, 2002. A. Adamatzky, B. Costello, T Asai «Reaction-Diffusion Computers», 2005. F. Gollas and R. Tetzlaff, «Modeling Complex Systems by Reaction-Diffusion Cellular Nonlinear Networks with Polynomial Weight-Functions», Int'l Workshop on Cellular Neural Networks and Their Applications, 2005. A. Selikhov, «mL-CNN: A CNN Model for Reaction Diffusion Processes in m Component Systems», Int'l Workshop on Cellular Neural Networks and Their Applications, 2005. B. Shi and T. Luo, «Spatial Pattern Formation via Reaction-Diffusion Dynamics in 32x32x4 CNN Chip», IEEE Trans. On Circuits And Systems-I, 51(5):939-947, 2004. E. Gomez-Ramirez, G. Pazienza, X. Vilasis-Cardona, «Polynomial Discrete Time Cellular Neural Networks to solve the XOR Problem», Int'l Workshop on Cellular Neural Networks and Their Applications, 2006. F. Chen, G. He, X. Xu1, and G. Chen, «Implementation of Arbitrary Boolean Functions via CNN», Int'l Workshop on Cellular Neural Networks and Their Applications, 2006. R. Doguru and L. Chua, «CNN Genes for One-Dimensional Cellular Automata: A Multi-Nested Piecewise-Linear Approach», Int'l Journal of Bifurcation and Chaos, 8(10):1987-2001, 1998. R. Dogaru and L. Chua, «Universal CNN Cells», Int'l Journal of Bifurcations and Chaos, 9(1):1-48, 1999. R. Dogaru and L. O. Chua, «Emergence of Unicellular Organisms from a Simple Generalized Cellular Automata», Int'l Journal of Bifurcations and Chaos, 9(6):1219-1236, 1999. T. Yang, L. Chua, «Implementing Back-Propagation-Through-Time Learning Algorithm Using Cellular Neural Networks», Int'l Journal of Bifurcations and Chaos, 9(6):1041-1074, 1999. T. Kozek, T. Roska, and L. Chua, "Genetic Algorithms for CNN Template Learning, " IEEE Trans. on Circuits and Systems I, 40(6):392-402, 1993. G. Pazienza, E. Gomez-Ramirezt and X. Vilasis-Cardona, «Genetic Programming for the CNN-UM», Int'l Workshop on Cellular Neural Networks and Their Applications, 2006. J. Nossek, G. Seiler, T. Roska, and L. Chua, "Cellular Neural Networks: Theory and Circuit Design, " Int'l Journal of Circuit Theory and Applications, 20: 533–553, 1998. K. Wiehler, M. Perezowsky, R. Grigat, «A Detailed Analysis of Different CNN Implementations for a Real-Time Image Processing System», Int'l Workshop on Cellular Neural Networks and Their Applications, 2000. A. Zarandry, S. Espejo, P. Foldesy, L. Kek, G. Linan, C. Rekeczky, A. Rodriguez-Vazquez, T. Roska, I. Szatmari, T. Sziranyi and P. Szolgay, "CNN Technology in Action ", Int'l Workshop on Cellular Neural Networks and Their Applications, 2000. L. Chua, L. Yang, and K. R. Krieg, «Signal Processing Using Cellular Neural Networks», Journal of VLSI Signal Processing, 3:25-51, 1991. T. Roska, L. Chua, «The CNN Universal Machine: An Analogic Array Computer», IEEE Trans. on Circuits and Systems-II, 40(3): 163–172, 1993. T. Roska and A. Rodriguez-Vazquez, «Review of CMOS Implementations of the CNN Universal Machine-Type Visual Microprocessors», International Symposium on Circuits and Systems, 2000 A. Rodríguez-Vázquez, G. Liñán-Cembrano, L. Carranza, E. Roca-Moreno, R. Carmona-Galán, F. Jiménez-Garrido, R. Domínguez-Castro, and S. Meana, "ACE16k: The Third Generation of Mixed-Signal SIMD-CNN ACE Chips Toward VSoCs, " IEEE Trans. on Circuits and Systems — I, 51(5): 851–863, 2004. T. Roska, «Cellular Wave Computers and CNN Technology — a SoC architecture with xK Processors and Sensor Arrays», Int'l Conference on Computer Aided Design Accepted Paper, 2005. K. Karahaliloglu, P. Gans, N. Schemm, and S. Balkir, «Optical sensor integrated CNN for Real-time Computational Applications», IEEE Int'l Symposium on Circuits and Systems, pp. 21-24, 2006. C. Dominguez-Matas, R. Carmona-Galan, F. Sanchez-Fernaindez, J. Cuadri, and A. Rodriguez-Vaizquez, «A Bio-Inspired Vision Front-End Chip with Spatio-Temporal Processing and Adaptive Image Capture», Int'l Workshop on Computer Architecture for Machine Perception and Sensing, 2006. C. Dominguez-Matas, R. Carmona-Galan, F. Sainchez-Fernaindez, A. Rodriguez-Vazquez, «3-Layer CNN Chip for Focal-Plane Complex Dynamics with Adaptive Image Capture», Int'l Workshop on Cellular Neural Networks and Their Applications, 2006. I. Szatmari,, P. Foldesy, C. Rekeczky and A. Zarandy, «Image processing library for the Aladdin Visual Computer», Int'l Workshop on Cellular Neural Networks and Their Applications, 2002. A. Zarandy and C. Rekeczky, «Bi-i: a standalone ultra high speed cellular vision system», IEEE Circuits and Systems Magazine, 5(2):36-45, 2005. T. Roska, D. Balya, A. Lazar, K. Karacs, R. Wagner and M. Szuhaj, «System Aspects of a Bionic Eyeglass», IEEE Int'l Symposium on Circuits and Systems, 2006. K. Karacst and T. Roskatt, «Route Number Recognition of Public Transport Vehicles via the Bionic Eyeglass», Int'l Workshop on Cellular Neural Networks and Their Applications, 2006. R. Wagner and M. Szuhajt, «Color Processing in Wearable Bionic Glasses» P.Arena, L. Fortuna, M. Frasca, L. Patane, and M. Pollino, «An Autonomous Mini-Hexapod Robot Controller through a CNN Based VLSI Chip», Int'l Workshop on Cellular Neural Networks and Their Applications, 2006. C. Wu and C. Cheng, «The Design of Cellular Neural Network with Ratio Memory for Pattern Learning and Recognition», Int'l Workshop on Cellular Neural Networks and Their Applications, 2000. W. Yen, R. Chen and J. Lai, «Design of Min/Max Cellular Neural Networks in CMOS Technology», Int'l Workshop on Cellular Neural Networks and Their Applications, 2002.