Фотоны — это новая платформа искусственного интеллекта

Опираясь на мощные сетевые платформы для параллельных вычислений и аппаратную поддержку графических процессоров (GPU), технологии искусственного интеллекта обеспечивают высокую скорость вычислений и демонстрируют превосходную производительность при обработке данных, извлечении признаков и нелинейном прогнозировании. В последние годы искусственный интеллект постепенно перешел из разряда научной фантастики в нашу повседневную жизнь, и появилось множество феноменальных продуктов, таких как AlphaGo, ChatGPT и Sora. Искусственные нейронные сети являются основой искусственного интеллекта. Их конструкция основана на имитации биологических нейронных сетей. Человеческий мозг состоит из десятков миллиардов нейронов, которые образуют сложную сеть посредством синаптических связей. Различные процессы обработки информации и выполнения задач осуществляются путем интеграции входных данных, срабатывания пороговых значений, корректировки весов, а также хранения и передачи информации. Аналогичным образом, искусственные нейронные сети основаны на электронных вычислительных устройствах и упрощают имитацию биологических нейронных сетей с точки зрения обработки информации. Искусственные нейронные сети состоят из множества взаимосвязанных узлов искусственных нейронов и достигают заданных целей посредством линейных операций взвешенного суммирования и нелинейных операций активации.
В последние годы технология оптической визуализации постепенно вступила в новую эру, выйдя за рамки традиционной визуализации по интенсивности, ограниченной дифракционным пределом: это вычислительная визуализация. Вычислительная визуализация позволяет не только преодолеть дифракционный предел, но и получать такую информацию, как фаза, поляризация и спектр [1]. Вычислительная визуализация позволяет получать физическую информацию, недоступную при традиционной оптической визуализации, за счет точного моделирования физического процесса от объекта до датчика и использования алгоритмов оптимизации для решения обратной задачи, соответствующей данной модели. Вычислительная визуализация имеет широкие перспективы применения в биологических науках, астрономических наблюдениях, промышленном контроле и других областях. Развитие искусственного интеллекта в значительной степени способствовало прогрессу в области вычислительной визуализации. Глубокое обучение позволило добиться высококачественных результатов при построении нелинейных прямых моделей и решении высокоразмерных плохо поставленных обратных задач с помощью методов, основанных на данных, а также обеспечило значительный прогресс в области удаления шума, сверхразрешающей визуализации и визуализации при слабом освещении. Кроме того, глубокое обучение продемонстрировало поразительные преимущества в решении типичного компромисса между качеством и скоростью в вычислительной визуализации, что не только обеспечивает высокое качество изображения, но и повышает скорость обработки до уровня реального времени. В 2023 году команда академика Дай Цюнхая из Университета Цинхуа предложила сеть глубокого обучения с самоконтролем DeepCAD-RT, которая обеспечила трехмерную микроскопическую визуализацию мозга мыши с подавлением шума в режиме реального времени.

Еще одним перспективным направлением является использование оптических нейронных сетей для получения высокоскоростных, многомерных и высокоточных изображений. Информация о поле света объекта в виде света напрямую поступает в оптическую нейронную сеть, состоящую из многослойных модулирующих устройств, что исключает процесс фотоэлектрического преобразования, увеличивает скорость обработки до скорости света и обеспечивает очень низкое энергопотребление. Примером этого является архитектура оптической нейронной сети для подавления шума, предложенная командой Озкана из Калифорнийского университета в 2024 году. Кроме того, оптические нейронные сети способны не только решать традиционные задачи обратного вычисления в области визуализации, такие как визуализация на основе рассеяния, визуализация с суперразрешением и однопиксельная визуализация, но и выполнять некоторые новые задачи, например удаление нежелательных объектов из результатов визуализации. Кроме того, совместное использование оптических нейронных сетей и цифровых нейронных сетей позволяет добиться взаимодополняющих преимуществ и решать сложные задачи, такие как визуализация при передаче на большие расстояния.
С целью удовлетворения потребностей практического применения в области генерации компьютерных голограмм в режиме реального времени Массачусетский технологический институт (MIT) предложил использовать сети с учителем для ускорения генерации голограмм; обученная сеть способна генерировать голограммы в режиме реального времени на графических процессорах потребительского уровня. Глубокое обучение также позволило добиться прорывного прогресса в решении проблемы спекл-шума, которая долгое время сдерживала развитие вычислительной голографии. Сети неконтролируемого обучения Holo-Encoder и 4K-DMDNet, предложенные Университетом Цинхуа, преодолели ограничения по качеству модулированного светового поля, вызванные традиционным алгоритмом компьютерной голографии (CGH), и способны автоматически подбирать метод кодирования CGH, обеспечивая высокоскоростное создание световых полей высокой точности без спеккле-шума. В 2024 году исследовательская группа Стэнфордского университета объединит CGH на основе глубокого обучения с решетками метаповерхностей и волноводами с компенсацией дисперсии, что сделает возможным появление на рынке легких очков дополненной реальности (AR). Кроме того, глубокое обучение можно использовать для оптимизации процесса сжатия CGH, чтобы удовлетворить требованиям к передаче больших объемов данных в трехмерных сценах в режиме реального времени и способствовать скорейшей реализации голографической связи.

Будучи новым междисциплинарным направлением, интеллектуальная фотоника, несмотря на продемонстрированный ею огромный потенциал и широкие перспективы применения, по-прежнему сталкивается со многими проблемами, связанными с вычислительной мощностью, энергопотреблением, надежностью и т. д., и до её широкомасштабного коммерческого использования предстоит пройти ещё долгий путь. Развитие интеллектуальной фотоники требует глубокой интеграции и инноваций в области материалов, оптики, вычислительной техники и других отраслей, а также постоянного внимания и инвестиций со стороны промышленности, академического сообщества и научно-исследовательских организаций. Впереди ещё долгий путь, и мы надеемся, что всё больше учёных посвятят себя этой области и внесут свой вклад в развитие этой передовой отрасли.