En el noreste de los Estados Unidos, el Granuja de Maine representa uno de los ecosistemas marinos más biológicamente diversos del planeta: hogar de ballenas, tiburones, medusas, arenque, plancton y cientos de otras especies. Pero incluso cuando este ecosistema respalda la biodiversidad rica, está experimentando un rápido cambio ambiental. El Granuja de Maine se está calentando más rápido que el 99 por ciento de los océanos del mundo, con consecuencias que aún se están desarrollando.
Una nueva iniciativa de investigación que se desarrolla en el MIT Sea Grant, emplazamiento Lobstger, sigla de instruirse sistemas bioecológicos oceánicos a través de representaciones generativas, reúne la inteligencia industrial y la fotografía submarina para documentar la vida oceánica que dejó endeble a estos cambios y los comparte con el notorio de nuevas maneras visuales. Coy en co-dirigido por el fotógrafo submarino y comediante visitante en el MIT Sea Grant Keith Ellenbogen y el estudiante de doctorado mecánico de Ingeniería Mecánica del MIT Andreas Mentzelopoulos, el esquema explora cómo la IA generativa puede expandir la narración científica mediante la construcción de datos fotográficos basados en el campo.
Así como la cámara del siglo XIX transformó nuestra capacidad de documentar y revelar el mundo natural, capturando la vida con detalles sin precedentes y atrayendo entornos distantes o ocultos, la IA generativa marca una nueva frontera en la narración visual. Al igual que la fotografía temprana, AI abre un espacio creativo y conceptual, desafiando cómo definimos la autenticidad y cómo comunicamos perspectivas científicas y artísticas.
En el esquema Lobstger, los modelos generativos se capacitan exclusivamente en una biblioteca curada de fotografías submarinas originales de Ellenbogen, cada imagen diseñada con intención artística, precisión técnica, identificación de especies precisa y contexto geográfico claro. Al construir un conjunto de datos de adhesión calidad basado en observaciones del mundo positivo, el esquema asegura que las imágenes resultantes mantengan tanto la integridad visual como la relevancia ecológica. Encima, los modelos de Lobstger se crean utilizando código personalizado desarrollado por Mentzelopoulos para proteger el proceso y las horizontes de cualquier sesgo potencial de datos o modelos externos. La IA generativa de Lobstger se fundamento en la fotografía positivo, ampliando el vocabulario visual de los investigadores para profundizar la conexión del notorio con el mundo natural.
Esta imagen del océano SUNfish (Mola Mola) fue generada por los modelos incondicionales de Lobstger.
Imagen generada por IA: Keith Ellenbogen, Andreas Mentzelopoulos y Lobstger.
En el fondo, Lobstger opera en la intersección del arte, la ciencia y la tecnología. El esquema se fundamento en el jerigonza visual de la fotografía, el rigor observacional de la ciencia acuarela y el poder computacional de la IA generativa. Al unir estas disciplinas, el equipo no solo está desarrollando nuevas formas de visualizar la vida oceánica, sino que igualmente están reinventando cómo se pueden contar historias ambientales. Este enfoque integrador convierte a Lobstger en una aparejo de investigación y un intento creativo, uno que refleja la tradición de innovación interdisciplinaria de larga data del MIT.
La fotografía submarina en las aguas costeras de Nueva Inglaterra es notoriamente difícil. Visibilidad limitada, sedimentos giratorios, burbujas y el movimiento impredecible de la vida acuarela plantean desafíos constantes. Durante los últimos primaveras, Ellenbogen ha navegado estos desafíos y está construyendo un registro integral de la biodiversidad de la región a través del esquema, Space to Sea: Visualing Ocean Wilderness de Nueva Inglaterra. Este gran conjunto de datos de imágenes subacuáticas proporciona la almohadilla para capacitar a los modelos de IA generativos de Lobstger. Las imágenes abarcan diversos ángulos, condiciones de iluminación y comportamientos animales, lo que resulta en un archivo visual que es artísticamente sugerente y biológicamente preciso.
Síntesis de imagen a través de difusión inversa: este video corto muestra la trayectoria de deshidratación del ruido lógico gaussiano hasta la salida fotorrealista utilizando los modelos incondicionales de Lobstger. El deshidratamiento iterativo requiere 1,000 pases en torno a delante a través de la red neuronal entrenada.
Video: Keith Ellenbogen y Andreas Mentzelopoulos / MIT Sea Grant
Los modelos de difusión personalizados de Lobstger están entrenados para replicar no solo los documentos de biodiversidad Ellenbogen, sino igualmente el estilo estético que utiliza para capturarlo. Al instruirse de miles de imágenes submarinas reales, los modelos internalizan detalles de forúnculo fino, como gradientes de iluminación natural, coloración específica de especies e incluso la textura atmosférica creada por partículas suspendidas y luz solar refractada. El resultado son las imágenes que no solo parecen visualmente precisas, sino que igualmente se sienten inmersivas y conmovedoras.
Los modelos pueden originar imágenes nuevas, sintéticas, pero científicamente precisas incondicionalmente (es sostener, que no requieren entrada/finalidad del usufructuario) y mejorar las fotografías reales condicionalmente (es sostener, concepción de imagen a imagen). Al integrar la IA en el flujo de trabajo fotográfico, Ellenbogen podrá usar estas herramientas para recuperar los detalles en el agua turbia, ajustar la iluminación para subrayar sujetos secreto o incluso aparentar escenas que serían casi imposibles de capturar en el campo. El equipo igualmente cree que este enfoque puede beneficiar a otros fotógrafos submarinos y editores de imágenes que enfrentan desafíos similares. Este método híbrido está diseñado para acelerar el proceso de curación y permitir que los narradores construyan una narración visual más completa y coherente de la vida debajo de la superficie.
Izquierda: imagen mejorada de una langosta chaqueta utilizando los modelos de imagen a imagen de Lobstger. Derecha: imagen diferente.
Izquierda: IA Imagen genertada por Keith Ellenbogen, Andreas Mentzelopoulos y Lobstger. Derecha: Keith Ellenbogen
En una serie secreto, Ellenbogen capturó imágenes de adhesión resolución de las medusas de mane de Lion, tiburones azules, langostas americanas y pez cristalera del océano (Mola Mola) Mientras sumersión infundado en aguas costeras. «Obtener un conjunto de datos de adhesión calidad no es dócil», dice Ellenbogen. «Requiere múltiples inmersiones, oportunidades perdidas y condiciones impredecibles. Pero estos desafíos son parte de lo que hace que la documentación submarina sea difícil y gratificante».
Mentzelopoulos ha desarrollado un código diferente para capacitar a una clan de modelos de difusión lógico para Lobstger basados en las imágenes de Ellenbogen. El expansión de tales modelos requiere un stop nivel de experiencia técnica, y los modelos de capacitación desde cero es un proceso arduo que exige cientos de horas de cálculo y ajuste meticuloso de hiperparameter.
El esquema refleja un proceso paralelo: documentación de campo a través de la fotografía y el expansión del maniquí a través de la capacitación iterativa. Ellenbogen trabaja en el campo, capturando encuentros raros y fugaces con animales marinos; Mentzelopoulos trabaja en el laboratorio, traduciendo esos momentos en contextos de formación maquinal que pueden extender y reinterpretar el jerigonza visual del océano.
«El objetivo no es reemplazar la fotografía», dice Mentzelopoulos. «Es para construirlo y complementarlo: hacer que lo invisible sean visibles y ayudar a las personas a ver la complejidad ambiental de una guisa que resuena tanto emocional como intelectualmente. Nuestros modelos apuntan a capturar no solo el realismo biológico, sino la carga emocional que puede impulsar el compromiso y la energía del mundo positivo».
Lobstger señala un futuro híbrido que fusiona la observación directa con la interpretación tecnológica. El objetivo a dispendioso plazo del equipo es desarrollar un maniquí integral que pueda visualizar una amplia grado de especies que se encuentran en el Granuja de Maine y, eventualmente, aplicar métodos similares a los ecosistemas marinos en todo el mundo.
Los investigadores sugieren que la fotografía y la IA generativa forman un continuo, en área de un conflicto. La fotografía captura lo que es: la textura, la luz y el comportamiento animal durante los encuentros reales, mientras que la IA extiende esa visión más allá de lo que se ve, en torno a lo que podría entenderse, inferirse o imaginarse en función de los datos científicos y la visión artística. Juntos, ofrecen un ámbito poderoso para comunicar la ciencia a través de la fabricación de imágenes.
En una región donde los ecosistemas están cambiando rápidamente, el acto de visualizar se convierte en poco más que documentación. Se convierte en una aparejo para la conciencia, el compromiso y, en última instancia, la conservación. Lobstger todavía está en su infancia, y el equipo retraso compartir más descubrimientos, imágenes e ideas a medida que el esquema evoluciona.
Respuesta de la imagen principal: la imagen izquierda se generó utilizando los modelos incondicionales de Lobstger y la imagen correcta es positivo.
Para más información, comuníquese Keith Ellenbogen y Andreas Mentzelopoulos.