Análisis de datos de diagnóstico oftálmico
? (1) Clasificación de cambios patológicos en la alta miopía. Esta sección primero propone el método de "red de unidades básicas de canales de reorganización múltiple" basado en la "unidad básica de red de canales de reorganización", realiza experimentos sobre la "red de canales de reorganización" y la "red de canales de reorganización" y analiza su desempeño. En segundo lugar, basándose en la idea del algoritmo de ensacado de aprendizaje automático (similar a Random Forest, abreviado como RF), las tres unidades básicas de la "red de canales reorganizados" se combinan en una "red de unidades básicas de múltiples canales reorganizados", en donde cada unidad básica actúa como una rama de red independiente; finalmente, de acuerdo con los resultados de predicción de cada rama de la red, la categoría con más votos es la categoría de predicción "red de unidad básica de múltiples canales de reorganización".
? (2) Desarrollo de un algoritmo de optimización de imágenes del fondo de ojo. En esta parte, se propone un algoritmo basado en información BGR de imágenes digitales para optimizar los factores de influencia relevantes de las imágenes del fondo de ojo. En este algoritmo, las diferencias en parámetros como el brillo, el contraste y el equilibrio de color de imágenes con diferentes canales de color se analizan primero analizando los histogramas de brillo en escala de grises de varios grupos de imágenes de fondo de ojo de alta miopía patológica con buena y mala calidad. Luego se propone una fórmula de transformación del espacio de brillo, que se puede utilizar para cambiar el brillo, el contraste, el equilibrio de color y otros parámetros de imágenes con diferentes canales de color para lograr el efecto de optimización de la imagen.
? (3) Segmentación de áreas de lesión patológica de alta miopía. Teniendo en cuenta que predecir la gravedad de las lesiones altamente miopes a menudo no es suficiente, es más importante segmentar con precisión las áreas de lesión relevantes. Por lo tanto, esta sección propone un método de segmentación para redes FPN de redes virtuales. Primero, se estudia la arquitectura de la red virtual y la red FPN. Luego, finalmente se diseña la red virtual FPN y se realizan experimentos en el conjunto de datos original y en múltiples conjuntos de datos optimizados mediante el algoritmo de optimización de imágenes para analizar exhaustivamente el rendimiento de segmentación de la red de las lesiones del fondo de ojo.
? El contenido de investigación de este artículo puede ayudar a los oftalmólogos en el diagnóstico y tratamiento de la miopía alta y es de gran importancia para proyectos que combinan el aprendizaje profundo con la tecnología médica.
En la actualidad, los principales métodos para el examen del fondo de ojo incluyen la oftalmoscopia, la angiografía con fluoresceína del fondo de ojo, las imágenes con cámara del fondo de ojo y las imágenes de la capa de coherencia óptica. La imagen en color del fondo de ojo recopilada por la cámara del fondo de ojo mostrará la estructura principal del tejido en la retina, como se muestra en la Figura 1-1. Como se puede ver en la Figura 1-1, en las imágenes de fotografías en color del fondo de ojo, los vasos sanguíneos son los más ampliamente distribuidos en la retina, mostrando una estructura de red de color rojo oscuro. Ellos y las fibras del nervio óptico ingresan a la retina desde el área del disco óptico. Como puede verse en la figura, el disco óptico suele tener una estructura en forma de disco con límites claros y alto brillo. Además, el área más oscura en el medio de la imagen del fondo de ojo se llama mácula. La mácula tiene forma ovalada y el centro hundido se llama fóvea. La fóvea es el área más sensible de la visión humana. Una vez que se producen lesiones en esta área, la visión se verá gravemente afectada.
En vista de la falta actual de trabajos de investigación sobre la clasificación de la miopía alta, este artículo se basa principalmente en los métodos de investigación de la clasificación de la gravedad de la retinopatía diabética (RD). En el estudio de la clasificación DR, existen principalmente dos estándares de clasificación, a saber, el estándar de clasificación de segundo nivel y el estándar de clasificación de tercer nivel.
En el problema de clasificación binaria, los investigadores dividen las imágenes de fondo de ojo en color en dos categorías: no DR y DR. Gardner et al [4] utilizan el valor de intensidad de píxeles de una imagen como característica y entrenan un Neural. Red para clasificación. Roychowdhury [5] y otros propusieron un método de clasificación jerárquica de dos pasos, utilizando de manera integral cuatro algoritmos de aprendizaje automático: modelo de mezcla gaussiana (GMM), clasificador de k vecinos más cercanos (kNN), máquina de vectores de soporte (SVM) y AdaBoost para entrenar al clasificador. . Priya [6] et al. primero extrajeron las características de los vasos sanguíneos, la hemorragia del fondo de ojo y el exudado, y luego ingresaron estas características en tres modelos de clasificación para el entrenamiento, a saber, la red neuronal probabilística (PNN), el clasificador bayesiano y la máquina de vectores de soporte (SVM).
En el problema de tres clasificaciones, los investigadores suelen dividir las imágenes de fondo de ojo en color en tres categorías: DR no proliferativa y DR proliferativa. Nayak [7] et al extrajeron las características del área y la textura del exudado y los vasos sanguíneos. Utilice estas funciones para entrenar una red neuronal.
De los métodos de investigación anteriores se puede ver que la mayoría de los métodos de investigación nacionales y extranjeros sobre la clasificación de enfermedades de imágenes en color del fondo de ojo consisten en extraer las características visuales subyacentes de la imagen (como el valor de píxeles, la textura, el contraste, etc. .), o hemorragia del fondo de ojo. Luego, se utilizan daños biológicos como exudación o características localizadas como vasos sanguíneos asociados con la retinopatía diabética para clasificar las imágenes utilizando diferentes algoritmos de aprendizaje automático. El rendimiento de estos métodos depende en gran medida de la eficacia de las funciones diseñadas manualmente. En comparación con la clasificación binaria, los criterios de clasificación de los problemas de clasificación múltiple son más detallados. La clasificación de ciertos tipos de retinopatía a menudo necesita considerar características muy sutiles, por lo que los problemas de clasificación múltiple son más complejos.
(1) ¿Alta miopía y fondo de ojo en forma de leopardo
? En términos generales, las imágenes del fondo de ojo con alta miopía tienen un fondo de ojo relativamente obvio en forma de tablero de ajedrez. El fondo de ojo con patrón de leopardo se debe principalmente a la alta miopía, lo que hace que la longitud axial del ojo se alargue y los vasos sanguíneos de la retina se vuelvan más delgados y rectos después de salir del disco óptico. Además, los cambios en la coriocapilar causan trastornos distróficos del epitelio pigmentario de la retina, lo que resulta en una reducción o desaparición del pigmento de la superficie. De esta manera, el pigmento marrón entre los vasos sanguíneos rojos coroideos y la red de vasos sanguíneos se entrelaza, formando el llamado fondo de ojo con patrón de leopardo, que muestra claramente el fondo de ojo con patrón de leopardo con alta miopía. Shi Yining [20] et al. estudiaron a 154 personas altamente miopes mayores de 41 años y encontraron que los cambios no patológicos representaban el 45,5%, de los cuales el patrón de leopardo representaba el 33,8%. Pero cuando la longitud axial del ojo se extiende significativamente y el poder refractivo es alto, se puede aumentar al 90%-100%. Especialmente en el polo posterior, a medida que la dioptría de la miopía se profundiza gradualmente, el patrón de leopardo se vuelve más evidente.
? Porque existe una cierta relación entre el patrón de leopardo debajo de los ojos y la edad, es decir, cuanto mayor eres, más obvio es el patrón de leopardo debajo de los ojos. Por esta razón, la definición de fondo de ojo con patrón de leopardo altamente miope en este capítulo debe cumplir las dos condiciones siguientes al mismo tiempo:
? 1) ¿Se pueden ver cambios obvios en el patrón de leopardo cerca de la mácula (área del fondo de ojo con patrón de leopardo dentro de la mácula >:1/2)
? 2) Se pueden observar cambios evidentes en el patrón de leopardo en el arco vascular (área de la base del patrón de leopardo del arco vascular> 1/2)
(2) Características patológicas de la alta miopía patológica
La miopía alta es una variante común y de alta incidencia de la enfermedad del fondo de ojo que puede conducir a una variedad de patologías, como degeneración macular miópica, fondo de ojo con patrón de leopardo, atrofia retinocoroidea difusa, atrofia retinocoroidea parcheada, atrofia macular, rayas horizontales en forma de pintura, y atrofia coroidea, neovascularización, manchas de Fuchs, estafilomas esclerales posteriores y otras lesiones. Este artículo se centra en la atrofia coroidea retiniana parcheada común y la atrofia macular, y otras lesiones aún no se han estudiado. Principalmente presentamos brevemente estos dos tipos de lesiones, de la siguiente manera:
[If! Lista de soporte](1)[endif]Atrofia coriorretiniana irregular. Las lesiones de color blanco grisáceo con bordes claros alrededor de la mácula o el disco óptico no se consideran únicamente en zorros miopes sin manchas de leopardo en el fondo de ojo. Como se muestra en la Figura 2-3 a continuación:
? (2) Atrofia macular. La atrofia macular es una lesión circular bien circunscrita de atrofia coroidea y retiniana de color blanquecino o blanquecino y rodeada de membranas fibrovasculares degeneradas que empeora con el tiempo. La atrofia macular debe distinguirse de la atrofia macular de retina, pero los pacientes generalmente presentan ambas lesiones. Por lo general, la atrofia macular es un círculo centrado en la fóvea (de hecho, no es el centro geométrico del área de atrofia, siempre y cuando la atrofia involucre la fóvea), mientras que la atrofia macular de retina no está centrada en la fóvea y tiene bordes irregulares. Las figuras 2 a 4 muestran imágenes del fondo de ojo de atrofia macular y atrofia coriorretiniana parcheada.
Utilizamos el conjunto de datos de etiquetas de categorías de lesiones altamente miopes proporcionado por los competidores de Baidu para evaluar el rendimiento de clasificación de la red de unidades básicas de canales de recombinación múltiple propuesta en este capítulo, y compararlo con la red de unidades básicas de canales de recombinación y Se compara el rendimiento de la red de canales de recombinación. Este conjunto de datos * * * contiene más de 1009 imágenes de fondo de ojo en color. Dividimos el conjunto de datos en 800 conjuntos de entrenamiento, 100 conjuntos de validación y 109 conjuntos de prueba según el muestreo estratificado por categorías.
En la siguiente parte de esta sección, analizaremos el preprocesamiento y la mejora de datos de imágenes de fondo de ojo, la implementación de la red y la configuración de parámetros, y los resultados y análisis experimentales en secuencia.
(1) Preprocesamiento y expansión de datos
1) Preprocesamiento de datos
Basado en las características de entrenamiento de las redes neuronales convolucionales profundas, si algunos de los datos en conjunto de datos Si no se soluciona el problema, el rendimiento de la red entrenada se verá seriamente afectado, por lo que preprocesamos el conjunto de datos como se muestra en la figura.
(1) Interceptar el área de interés en la imagen del fondo de ojo. Dado que el conjunto de datos fue recopilado por oftalmólogos de diferentes hospitales en diferentes entornos y equipos, hay áreas de fondo con bordes negros con tamaños de imagen inconsistentes, como se muestra en la Figura a). Estas áreas no son útiles para la clasificación de imágenes e incluso reducen seriamente el tamaño de las imágenes. rendimiento de la red. Rendimiento de clasificación, por lo que eliminamos el área de fondo redundante y conservamos el área del fondo de ojo. Los resultados se muestran en la Figura b). Dado que la imagen no es una distribución de píxeles rectangular, de acuerdo con los requisitos de la estructura de entrada de la red de clasificación, para evitar la deformación de la imagen después de la operación de ajuste que cambia el tamaño de la imagen a través de la entrada de la red, ampliamos los bordes negros de la distribución no rectangular. Imagen de fondo de ojo rectangular para resolver el problema de la pérdida de información de la imagen.
? (2) Ajuste del tamaño de la imagen del fondo de ojo. El tamaño de imagen del conjunto de datos original es de aproximadamente 1444*1444, lo cual es demasiado grande para la red. Por lo tanto, basándonos en la experiencia actual de los algoritmos de aprendizaje profundo sobre el impacto del tamaño de la imagen en el rendimiento de la red de clasificación, finalmente ajustamos el tamaño de la imagen a 256 * 256 durante el proceso de entrenamiento de la red. El tamaño es demasiado pequeño y es fácil. Esto resulta en la pérdida de información de características entre imágenes de diferentes categorías. En segundo lugar, considerando la memoria y las capacidades de procesamiento de la GPU, si el tamaño de la imagen es demasiado grande, no favorece el entrenamiento de redes neuronales convolucionales profundas.
2) Amplificación de datos
En comparación con la clasificación de imágenes de escenas naturales, el conjunto de datos utilizado en este capítulo para la clasificación de lesiones de alta miopía es significativamente menor. Para evitar el sobreajuste en la red de capacitación, adoptamos el siguiente método de aumento de datos en línea durante el proceso de capacitación:
? (1) Voltear. Voltee aleatoriamente la imagen en color del fondo de ojo horizontal, vertical, horizontal y vertical.
? (2) Ajuste de contraste. Este artículo utiliza el cuadrado de píxeles para cambiar el contraste y el brillo de la imagen. La fórmula es la siguiente:
g(x)=αf(x)+β
? Entre ellos, α ajusta el contraste y β ajusta el brillo. Este artículo establece α y β en un rango aleatorio de 0,8-1,0.
El número aleatorio seleccionado.
(3) Rotación. Elija aleatoriamente un ángulo de desplazamiento de 0 a 15 para rotar la imagen.
(4) Corte. Seleccione aleatoriamente un desplazamiento, por ejemplo, el tamaño de la imagen original es 1024 * 1024, el rango de desplazamiento es [0, 128] y luego córtelo en una imagen de 1444 *] 1364.
Practique redes de clasificación clásicas como Resnet, Densenet y ShuffleNetV2.
Los capítulos anteriores introdujeron en detalle la clasificación automática de la gravedad de las lesiones de alta miopía y el algoritmo de optimización de las imágenes en color del fondo de ojo. En la clasificación de las lesiones de alta miopía, adoptamos un método de red de reorganización múltiple basado en ideas de embolsado; en el algoritmo de optimización de la imagen del fondo de ojo, propusimos un algoritmo de optimización de la imagen del fondo de ojo basado en el método de transformación del espacio de la imagen.
En el actual sistema de diagnóstico asistido por computadora para la miopía alta, obviamente no es suficiente predecir la gravedad de la miopía alta y la información de diagnóstico auxiliar proporcionada por los oftalmólogos. Por lo tanto, después de obtener imágenes del fondo de ojo de miopía patológica alta, el área de la lesión debe segmentarse para que los médicos puedan confirmar aún más la condición del paciente. Esto aumentará en gran medida la eficiencia y precisión del diagnóstico de miopía alta y proporcionará una base para la detección a gran escala. Lesiones de alta miopía Proporcionar medidas factibles. Por lo tanto, este capítulo lleva a cabo la segmentación de áreas de lesión altamente miopes en condiciones de fusión de múltiples escalas. Específicamente, cuando se conoce la gravedad de las lesiones de alta miopía en la imagen del fondo de ojo, se utiliza el algoritmo optimizado para procesar la imagen patológica del fondo de ojo de alta miopía y luego se utiliza el método de este capítulo para segmentar automáticamente el área patológica.
? Como se mencionó anteriormente, la segmentación precisa de las áreas de lesión de alta miopía es de gran importancia para el diagnóstico y tratamiento de pacientes con alta miopía. De acuerdo con el método actual de segmentación de lesiones de imágenes en color del fondo de ojo, los pasos son los siguientes: preprocesamiento de la imagen del fondo de ojo, extracción del conjunto de lesiones candidatas de alta miopía, extracción y clasificación de las características de la lesión y posprocesamiento de la imagen del fondo de ojo. Estos métodos segmentan regiones focales combinando características prediseñadas con varios algoritmos de aprendizaje automático comunes, como la máquina de vectores de soporte (SVM) y el algoritmo de agrupamiento de K-means (K-means).
Este capítulo utiliza el método de segmentación de aprendizaje profundo para reducir la dificultad del preprocesamiento de datos. Sin embargo, dado que las redes neuronales convolucionales profundas requieren más datos de imágenes, ampliamos los datos hasta cierto punto y ampliamos el conjunto de datos.
? Después de clasificar la gravedad de la miopía alta en el Capítulo 2, debemos evaluar y examinar la calidad de la imagen de la miopía alta patológica, es decir, examinar y filtrar manualmente las imágenes de mala calidad y, finalmente, obtener alrededor de 350 fotografías en color del fondo de ojo de calidad normal. un conjunto de datos. Este paso se debe principalmente a una serie de problemas, como la subexposición causada por fallas en el enfoque y la sobreexposición causada por cambios en la iluminación ambiental al recolectar imágenes en color del fondo de ojo. La mayoría de estas imágenes no cumplen con los requisitos clínicos normales, como se muestra en la figura.
Para las redes Vnet y Vnet-FPN anteriores, se entrenan desde cero según el mismo método de inicialización. El conjunto de datos de este capítulo contiene 400 imágenes, incluidos 300 conjuntos de entrenamiento y 300 conjuntos de prueba, 100 conjuntos de validación y 100 conjuntos de prueba. Este capítulo selecciona Dice, TPR y PPV, que se utilizan comúnmente para evaluar el rendimiento de los algoritmos de procesamiento de imágenes médicas, como indicadores de evaluación de la red. En realidad, son la proporción de superposición entre el área predicha por su método de segmentación y el área real en el terreno. .
Dado es el índice de similitud, es decir, el área de superposición entre el resultado del algoritmo de segmentación y el resultado del patrón oro dividido por el promedio de sus dos áreas:
? El conjunto de datos de lesiones patológicas de alta miopía utilizado en este artículo es relativamente pequeño. Por lo tanto, en el entrenamiento de la red, para evitar el sobreajuste, principalmente preprocesamos el conjunto de datos, es decir, practicamos los siguientes métodos de aumento de datos en tiempo real durante el entrenamiento de la red:
? (1) Voltear. La experiencia experimental muestra que la inversión horizontal de las imágenes en color del fondo de ojo es más efectiva que la inversión vertical, por lo que este artículo adopta el método de amplificación de datos de inversión horizontal.
? (2) Ajuste de contraste del brillo de la imagen. Este artículo cambia el brillo de la imagen a través del cuadrado de píxeles y superpone el valor de brillo generado aleatoriamente en la imagen del fondo de ojo original.
? (3) Transformación de rotación y proporción. Seleccione aleatoriamente un ángulo entre 5° y 15° para rotar la imagen y escalar las coordenadas de la imagen en color del fondo de ojo, lo que equivale a escalar la imagen.
? (4) Filtro gaussiano. El filtro gaussiano es un filtro de suavizado lineal adecuado para eliminar el ruido gaussiano y se utiliza ampliamente en el proceso de reducción de ruido del procesamiento de imágenes. En términos generales, el filtrado gaussiano es un proceso de promediado ponderado de toda la imagen. El valor de cada píxel se obtiene mediante el promedio ponderado de sí mismo y de otros valores de píxeles vecinos.
La izquierda, el centro y la derecha son la visualización de etiquetas, los resultados de la segmentación de Vnet y los resultados de la segmentación de Vnet-FPN, respectivamente.