Asignar/mapear valores provenientes de una imagen 3D sobre una iso-surface con ParaView

Existen diversas técnicas para visualizar el contenido de una imagen 3D (el volumen conformado luego de la compilación de imágenes 2D e.g. imágenes diagnósticas médicas de tomografía o resonancia magnética). Generalmente se utilizan técnicas de renderizado volumétrico que permiten ver el interior de la estructura con alguna tabla de colores o con algunos métodos alternativos de umbralización; ejemplos de estos dos Volume Rendering (VR) y Maximum Intesity Projections (MIP). Sin embargo, algunos análisis requieren una visualización clara de los valores obtenidos a lo largo de una superficie definida o extraída previamente. La situación siguiente describe una necesidad recurrente que es la razón principal de este post:

- Se tiene una imagen 3D donde el valor de cada voxel entra en un rango que puede ser representado por una escala de grises (normalmente una imagen de tomografía, resonancia, ultrasonido, etc.). También se tiene una máscara de segmentación (imagen binaria que asigna un valor diferente de cero a una región de la imagen que se quiere estudiar; cero al resto de la imagen) del mismo tamaño de la imagen original. Para el análisis de la zona definida por la máscara de segmentación se quieren visualizar los valores en la imagen original sobre la superficie de la segmentación. En otras palabras, “mapear” los valores originales en la superficie segmentada.

Como ya está mencionado en el título, Paraview me sorprende una vez más permitiendo hacer todo esto de una manera muy sencilla y rápida. De aquí en adelante mi guía para resolver este problema utilizando Paraview:

Datos de entrada:

Imagen original en formato MHD/MetaImage (en mi caso el tipo de dato es unsigned short, pero puede ser cualquiera) . 

Imagen binaria de la segmentación en formato MHD.

Paso a paso: desde malla STL hasta sólido IGS/IGES usando herramientas libres u open-source

Todo un misterio, muchas pruebas y un enorme trabajo para lograr el resultado final. Primero voy a resumir las aplicaciones y lenguajes libres que utilizo, luego describiré mi problema y finalmente hablaré de mi solución.

Aplicaciones:

- ParaView: herramienta para visualización en 3D. Util para cortar mallas (y ver su interior), para conversión de datos entre VTK-STL-PLY, práctico para obtener rápidamente la iso-surface de una imagen binaria, sencillo al momento de medir distancias o poner nuevos puntos.

- MeshLab: herramienta para el tratamiento de mallas. Util para la conversión de datos PLY-STL, práctico para lanzar algoritmos sobre mallas e.g. smooth, decimation, invertir normales, etc. Tiene una interfaz simple para identificar y llenar huecos en las mallas. Puede utilizarse para el análisis de las propiedades de las mallas : self-intersect faces, manifold edges, duplicated vertices, etc.

- MeVisLab: herramienta de prototipado rápido para visualización y tratamiento de imágenes, especialmente enfocado en imágenes médicas. Util para toda prueba rápida de algoritmos de procesamiento de imágenes. Arquitectura orientada a eventos con respuesta inmediata ante los cambios en los parámetros de los filtros.

- FreeCAD: herramienta CAD open-source para el modelado en 3D. No tengo mucha experiencia en su utilización, pero en este proyecto es muy práctico para la conversión de una malla de triángulos a un formato de solidos (IGS/IGES). También tiene una interfaz de análisis de las propiedades de las mallas que permite modificar y reparar problemas en el mallado.

- Blender: herramienta para el modelado libre de objetos en 3D. Util para pasar filtros sobre las mallas, e.g. decimation, smooth, binary operations, entre otros. Util para la edición por puntos, aristas o caras de una superficie. Se puede utilizar para leer y convertir archivos STL y PLY.

- VTK: lenguaje open-source para visualización de datos. En este caso utilizo el código comentado previamente en este blog para la rasterización de una malla en una imagen binaria. El código lo ejecuto en Linux con la versión de VTK 5.6

- vtkSurface-DiscreteRemeshing: código bajo licencia CeCILL B desarrollado en el laboratorio CREATIS por Sebastien Valette. Permite una regeneración correcta de una superficie con una cantidad definida de elementos. Conserva la topología de la malla con las mejores propiedades de la misma. Para más información ver el artículo:
" Approximated Centroidal Voronoi Diagrams for Uniform Polygonal Mesh Coarsening", Valette & Chassery, Eurographics 2004

Mallas a Imágenes + Operaciones lógicas

Como luego no me voy a acordar de la secuencia de pasos que acabo de hacer, prefiero escribirlo para próximas oportunidades.

Problema:

- Recibo dos mallas en formato STL: la superficie de una esfera que se superpone con otra. Se quiere generar la diferencia entre la más grande respecto a la más pequeña.

Solución:

- Rasterizar las superficies. Utilizo VTK, vtkPolyDataToImageStencil (ver código de ejemplo). Defino el spacing de la imagen resultante. El tamaño es definido automaticamente por los bounds del polydata. Se generan dos imágenes MHD de suficiente resolución para generar nuevamente las mallas.

- Aplicar aritmética binaria entre las dos imágenes para generar la diferencia. Para esto uso MeVisLab. Tan solo con el filtro MergeRegions, opción AbsoluteDifference, obtengo el resultado. En Use Region: Union of all regions. El resultado genera unos bordes indeseables, por lo que se aplica un Opening de kernel 2x2x2. Guardo las nuevas imágenes.

- Generar malla de la diferencia. Abriendo la malla en ParaView, genero la superficie (MarchingCubes) y la guardo como archivo PLY. Esta malla es escalonada (por el MarchingCubes) y puede tener huecos. Abro el archivo en MeshLab y aplico una operación de llenado de huecos. Guardo nuevamente en PLY, abro este resultado en ParaView y guardo esa superficie completa como polydata en formato VTK.

- Reducir el tamaño de la malla/mejorar la distibución de triángulos y suavizar. Utilizo desde un pipeline en bbtk (CreaTools) el algoritmo de S.Valette; en paticular la caja MeshCleaning. Esta caja genera un Polydata que puede ser guardado en formato VTK o STL. (ParaView también funciona para hacer conversiones a STL)

Et voilà mon petit tout sur les différents outils de traitement d’images et des maillages !!! El resultado es más bien interesante y cool! Indeed, no son propiamente esferas ;-)

En azul la parte que quería guardar en un STL independiente. La roja era una de las mallas de entrada y la suma de los dos era la otra.