 |
Структура и объем диссертации
|
|
|
|
Диссертация состоит из введения, четырёх глав, заключения, приложения и списка литературы из 152 наименований. Диссертация изложена на 121 странице, включая 72 иллюстрации.
СОДЕРЖАНИЕ РАБОТЫ
Во введении обоснована актуальность темы, кратко излагается состояние предметной области, нерешенные задачи и даётся краткая характеристика работы.
В первой главе выполнен анализ состояния предметной области: дано описание гистологических объектов и особенностей их изображений, обзор существующих методов систем обработки медицинских изображений, а также описание основных направлений развития алгоритмов сегментации объектов. По результатам проведённого анализа можно сделать следующие выводы.
1. Большинство объектов на гистологических препаратах представлены слабоконтрастными изображениями и характеризуются большой вариабельностью геометрических и оптических характеристик, в связи с чем при анализе подобных изображений возникают определенные трудности. Поэтому для выбора эффективных методов сегментации требуется дополнительная классификация этих объектов.
2. Автоматический анализ изображений гистологических объектов слабо освещён в литературе.
3. Гистологические объекты характеризуются слабой контрастностью, широким спектром форм и размеров. Поэтому их специфика вносит определенные особенности на этапе сегментации.
4. Можно определить три основных класса методов сегментации объектов на гистологических изображениях: пороговые, морфологические, методы наращивания областей. Хотя существует ещё ряд частных методов сегментации, не относящихся к ним.
5. Тема сегментации медицинских изображений в настоящее время является актуальной и очень важна в диагностических и научных исследованиях.
|
|
|
На основе результатов анализа выдвигается гипотеза: для каждого класса объектов можно определить алгоритм сегментации, позволяющий получить результат, удовлетворяющий исследователей гистологических препаратов.
Вторая глава посвящена сегментации гистологических объектов на полутоновых изображениях.
Глава начинается с классификации гистологических объектов для определения наиболее эффективного метода сегментации. В ходе классификации определяются три основных класса объектов: площадные (клетки, ядра клеток, сосуды и волокна в поперечном срезе), протяженные объекты (сосуды и волокна в продольном срезе), мелкие контрастные объекты (ядрышки, клеточные включения, артефакты) (табл. 1).
Таблица 1
Таблица классификации гистологических объектов и методов их сегментации для каждого класса
| Вид объекта | Характеристика изображения | Равномерный фон | Неравномерный фон |
| Площадные | Отдельно лежащие объекты одного типа | Пороговая сегментация | Методы математической морфологии |
| Объекты | Объекты, сопровождаемые объектами другого типа | Пороговая сегментация | Методы объединения областей |
| Протяженные объекты | Произвольное изображение | Пороговая сегментация | Морфологическая сегментация, основанная на утоньшении |
| Мелкие контрастные объекты | Произвольное изображение | Пороговая сегментация | Пороговая сегментация |
Используя характеристику протяженных объектов, для получения результата можно применять методы математической морфологии. Для выделения средней линии, соответствующей протяжённым объектам, чаще всего применяется полутоновое утоньшение изображения. Поэтому в диссертации был разработан алгоритм полутонового утоньшения, ориентированный на обработку изображений гистологических препаратов со сложным фоном, у которых на разных участках изображения меняются полутоновые характеристики.
|
|
|
Утоньшение изображения осуществляется за четыре прохода, а именно для верхнего, нижнего, правого и левого края. За каждый из четырех проходов значение пикселя изменяется по условиям:
1) p2 <x AND p6 ³x AND (p1 <x AND p4 ³x OR p3 <x AND p0 ³x OR p0 ³x AND p4 ³x);
2) p6 <x AND p2 ³x AND (p5 <x AND p0 ³x OR p7 <x AND p4 ³x OR p4 ³x AND p0 ³x);
3) p4 <x AND p0 ³x AND (p3 <x AND p6 ³x OR p5 <x AND p2 ³x OR p2 ³x AND p6 ³x);
4) p0 <x AND p4 ³x AND (p7 <x AND p2 ³x OR p1 <x AND p6 ³x OR p6 ³x AND p2 ³x),
где номера пикселей соответствуют рис. 1.
| P3 | P2 | p1 |
| p4 | Х | p0 |
| p5 | P6 | p7 |
Рис. 1 Окрестность пикселя X
В работе предлагаются три варианта изменения пикселя, удовлетворяющего вышеуказанным условиям:
|
|
1. Последовательная обработка полутоновых слоёв: последовательное утоньшение каждого полутонового уровня как бинарного изображения от максимального к минимальному.
2. Одновременная обработка полутоновых слоёв: изменяемый пиксель уменьшается на единицу (рис. 2).
3. Одновременная обработка с максимизацией значения пикселя: значению изменяемого пикселя присваивается значение максимального соседа из его окружения, полутоновая величина которого не превышает величину изменяемого пикселя.
Способ изменения пикселя зависит от контрастности изображения. Первым способом достигается идеальный результат для любых изображений, но он медленный. Третий способ – быстрый, но результат корректен только для контрастных изображений. Для большинства изображений более эффективно использовать второй способ (рис. 2).
Бинаризация скелета проводится за один проход изображения. Если обрабатываемый пиксель имеет хотя бы одного из четырёх соседей (p0, p2, p4, p6) меньше его или всех диагональных восьмисоседей меньше его, то значение пикселя приравнивается к 1, в противном случае – к 0:
If (X>p0 OR X>p4 OR X>p2 OR X>P6) OR (X>p1 AND X >p3 AND X>p5 AND X>p7) THEN X=1 ELSE X=0.
Учитывая особенности протяжённых объектов при слабом оптическом увеличении, бинаризированный скелет соответствует выделяемым сосудам или волокнам.
При больших увеличениях толщина протяженных объектов начинает играть существенную роль, поэтому для этого случая был разработан отдельный алгоритм сегментации. Особенность алгоритма заключается в наличии двух параллельных ветвей: обработка самого изображения и его градиента. В результате утоньшения градиента изображения получаются области для обработки, соответствующие либо фону, либо объекту. По соответствию полученного скелета изображения областям определяются протяженные объекты (рис 3).
|
|
|
|
|
В качестве развития этого алгоритма предлагается алгоритм идентификации сосудов или волокон, который использует области и скелет, полученные с помощью предыдущего алгоритма. Он выполняется с помощью отслеживания протяженного объекта и классификации областей на три класса (пересечения, разветвления и продолжения), которая проводится с помощью анализа точек пересечения скелета с границами области.
Выбор метода сегментации для площадных объектов зависит от соотношения фона и полутоновых характеристик объектов. Для контрастных изображений лучше всего использовать алгоритмы пороговой сегментации, но в случае слабоконтрастных изображений они не позволяют получить качественный результат. Если фон неравномерен, а изображение включает отдельно лежащие объекты одного типа, и, кроме того, полутоновая величина для пикселей фона меняется равномерно и не делает резких скачков, хорошие результаты получаются при применении морфологической сегментации. В основе разработанного алгоритма лежит полутоновое утоньшение морфологического градиента, сопровождаемое операцией обрезания хвостов на каждую итерацию, которая позволяет получить замкнутые контуры, ограничивающие области, соответствующие объектам. Результаты, полученные с помощью этого метода, соответствуют выделяемым гистологическим объектам (рис. 4).
а) б) в) г)
Рис. 4.Морфологическая сегментация клетки нейрона: а) исходное изображение; б) результат утоньшения полутонового градиента; в) результат заливания; г) результирующее бинарное изображение клетки
|
|
|
В случае, когда в изображении объектов и фона полутоновая величина пикселей принимает любое значение, для сегментации разработан алгоритм объединения областей (рис 5). Отсутствие стадий “засевания”, роста и разделения областей приводит к выигрышу в скорости по сравнению с традиционными алгоритмами роста областей.
Объединение областей происходит при следующих условиях.
1. Разница дисперсии для полутоновой величины не должна превышать заданного значения, определяющего отличия клетки от ткани.
2. Среднее значение полутоновой величины каждой области не должно выходить за пределы, ограниченные дисперсией другой области.
а) б) в) г) д)
Рис 5. Сегментация клеток методом объединения областей: а) исходное изображение, б) морфологический градиент, в) утоньшение морфологического градиента, г) объединение областей, д) результирующее бинарное изображение клеток
Причем среднее значение и дисперсия новой области рассчитываются по формулам:
где М1, М2 – средние значения полутоновых величин для родительской и соседней областей, s1, s2 – дисперсии полутоновых величин для родительской и соседней областей, А1, А2 – площади родительской и соседней областей, М12 – среднее значение полутоновой величины для объединённой области, s12 – дисперсия полутоновой величины для объединённой области.
Важной характеристикой клеток, волокон и сосудов в поперечном сечении является их топологическая структура. На этом основывается разработанный алгоритм определения клеток среди бинарных образов, полученных пороговой сегментацией (рис 6).
Алгоритм позволяет откорректировать результат, удалив объекты, не принадлежащие клеткам, и построить мультифазное изображение, в котором отражается иерархия клеточных структур.
Третья глава посвящена сегментации цветных изображений гистологических объектов. Для анализа гистологических препаратов цвет составляющих компонентов ткани играет важную роль. Окрашивание препарата позволяет выделить те или иные клеточные структуры. Причем стандартное преобразование цветного изображения в полутоновое приводит к потере некоторых объектов разной окраски, но одинакового уровня яркости.
Рис 6. Изображение клеток нейронов симпатических ганглиев и построенное мультифазное изображение с иерархической структурой клеток
Алгоритмы сегментации гистологических объектов активно используют методы математической морфологии. Яркость и насыщенность можно охарактеризовать как полутоновые величины. Однако для гистологических изображений цветность можно только ограничить пороговыми значениями в спектре. Поэтому при обработке гистологических изображений цветность нельзя считать полутоновой величиной, несмотря на то, что она обладает такими свойствами, как возможность определения пороговых значений при помощи вычисления градиента.
|
|
|
Для сохранения цветности при использовании операций математической морфологии на цветных изображениях гистологических препаратов была разработана система описания цвета PHS (рис.7).
Рис 7. Декартовы системы RGB и ZYX и системы координат ZYX и PHS
Преобразование в координаты PHS из RGB выполняется по следующим формулам:
Тестирование работы операторов математической морфологии проводилось в четырёх координатных системах описания цвета PHS, HLS, RGB, YIQ на изображениях гистологических препаратов. Из результатов тестирования видно, что для системы HLS изменена яркость, в системах RGB и YIQ искажена цветность, а результат обработки в системе PHS наиболее близок к ожидаемому результату. Сравнение изображений проводилось посредством метрики Хаусдорфа, среднеквадратичной ошибки отклонения e2 и меры сходства изображений. Результаты представлены в табл. 2. Характеристики сходства исходного изображения и обработанного в системе PHS минимальны и свидетельствуют о более качественной обработке изображения.
Работу морфологических операций на цветных гистологических изображениях в системе PHS можно оптимизировать, обрабатывая вектор расстояния цвета и пропорционально ему меняя для пикселя значения по координатам RGB (красного, зелёного, синего лучей). Эта оптимизация увеличивает быстродействие на этапе преобразования координатных систем.
Использование полутоновой морфологии для цветных изображений позволяет более эффективно решать целый ряд задач сегментации изображений гистологических объектов.
Таблица 2
Сравнение результатов тестирования работы операций математической морфологии для цветных изображений
| Система координат | Метрика Хаусдорфа | Среднеквадратичная ошибка отклонения | Мера сходства изображений |
| HLS | 0,337 | 0,22755 | 0,05178 |
| RGB | 0,302 | 0,217798 | 0,047436 |
| YIQ | 0,302 | 0,235654 | 0,055533 |
| PHS | 0,176 | 0,138054 | 0,019059 |
В четвертой главе описывается система анализа изображений Bioscan.
Для этой системы были разработаны и опробованы вышеописанные алгоритмы. Большинство алгоритмов по автоматической обработке изображений в этой системе разработаны автором. Приведены программные и технические характеристики системы, организация программного обеспечения и геометрические и оптические параметры, которые можно получить в результате измерения объектов.
В системе анализа изображений реализован полный аппарат математической морфологии для работы с цветными, полутоновыми и бинарными изображениями, который является важной частью в решении многих задач сегментации. Рабочая панель системы Bioscan приведена на рис. 8.
Рис. 8. Рабочая панель системы Bioscan:
1) меню, 2) панель инструментов, 3) окно с изображением, 4) динамическое окно вызова функций, 5) редактор подпрограмм интерпретатора
Приведены следующие примеры задач медицинской морфологии, решаемых системой:
* исследование пирамидальных нейронов головного мозга разной степени поражения вирусом простого герпеса;
* определение плотности радиальных и тангенциальных волокон мозговой ткани;
* наблюдение обмена веществ в клетке с помощью радиоавтографии (рис. 9).
а) б) в)
Рис. 9. Клетки крови с радиоизотопными метками а) полутоновое изображение; б) результат пороговой сегментации для сегментации клеток; в) бинарное изображение радиоизотопных меток, полученных пороговой сегментацией
В приложениях приведены акты внедрения результатов диссертационной работы.
ЗАКЛЮЧЕНИЕ
Результаты, полученные в ходе диссертационного исследования, можно сформулировать следующим образом.
1. Выделение гистологических объектов на цифровых изображениях затруднено существенной вариабельностью и слабой контрастностью. Поэтому в задачах сегментации для решения частных задач применяются разнообразные методы. Универсальные подходы к выбору алгоритма для сегментации произвольного изображения гистологических объектов неизвестны. Следовательно, существует необходимость построения взаимосвязанной классификации гистологических объектов и алгоритмов сегментации, а также развития алгоритмов сегментации более общего и универсального характера для выделения широкого класса объектов.
2. Разработана классификация гистологических объектов для определения метода сегментации изображений гистологических объектов. В основе классификации лежат оптические и геометрические характеристики гистологических объектов, а также оптические характеристики их окружения – фона. Для каждого класса объектов определён наиболее оптимальный метод сегментации. Такая классификация определяет универсальный подход к выбору алгоритма для выделения гистологических объектов определённого класса, при этом сохраняя высокое качество полученных результатов.
3. Разработан алгоритм полутонового утоньшения объектов на слабоконтрастных изображениях гистологических объектов. Основным отличием алгоритма является то, что операция утоньшения начинает обрабатывать изображение с точек объектов, имеющих для своего окружения максимальные яркостные характеристики. Эта особенность позволяет обрабатывать и получать качественный результат на изображениях со сложным фоном с меняющимися яркостными характеристиками, особенно для изображений гистологических препаратов.
4. Разработан алгоритм сегментации и отслеживания сосудов или волокон при больших оптических увеличениях. Предложенный алгоритм, основанный на анализе областей, полученных с помощью утоньшения перепадов яркости, позволяет получить качественный результат, пригодный для дальнейшей обработки. Кроме того, для данного метода сегментации предлагается метод отслеживания, также основанный на анализе выделенных областей. Эти особенности позволяют повысить скорость и качество обработки.
5. Разработан алгоритм морфологической сегментации площадных гистологических объектов. Алгоритм выделяет такие объекты как клетки, сосуды и волокна в поперечном сечении на изображениях гистологических препаратов с фоном, яркостные характеристики которого меняются, а текстура не выражена.
6. Разработан алгоритм сегментации клеток методом объединения областей. Он ориентирован на обработку изображений со сложным фоном, у которого меняются яркостные характеристики и присутствует текстура, состоящая из ложных объектов и артефактов. Метод объединения областей существенно медленней морфологической сегментации, но он позволяет определять объекты даже тогда, когда перепады уровней яркости объектов такие же, как и у окружающего их фона. Отсутствие стадий “засевания”, роста и разделения областей приводит к выигрышу в скорости по сравнению с традиционными алгоритмами роста областей.
7. Предлагается система координат описания цвета, предназначенная для сохранения цветности при работе методов математической морфологии на изображениях гистологических препаратов. При представлении изображения в этой координатной системе основная часть обработки проходит по одной координатной оси, отображающей полутоновые свойства изображения. Это позволяет улучшить качество и ускорить обработку цветных изображений гистологических препаратов.
Полученные в диссертационной работе результаты предназначены для реализации в автоматических системах анализа гистологических препаратов и могут использоваться при традиционной обработке и анализе гистологических объектов.
СПИСОК ОПУБЛИКОВАННЫХ РАБОТ
ПО ТЕМЕ ДИССЕРТАЦИИ
|
|
|
