Топологическая теория анализа данных в естествознании

Материал из MachineLearning.

Текущая версия

Курс "Топологическая теория анализа данных в естествознании" читается Торшиным И.Ю. студентам 5-го курса специальности "ПИОС" кафедры «Интеллектуальные системы» ФУПМ МФТИ.

Аннотация

Словосочетания "искусственный интеллект", "большие данные", "глубокое обучение" и др. очень часто используются не только в околонаучных медийных материалах, но и в современной информатике. Подобного рода термины, как правило, употребляются без предварительного задания их точных определений, которые были бы приемлемы для всех специалистам по анализу данных. Более того, соответствующие модели и алгоритмы ("большие языковые модели", "трансформеры", "генеративные модели" и т.п.), хоть и приводят иногда к инженерным решениям тех или иных частных задач (машинный перевод, поисковые системы, некоторые алгоритмы анализа изображений и сигналов), не имеют достаточно глубокого математического обоснования и являются очень сложными "эвристиками". Проблемы "утечки данных" и "галлюцинаций", хотя и признаются современными специалистами, не имеют окончательного решения в рамках известных эвристических методов.

В то же время, в самых различных областях человеческой деятельности имеются всё ещё нерешённые задачи, для которых весьма трудно найти адекватные решения с хорошими показателями точности и обобщающей способности алгоритмов (включая многочисленные вариации алгоритмов в стиле "глубокое обучение"). Эти задачи, как правило, плохо-формализуемы (т.е. характеризуются очень большим способов выделения объектов, классов объектов и порождения признаковых описаний) и, в то же время, характеризуются огромных массивов соответствующих исходных данных. Задачи такого рода обширно представлены в биоинформатике, структурной химии и хемоинформатике, фармакоинформатике, биомедицине, сентимент-анализе и даже в таких хорошо математизированных областях, как физика. Нахождение решений наилучшего качества для таких задач требует особого подхода не просто к планированию вычислительных экспериментов, но и существенной теоретической базы, связанной с порождением и анализом объектов и их принаковых описаний.

Такая теоретическая база была разработана в контексте научной школы академиков РАН Ю.И. Журавлёва и К.В. Рудакова. Развитие алгебраического подхода к распознаванию по направлениям топологической теории анализа данных (ТТАД), метрического и комбинаторного анализа данных, теории классификации значений признаков позволило разработать соответствующие проблемно-ориентированных теории анализа данных плохо-формализованных задач. Эти проблемно-ориентированные теории предоставили фундаментальную теоретическую базу для разработки соответствующих алгоритмов распознавания/классификации/прогнозирования, характеризующиеся максимально возможными показателями аккуратности и обобщающей способности для изученных задач.

Данный курс является базовым курсом по ТТАД в контексте алгебраического подхода к распознаванию. Прикладные примеры применения ТТАД приводятся, в основном, из области естественных наук - химии, физики, биологии, медицины и смежных с ними научно-исследовательских областей.

Организационная часть

Как и пройденный ранее студентами курс биоинформатики, данный курс также следует рассматривать как область практического приложения знаний, накопленных студентами за все 5 лет обучения в МФТИ. Курс является и общеобразовательным, и научно-исследовательским, предполагающим самостоятельное решение студентами практических задач.

Семестровый курс содержит 32 часа лекций. Курс ориентирован на активно воспринимающего материал студента. Студенты могут сами формулировать темы исследовательских задач. После выбора задачи, с преподавателем можно обсудить требования к работе. До начала устного экзамена (отчет-презентация) необходимо сдать отчет об исследовательской работе (3-5 стр), проведенной по выбранной задаче. Форма отчета - такая же, как и в курсе биоинформатики.

Задания для индивидуальной работы студентов и сдачи экзамена/дифф.зачета

• Метрические и топологические подходы к постановке и решению плохо-формализованных задач
• Фундаментальные и технические отличия от "топологического анализа данных" школы Эдельбруннера (симплициальные комплексы итп)
• Оценка эффективной размерности пространства в произвольных метрических конфигурациях
• Фундаментальные математические основания алгоритмов т.н. "больших языковых моделей"
• Теоретические и практические методы оценки переобучения алгоритмов т.н. "больших языковых моделей"
• Практическое тестирование алгоритмов LLM на булевых полиномах различных размерности и степеней
• Молекулярная динамика гамильтоновых систем и количественные оценки выполнимости закона сохранения энергии модельных систем
• Разработка высокопроизводительных методов молекулярной динамики на основе квантовых вычислений
• Разработка потенциальных функций межатомарного и межмолекулярного взаимодействия на основе методик машинного обучения (в т.ч. LLM)
• Методы расчёта потенциалов межчастичного взаимодействия и проведения молекулярной динамики неорганических и органических систем на основе машинного обучения
• Задачи формула→3Dл
• Проблема изоморфизма графов в методах идеологии "Graph2Vec"
• Применение методов спектральной теории графов для решения задач "формула→свойство"
• Задача "структура-свойство" малых молекул, представленных размеченными графами
• Применение методов спектральной теории графов в решении задачи "структура-свойство"
• Имитационное моделирование квантовомеханических вычислений на молекулах с использованием методов теории графов
• Разработка общей теории анализа сложных данных, представленных разнородными признаковыми описаниями
• Определение пространства значений признаков; разработка новых подходов к порождению метрик на пространстве значений признаков.
• Разработка новых метрик на множествах объектов на основе метрик на множестве значений признаков.
• Разработка новых метрик на множествах объектов посредством использования многомерных пространств.
• Разработка новых метрик на множествах объектов через анализ метризационных теорем П.С.Урысона
• Разработка новых метрик на множествах объектов в контексте анализа решёток значений признаков.
• Разработка метрик на объектах на основе новых принципов.
• Разработка новых алгоритмов распознавания/классификации/прогнозирования на основе метрик на множествах объектов
• Анализ проблемы взаимосвязи качества метрики и качества алгоритма распознавания/классификации/прогнозирования на основе метода k-ближайших соседей
• Динамический сентимент-анализ контента (англоязычных) сайтов
• Задачи материаловедения, потенциально имеющие приложение в биологии и медицине - сверхпроводники и др

План лекций

Лекция 1. Перспективы применения методов ИАД в естественных науках

Физика, химия, биология, медицина и тексты

• Ещё раз о том, что же такое "проблемная область“…
• Модерн и пост-модерн, магизм и "обрядоверие" - затрагивают ли эти феномены информатику?
• О спектре феноменов между наукой и лженаукой
• Вопрос о научности утверждений в контексте процедур постановки (вычислительных) экспериментов
• Что такое "большие данные"?
• Что будет более подробно рассмотрено в этом курсе лекций

Лекция 2.Топологическая теория анализа данных в контексте алгебраического подхода Ю.И. Журавлёва

Сложная задача? А если подумать?

• Подходы к повышению показателей аккуратности и обобщающей способности алгоритмов для решения прикладных задач
• Булевы полиномы как модели и как решения
• Алгебраический подход Журавлева - про четырёх китов и многое другое…

Лекция 3. Основы топологического подхода к формализации задач

Топологии, решётки и произвольные метрические пространства

• Актуальность и требования к формализму
• Теоретико-множественные основы топологического анализа плохо-формализованных задач
• Об исходных и формальных описаниях объектов
• Об аксиоме соответствия
• О введении топологий над множеством исходных описаний X
• О метризуемости топологического пространства T(X )
• Решётки над множеством исходных описаний
• О метризации решёток
• Метрики на множествах признаковых описаний
• Метрики на множествах объектов
• Взаимодействия разнородных признаковых описаний

Лекция 4. Теорема о регулярности и нормальности как универсальный подход к определению расстояний на значениях признаков

Нормальность и метризуемость.

• Нормальность пространства как основа метризации
• О необходимых и достаточных условиях метризации топологических пространств
• Нормальность и регулярность по Журавлёву
• Расстояния на основе функций от множеств (сл. 3)
• Расстояния на основе индивидуальных весов атомов без учёта порядка атомов (следствие 4)
• Расстояния на основе индивидуальных весов атомов с учётом порядка атомов (следствие 5)
• О критериях выбора значений параметров настраиваемых метрик
• О переходе от решётки к расстояниям на объектах
• Схемы порождения синтетических признаков
• Максимизация информативности элементарных признаков с использованием целых опорных цепей
• Об оценках информативности
• МНК-подобные процедуры для настройки Гk’
• Экспериментальное тестирование предлагаемых способов порождения метрик

Лекция 5. О введении метрик на множествах объектов

Систематизируем поиск "наилучших" метрик.

• Расстояния между объектами в ИАД
• Фундаментальные перспективы введения метрик на множествах объектов в рамках топологического подхода
• О проблематике определения экспертных метрик на пространствах объектов на основе множества прецедентов
• Об определениях компактности множеств и пространств
• Направление I: порождение ρQ-метрик посредством ρL-метрик
• Функционалы для вычисления ρQ без учёта порядка элементарных признаков
• Функционалы ρQ с коммутативным учётом элементарных признаков
• О применении МНК- процедур к квазилинейным ρQ–функционалам
• Коммутативные ρQ-функционалы с поэлементным сопоставлением множеств
• Коммутативные ρQ-функционалы на основе синтетических числовых признаков
• Функционалы с коммутативным учётом элементарных признаков и с попарным сопоставлением множеств
• Функционалы для вычисления ρQ с учётом порядка элементарных признаков
• Вычислительные процедуры для экспериментального тестирования предлагаемых способов порождения ρQ-метрик
• Анализ взаимосвязи качества метрики и качества соответствующих kNN-алгоритмов
• Результаты экспериментального тестирования kNN-алгоритмов, основанных на изучаемых ρQ-метриках

Лекция 6.1 Метрическая кластеризация - основы теории

О проблематике кластеризации данных

• Анализ современных подходов к кластеризации
• О компактности метрического пространства М(L(X)) и представления о «кластерах» или «сгущениях» точек
• «Дискретная» компактность
• О пополнении метрических пространств
• Пополнение пространства М(L(X)) расширением решётки
• Пополнение М(L(X)) вариацией оценки, метрические конфигурации и их окрестности в метрическом конусе
• Метрические конфигурации и полные взвешенные графы

Лекция 6.2 Метрическая кластеризация - понятие плотности и алгоритмы

Обобщённые понятия плотности и размерности в метрических пространствах.

• О критериях σ-окрестности и σ-изоморфизма метрических конфигураций
• О σ-пополнении метрических конфигураций
• Представления о свойствах плотности в компактных метрических пространствах
• Анализ свойств плотности метрических конфигураций
• Свойства обобщённой плотности и топологические окрестности точек
• Параметрические топологические окрестности и «зёрна» метрических сгущений

Лекция 7. Фармакоинформатика как пример сложной прикладной области

Ищем лекарства, их новые и старые свойства.

• Основные научные направления в фармакоинформатике
• Кратко о постгеномном подходе в современных биомедицинских исследованиях
• О задачах анализа текстов
• Пример: сентимент-анализ
• Биоинформатика и ось подсистемы задач молекулярной фармакологии
• Физикохимическое моделирование + распознавание сайтов транскрипции
• Хемоинформатика и молекулярная фармакология

Лекция 8. Биоинформатика и комбинаторная теория разрешимости-регулярности (repetitio est mater studiorum)

Мета-задачи перекодировки/классификации символьных последовательностей

• Соотношение между комплексом задач биоинформатики и механизмами действия лекарств
• Топологический анализ данных в биоинформатике
• Прикладной пример: анализ редукционизма при COVID19…

Лекция 9. Основания хемоинформатики в теории размеченных графов

Просто графы и хемографы

О задачах хемоинформатики в контексте молекулярной фармакологии

• Физико-математические основы хемореактомного анализа
• Цепи и множества связных подграфов хемографов
• Цепи и «узлы» хемографов
• χ-цепи и χ-узлы
• Изоморфизм, инварианты и χ-инварианты хемографов

Лекция 10. Хемоинформатика как разновидность имитационного моделирования квантово-механических расчётов

Широко простирает ИАД руки свои в фундаментальную физику...

• Имитационное моделирование и квантовая механика
• Основы теории анализа размеченных графов
• Основы топологической теории анализа данных
• Проблемно-ориентированная теория для оценочных вычислений квантово-механических свойств молекул по структурной формуле.
• Интерпретации в рамках КМ
• Апробация алгоритмов на выборке из 134000 молекул
• Интерпретации в терминах теории химической связи

Лекция 11. Высокотемпературная сверхпроводимость в контексте физике твёрдого тела

Поучительные истории из физики и химии...

• О сверхпроводимости
• О физических моделях высокотемпературной сверхпроводимости (ВТСП)
• Математический контекст теории хемографов
• Напомним исходные определения
• О разметках хемографов
• Фундаментальные основы комбинаторного анализа изоморфизма хемографов
• О функциях расстояния между хемографами и метрическом анализе изоморфизма хемографов
• О методах прогнозирования числовых целевых переменных
• Применение формализма к задачам прогнозирования свойств материалов – оценки Тс для купратных ВТСП
• Выводы, полезные для проблемной области

Лекция 12. Обратимость времени в гамильтоновых системах - постановка проблемы

Назад во времени?! Разве это возможно?

• Численный анализ обратимости уравнений движения и конструктивные критерии оценки качества программных систем для проведения молекулярной динамики
• О фундаментальных критериях качества траекторий молекулярной динамики
• Об обратимости времени и конструктивных критериях оценки качества процедур МД
• Экспериментальная проверка на сложных ковалентных системах-белках
• Результаты численного моделирования динамики белковых конформаций
• Закон сохранения энергии и выполнимость полученных критериев
• Межмолекулярные потенциалы на основе ИАД/МО

Литература

1. Колмогоров A. H., Фомин С. В. Элементы теории функций и функционального анализа. Изд. 4-е, «НАУКА», Москва, 1976.
2. Александров П. С. Введение в теорию множеств и общую топологию. «НАУКА», Москва, 1977.
3. Александров П.С., Колмогоров А.Н. Введение в общую теорию множеств и функций-ГИТТЛ, 1948, с. 308
4. Александров П. С., Урысон П. С. Мемуар о компактных топологических пространствах. — М.: ФИЗМАТЛИТ, 2009. — 148 с. ISBN: 978-5-9221-1038-9
5. Биркгоф Г. Теория решёток. М., Наука, 1984.
6. Рудаков Константин Владимирович. Алгебраическая теория универсальных и локальных ограничений для алгоритмов распознавания. Дисс. д.ф.-м.н., М., 1992
7. Bailey K. Numerical Taxonomy and Cluster Analysis. In: “Typologies and Taxonomies”, NY, 1994, p. 34. ISBN 9780803952591.
8. Estivill-Castro V. Why so many clustering algorithms. ACM SIGKDD Explor. Newslett., 2002, 4(1): 65–75.
9. Hocking JG, Young GS. Topology, 1961, NY, Dover Pub., 5-6.
10. Ponomarev V.I. Open-closed Set. In: Encyclopaedia of Mathematics, M. Hazewinkel (Hrsg.), Springer-Verlag, Berlin, 2002, ISBN 1-4020-0609-8.
11. Stone M.H. The Theory of Representations of Boolean Algebras. Trans. Am. Math. Soc., 1936, 40: 37-111.
12. Frink O. Topology in lattices, Trans. Amer. Math. Soc. 51 (1942), 568-582.