Обсуждение:Визуально-языковая модель (VLM)
Материал из MachineLearning.
Содержание |
Нулевой этап
Объяснил DeepSeek правила игры:
Твоя задача писать статьи. Я тебе сейчас дам основные правила игры: '''жирный''', ''курсив'', == Заголовок ==, === Подзаголовок ===, ==== Заголовок следующего уровня ====. ненумерованный список это * ... * ... * ... нумерованный список # ... # ... # ...
Начальный запрос
Решил попробовать бесплатную модель DeepSeek. Структуру статьи помогла определить легковесная модель от Google в "Режиме ИИ".
Ты специалист в области глубокого обучения и популяризатор науки. Напиши глубокую, подробную и академически строгую энциклопедическую статью про Визуально-языковые модели (vision-language models, VLM) на русском языке для сайта machinelearning.ru. Твой читатель – это специалист, который отлично знает классическое машинное обучение и базовый NLP (матричные операции, градиентный спуск, эмбеддинги, классические трансформеры), но не имеет опыта в компьютерном зрении. Напиши статью строго по следующему расширенному плану, используя корректную для MediaWiki иерархию заголовков (основные разделы начинаются с ==, подразделы с ===): Строгое математическое и концептуальное определение мультимодальных моделей. В чем фундаментальное отличие от классических CV-задач (классификация, сегментация) и чистых текстовых LLM. Зачем объединять зрение и текст, и какие новые эмерджентные свойства это дает ИИ-системам. Объясни интеграцию модальностей через знакомый читателю аппарат линейной алгебры. Как разные модальности проецируются в единое непрерывное скрытое пространство. Объясни концепцию выравнивания векторов. Разбери фундаментальное ограничение геометрии трансформеров — феномен сдвиг распределения данных. Почему даже после идеального обучения эмбеддинги картинок и текста не перемешиваются полностью, а образуют два раздельных кластера, разделенных пустой зоной, и как это влияет на точность рассуждений. Кратко напомни математику трансформера, сделав упор на механизм внимания. Объясни почему матрицы проекций трансформера способны оперировать векторами любого происхождения, если они приведены к одной размерности. Разбери разницу между cross attention (когда текст смотрит на картинку) и causal self attention (когда всё подается единым потоком). Объясни, как изображение превращается в последовательность токенов без использования классических сверток. Подробно разбери концепцию vision transformer. Разбиение матрицы пикселей на патчи, их выпрямление (flattening) в плоские векторы и последующее линейное преобразование (linear projection) в эмбеддинги патчей. Покажи, что для ML-инженера это прозрачная операция умножения матриц. Расскажи про проблему проклятия длины контекста. Про то, что одна картинка после нарезки генерирует сотни токенов, что моментально забивает контекстное окно LLM. Расскажи, как современные модели решают задачу OCR через пайплайны динамического разбиения картинки высокого разрешения на под-картинки. Разбери проблему несоответствия размерностей визуального энкодера и языковой модели. Подробно распиши два подхода к реализации адаптера: простые адаптеры (линейный слой и MLP), ресамплеры признаков (rerceiver resampler, q former). Как они используют обучаемые query токены и cross-attention, чтобы сжать сотни тяжелых визуальных токенов в фиксированное число емких визуальных слов для экономии контекста. Как авторегрессионная языковая модель обрабатывает префикс из визуальных токенов. Объясни, почему для LLM визуальные эмбеддинги на входе выглядят точно так же, как эмбеддинги редких иностранных слов, которые она учится связывать со своим базовым словарем. Отдельно про таксономию подходов: ранее слияние, позднее слияние, глубокое переплетение. Важно про стратегии и эволюции обучения. Опиши современный двухэтапный пайплайн обучения VLM и важность стратегии заморозки весов для предотвращения катастрофического забывания базовых языковых навыков LLM: pre-training и instruction tuning. Переведи как-нибудь эти термины Затронь и расскажи разные проблемы у технологии (самые распространенные, по типу когда модель уверенно описывает несуществующие объекты) Интересно было бы, если ты напишешь про VL в действии. Просто чтобы не так скучно было. Конечно же еще про метрики. Как оценивать VLM, если на выходе мы получаем свободный текст? Расскажи про современные мультимодальные бенчмарки. Собери список фундаментальных научных работ с указанием авторов и года публикации: Стиль изложения строгий, академический, как в хорошей Википедии, но логичный и понятный инженеру. Не выдумывай факты и названия моделей.
Результат получился удовлетворительным.
Правки
в целом пойдёт. но есть замечания.
1. уточни математику в формуле потерь CLIP. В формуле InfoNCE допущена небрежность в индексах. В знаменателе
необходимо явно указать пределы суммирования, чтобы было понятно, что контрастирование идет по батчу.
Сделай \sum_{j=1}^B.
2. добавь сравнительную таблицу.
В разделе про таксономию после текстового списка добавь таблицу для визуального сравнения.
По столбцам классическое: тип слияния, модули обучаемые, примущества, недостатки, примеры. по строкам
градацию что раньше, что позже и т.д. в общем не усложни
3. Скорректируй стилистику и терминологию на более академичную. Фраза "естественно мыслить в терминах..."
звучит не очень; замени на "В парадигме NLP базовой единицей является..."
"Загрязнение собственного контекстного окна" замени на строгий вариант (например "без исчерпания лимита
токенов контекстного окна", что-нибудь подобное).
Во введении дай краткое пояснение термину "эмерджентные свойства" (например, в скобках: внезапно возникающие
способности, не заложенные явно при обучении).
4. Добавь актуальную информацию про MoE. Органично впиши 1-2 предложения (например, в раздел про
архитектурный базис или эволюцию) о том, что для масштабирования современных VLM без пропорционального
роста времени инференса активно применяется архитектура MoE (например, MoE LLaVA).
Интересно, что вывод почти получился идеальным, но ИИ-шным. Приходилось проходиться по тексту и удалять ее любимые «переносные смыслы в кавычках».
Работу, касающейся текста, и снабжением перекрестных ссылок занимался самостоятельно.
Работа со ссылками
В этот раз я решил попробовать дать модели Gemini 3.1 Pro самостоятельно пройтись по тексту и добавить ссылки на существующие статьи.
Я тебе отправлю вики-текст, а ты снабди такими источниками. они могут повторяться, поэтому иногда делай <ref name="somesource">...</ref>, а в будущем <ref name="somesource" />. Только настоящие источники!
Формат отправил ей отдельно. Далее с помощью ChatGPT с доступом в интернет проверил все ссылки. Из около 15 ссылок всего одна была с выдуманными авторами (но с настоящим названием). GPT исправил эту ссылку.
— Osman Osmanov 15:20, 18 июля 2026 (MSD)
