Результаты поиска
Материал из MachineLearning.
По запросу «AdamW»
Страницы с названием «AdamW» не существует.
Для получения более подробной информации о поиске на страницах проекта, см. справочный раздел.
Ниже показаны 7 результатов, начиная с № 1.
Просмотреть (предыдущие 20) (следующие 20) (20 | 50 | 100 | 250 | 500)
Нет совпадений в названиях статей
Совпадения в текстах статей
- Трансформер (модель) (21 030 байт)
99: ...е LLM наследуют ту же логику (AdamW, warmup + cosine/decay, mixed precision), но м... - Регуляризация (23 389 байт)
74: === AdamW: разделение весовой деград...
75: ...стому L2-штрафу. '''AdamW'''<ref name="adamw">Loshchilov I., Hutter F. ''Decoupled Weight Deca... - Многослойная нейронная сеть (16 789 байт)
84: * [[AdamW]]. - Методы оптимизации в машинном обучении (30 278 байт)
58: ...пада в адаптивных методах (AdamW) ===
60: ...и градиентами. Оптимизатор AdamW изолирует регуляризацию, п...
66: ...n (EvoLved Sign Momentum). В отличие от AdamW, Lion хранит только первый мо...
94: ... базовым оптимизатором (SGD, AdamW). Lookahead синхронизирует два ...
145: | '''AdamW''' || 1-й || <tex>2 \times \theta</tex> || Из... - Проблема взрыва градиентов (15 675 байт)
81: ... регуляризацией (например, AdamW); - Авторегрессионная модель (26 561 байт)
35: ...о градиентного спуска]] (Adam, AdamW). Для непрерывных данных ча... - L2-регуляризация (25 681 байт)
6: ...ого уменьшения весов.<ref name="adamw">Loshchilov I., Hutter F. [https://openreview.net...
102: ...ип лежит в основе AdamW.<ref name="adamw" /> Различие существенно: од...
108: * '''AdamW''' — адаптивный оптимизато...
206: ...тухание различаются.<ref name="adamw" />
Просмотреть (предыдущие 20) (следующие 20) (20 | 50 | 100 | 250 | 500)
