SLM Engineering — практический курс по созданию малых языковых моделей (Small Language Models, SLM) корпоративного уровня. За четыре недели вы пройдете полный цикл разработки: от подготовки данных и обучения токенизатора до предварительного обучения (Pretraining), Fine-Tuning, RLHF, реализации RAG, оптимизации инференса и развертывания модели в локальной инфраструктуре предприятия. Курс ориентирован на разработчиков и ML-инженеров, желающих самостоятельно создавать, обучать и внедрять современные AI-системы без зависимости от облачных сервисов. Для кого предназначен курс
Разработчиков, переходящих в сферу LLM Engineering, NLP и Enterprise AI.
Инженеров, создающих чат-ботов, интеллектуальный поиск и системы анализа документов.
Специалистов, которые хотят научиться самостоятельно обучать языковые модели, а не только использовать готовые API.
Исследователей, которым необходимы практические навыки промышленной разработки AI.
Чему вы научитесь Архитектура Transformer Подробно изучите внутреннее устройство современных языковых моделей: механизм внимания (Attention), Feed Forward-блоки, RMSNorm, Rotary Positional Encoding, эмбеддинги и взаимодействие всех компонентов архитектуры Transformer. Подготовка данных и обучение токенизатора Научитесь собирать, очищать и дедуплицировать датасеты, формировать корпуса данных, обучать собственные токенизаторы на основе BPE и SentencePiece, а также готовить данные для предварительного обучения и последующей настройки моделей. Предварительное обучение (Pretraining) Построите полноценный цикл обучения языковой модели с нуля, познакомитесь с законами масштабирования (Scaling Laws), научитесь анализировать функции потерь и оценивать эффективность процесса обучения. Fine-Tuning с LoRA и QLoRA Освоите современные методы параметроэффективной настройки моделей, включая LoRA, QLoRA, Supervised Fine-Tuning и 4-битную квантизацию. Узнаете, в каких случаях лучше использовать дообучение модели, а когда предпочтительнее применять RAG или инженерный подход к проектированию промптов. Выравнивание моделей и безопасность Изучите методы Reward Modeling, DPO и RLHF, научитесь реализовывать защиту от Prompt Injection, механизмы безопасных отказов, модерацию ответов и другие элементы безопасной эксплуатации языковых моделей. RAG и оценка качества моделей Создадите полноценную систему Retrieval-Augmented Generation с гибридным поиском, ранжированием результатов, ссылками на источники и использованием подходов LLM-as-a-Judge и Golden Sets для оценки качества моделей. Инференс и оптимизация производительности Разберетесь с особенностями работы этапов Prefill и Decode, использованием KV Cache, квантизацией моделей, Continuous Batching, Paged Attention и развертыванием высокопроизводительных серверов инференса на базе vLLM и llama.cpp. Развертывание в продакшене Научитесь создавать API для языковых моделей, организовывать потоковую обработку запросов, внедрять мониторинг, отслеживание деградации качества моделей, Canary-развертывания и автоматический цикл повторного обучения. Полный цикл разработки SLM Во время обучения вы реализуете полный производственный конвейер создания корпоративной языковой модели:
сбор и подготовка данных;
обучение токенизатора;
создание эмбеддингов;
обучение Transformer-модели;
предварительное обучение;
Fine-Tuning и RLHF;
реализация RAG;
оптимизация инференса;
развертывание модели в корпоративной инфраструктуре.
Практический итоговый проект Финальной работой станет разработка корпоративного помощника для анализа юридических договоров. Вы создадите собственную малую языковую модель, которая сможет автоматически извлекать и классифицировать положения договоров, обнаруживать персональные данные и конфиденциальную информацию, выполнять поиск по документам с точными ссылками на соответствующие разделы и работать полностью локально без передачи данных в облачные сервисы. Результаты обучения После завершения курса вы сможете самостоятельно проектировать, обучать, оптимизировать и внедрять Small Language Models (SLM) корпоративного уровня. Вы получите практический опыт работы с Transformer, LoRA, QLoRA, RLHF, RAG, vLLM, llama.cpp, промышленными AI-конвейерами и современными инструментами разработки LLM, а также пополните портфолио полноценным проектом, готовым к использованию в реальных корпоративных сценариях. Язык Английский Продажник: ↓ Скачать: ↓
Курс Vizuara AI Labs, Dr. Sreedath Panat - Малые языковые модели (SLM): полный процесс создания и внедрения (2026)
Текущее время: Сегодня 04:52
Часовой пояс: GMT + 4
Вы не можете начинать темы Вы не можете отвечать на сообщения Вы не можете редактировать свои сообщения Вы не можете удалять свои сообщения Вы не можете голосовать в опросах Вы не можете прикреплять файлы к сообщениям Вы не можете скачивать файлы