Глубокий разбор, как работает ChatGPT. Лекция от Andrej Karpathy (25 февраля 2025)



🌟 Узнайте, как работают большие языковые модели и агенты LLM!
Простые объяснения и примеры. Как применять в образовании, медицине, финансах и других областях. Подкаст для всех, кто хочет понять будущее искусственного интеллекта.

Пишу полезное в блоге Telegram:
Ссылки на оригинальное видео в первом комментарии
👇👇👇

👨🏻‍💻 Кто я?
Я создаю автоматизации для бизнеса через чат-боты в telegram и whatsapp.
Активно использую нейросети в своих проектах.
Мой путь это 10 лет инженерного опыта, диплом MBA, управление процессами на заводе IKEA и 3 года бизнес-анализа в 15 компаниях.

*Ключевые моменты*

*Общая цель*
– Понимание больших языковых моделей, таких как ChatGPT
– Рассмотрение сильных и слабых сторон инструмента

*Этапы создания языковых моделей*
– Предобучение
– Сбор и обработка данных из интернета
– Пример: набор данных Fine Web от Hugging Face
– Сбор данных

*Подготовка данных и токенизация*
– Преобразование текста в токены
– Использование кодировки UTF-8 и метода Byte Pair Encoding
– Пример токенизации: “hello world”
– Подготовка набора данных

*Обучение нейронных сетей*
– Моделирование статистических связей токенов
– Пример: предсказание следующего токена на основе контекста
– Архитектура нейронных сетей
– Применение слоев и параметров для обучения

*Постобучение и дообучение*
– Создание ассистента через дообучение
– Пример: OpenAI GPT-2 и его возможности
– Устранение галлюцинаций через внешние источники

*Будущее языковых моделей*
– Мультимодальные возможности
– Обработка текста, аудио и изображений
– Эмерджентные стратегии и самообучение
– Рекомендации по ресурсам

Үлкен тілдік модельдер мен LLM агенттері қалай жұмыс істейтінін біліңіз! Түсінікті мысалдар, қарапайым түсіндірулер және олардың білім беру, медицина, қаржы сияқты салалардағы қолданылуы. Жасанды интеллекттің болашағын түсінгісі келетіндерге арналған подкаст.

Discover how large language models and LLM agents work! Simple explanations, real-world examples, and their applications in education, medicine, finance, and more. A podcast for anyone curious about the future of artificial intelligence.

Odkryj, jak działają duże modele językowe i agenci LLM! Proste wyjaśnienia, przykłady z życia wzięte i ich zastosowania w edukacji, medycynie, finansach i nie tylko. Podcast dla każdego, kto jest ciekawy przyszłości sztucznej inteligencji.

Foundation of LLMs
Reasoning
Planning, tool use
LLM agent infrastructure
Retrieval-augmented generation
Multimodal agents,
Evaluation and benchmarking on agent applications
Privacy, safety and ethics
Human-agent interaction, personalization, alignment
Multi-agent collaboration
pretraining data (internet)
tokenization
neural network
pretraining to post-training
post-training data (conversations)
hallucinations, tool use, knowledge, working memory

#llm #onlinebusiness #нейросети #ai

source

Disclaimer
The content published on this page is sourced from external platforms, including YouTube. We do not own or claim any rights to the videos embedded here. All videos remain the property of their respective creators and are shared for informational and educational purposes only.

If you are the copyright owner of any video and wish to have it removed, please contact us, and we will take the necessary action promptly.

You might also enjoy

Subscribe Our Newsletter

Scroll to Top