Hands On With Mixture Of Experts Models

一切关于Mixture of Experts models的知识，来自那些亲手构建过多个模型的人！虽然专家混合模型最近已经成为主流，但在它们成为大热之前，我就已经在构建这种特定架构的模型上有了很多经验。在这门课程中，我提供了对我个人构建的几个LLM模型的完全访问权限。我还传授了我在构建这些模型时学到的所有智慧，以及为你需要做的每个方面制定的基本路线图。如果你对任何级别的专家混合模型感兴趣，那么这门课程就是为你准备的。从BartPhi到3 Tiny Llamas，甚至是强大的Mixtral，我都会向你展示如何设置和运行这些模型，全部都在Google Colab环境中直接进行。我给你模型，我给你代码，我解释你需要知道的一切。最棒的是，如果你对这些模型有任何问题，我是这门课程中90%展示的模型的工程师和架构师。我对这些模型及其构建的问题的回答要比其他任何人都更好。你得到了一门在其他任何地方都找不到的课程。访问你在其他任何地方都难以找到的模型。以及访问构建这些模型的人，如果你需要的话，这也是你在其他任何地方都找不到的！

MP4 | 视频：h264，1920×1080 | 音频：AAC，44.1千赫
语言：英语 | 大小：2.05 GB | 时长：1小时12分钟

你将学到什么
如何构建Mixture of Experts Models
如何利用不同的编码器和解码器
如何改变和调整你的MoE模型的输出
实际MoE模型和代码的实际操作访问

要求
对Python、变压器和管道有基本的了解是本课程的要求。

概述
第1部分：介绍

讲座1 介绍

第2部分：BartPhi介绍

讲座2 BartPhi-1.0和BartPhi-2.0

讲座3 BartPhi-2.8

第3部分：Llama模型

讲座4 CoTCog和Tiny Llama

讲座5 Lite Llama和Tiny Llama

讲座6 3 Tiny Llamas和Mixtral

这门课程适合任何想要了解更多关于专家混合模型的人，特别是那些寻求真正实践经验的人。