面向数据工程和数据专业人员的生成式人工智能课程

更快地使用实用的生成性人工智能进行数据工程 | 针对所有数据专业人士（工程师、分析师、科学家）,这是一个关于如何在数据工程（以及作为数据专业人士）中使用生成性人工智能的实践键盘操作课程。我们将使用Python、OpenAI API和Jupyter Notebook来编写和执行代码。生成式人工智能正在改变数据和数据工程的游戏规则，原因有两个：更快地完成任务——使用生成性人工智能的数据专业人士的任务完成速度提高了16%。如果你每天都在编写/分析数据，这一速度甚至超过45%。
做新任务——生成性人工智能使数据工程师和分析师能够做更多事情。实际上，一些任务，如从非结构化数据中提取特征/见解或增强文本数据，现在仅靠生成性人工智能才能做到。这就是生成性人工智能为何在数据工程生命周期的每个步骤中引发革命。无论你是数据分析师、数据科学家、数据工程师、数据专业人士还是数据经理——你都需要学习如何将生成性人工智能嵌入到你的日常工作流程中。这就是本课程的全部内容——使你作为数据专业人士更强大、更高效。
通过超过5.5小时的相关教学视频内容学习，这是唯一一门将实际教授生成性人工智能对数据工程和数据专业人士生命周期影响的不同方式，并应用于真实的端到端实例的课程。 Generative Ai For Data Engineering And Data Professionals

MP4 | 视频: h264, 1920×1080 | 音频: AAC, 44.1 KHz
语言: 英语 | 大小: 4.79 GB | 时长: 5小时38分钟

你将学习到
将生成性人工智能集成到现有的数据流和数据工程生命周期中
学习生成性人工智能如何革新数据工程生命周期的每个步骤，进行实践练习和活动
理解生成性人工智能在数据工程中的角色，尤其是在何时使用它和何时不使用它
使用生成性人工智能生成和增强数据
用生成性人工智能编写数据工程代码
探索数据工程的生成性人工智能工具
使用生成性人工智能从非结构化文本中解析和提取见解与数据
使用生成性人工智能查询和分析数据工程中的数据
使用生成性人工智能功能丰富、规范和标准化数据

要求
熟悉基本的数据工程概念（数据清洗、SQL查询）
对编程有基本了解，特别是Python
熟悉编码工具，如Jupyter Notebook和VS Code

本课程的主题是什么？
本课程主要是关于如何将生成性人工智能实际嵌入到你的日常工作流程中，作为数据工程师或数据专业人士。这是一本关于生成性人工智能如何革新数据工程生命周期每个步骤的深度实践指南，让你更具生产力和实力。这是一门技术性和实践性的课程（不是理论或模糊的）。
为什么作为数据专业人士或数据工程师要学习生成性人工智能？
有两个原因：生产力和能力。生成性人工智能能够更快地完成某些事情——比如编写SQL查询、文档、创建架构和分析简单数据。生成性人工智能能做到以前不可能做到的事情，如从非结构化文本中提取见解、插补文本数据，或在保持上下文的情况下增强数据。你必须知道如何使用生成性人工智能，以免被落在后面。
生成性人工智能如何影响数据工程？
生成性人工智能以多种方式影响数据工程。具体来说，我们将研究7种不同的原型：
数据生成和增强
用生成性人工智能编写代码
数据解析和提取
生成性人工智能数据工程工具
数据查询和分析
数据丰富、规范和标准化
异常检测和压缩
你将学习什么？
集成生成性人工智能——学习如何在你的工作流程中充分嵌入生成性人工智能作为数据专业人士（包括数据生成、分析、存储、可视化、管道等）
更具生产力——生成性人工智能是生产力的游戏改变者——它可以帮助你完成数据任务快达20%（麦肯锡），若你编写或使用代码则更快
更强大——学习如何完成在没有生成性人工智能的情况下不可能完成的更多数据任务，例如从非结构化文本中提取见解或增强文本数据
为什么选择这门课程？
完整指南——这是使用生成性人工智能作为数据工程师或数据专业人士的100%从头到尾的入门到精通指南。没有其他课程能教你从头到尾的所有内容。包含超过5.5小时的教学内容！
结构化成功——本课程的结构旨在帮助你成功。我们首先介绍生成性人工智能如何用于数据工程的基础知识。然后，我们将逐个深入研究生成性人工智能如何嵌入到你的工作流程中的7种不同原型。每种都会详细讲解。
全面授课——我们不仅讲解重要概念，还进行应用。这是一门实践的键盘操作课程。这不仅是对所有功能和理论概念的讲解，还是真正使用现实生活例子的课程，并与你的工作流程进行整合。我们一步一步地讲解生成性人工智能如何逐步影响数据工程的每一个方法。我们从示例开始，然后完成完整的端到端活动来应用我们所学到的知识。教师反馈——如果你想学习其他内容，或者有任何问题，我都在这里帮助你！查看联系视频。

课程概述
数据工程生成性人工智能导论——了解课程概况，学习生成性人工智能如何影响数据工程任务，并熟悉课程路线图。
环境设置——有两种选择来设置你的工作空间：下载Python、VSCode和Jupyter Lab，或者使用Google Colab。我们还会引导你设置OpenAI API。
数据生成和增强——使用生成性人工智能生成和增强数据。学习创建合成数据、处理个人身份信息、平衡数据集等。我们还会从后端到前端构建一个数据增强应用。
使用生成性人工智能编写数据工程代码——了解如何使用生成性人工智能编写数据工程代码。本部分包括数据清理、建模、文档编写、创建数据模式和数据转移。
生成性人工智能数据工程工具——探索像ChatGPT、Claude、自定义GPT和其他数据工程的生成性人工智能工具。
数据解析和提取——使用生成性人工智能解析和提取非结构化文本数据，包括从网页抓取、图像、合同、发票、收据中提取数据，并执行命名实体识别。
数据查询和分析——精通使用生成性人工智能进行数据的查询和分析。优化你的查询，开发和运行查询应用，将它们转换为带有前端组件的网络应用。
数据丰富、规范化和标准化——使用生成性人工智能丰富、规范化和标准化数据，包括特征丰富、数据填补和标准化文本数据以获得更好的模型。
总结——涵盖证书、后续步骤和联系方式。

如果你想学习如何提高生产力，让自己作为数据工程师（实践中，而不是理论上）更强大，那么这就是你的课程。我们期待你参加课程，并希望你能获得证书。

概述
第一部分：导言
讲座1：关于课程
讲座2：课程小贴士
讲座3：生成性人工智能如何影响数据工程师的任务
讲座4：课程路线图
讲座5：使用生成性人工智能的注意事项
讲座6：关于讲师
讲座7：成功的要素
讲座8：联系方法
讲座9：给个评分

第二部分：环境设置
讲座10：环境设置
讲座11：选项1 下载Python、VSCode和Jupyter Lab
讲座12：选项2 使用Google Colab
讲座13：设置OpenAI API
讲座14：资源

第三部分：数据生成和增强
讲座15：使用生成性人工智能进行数据生成和增强的介绍
讲座16：用生成性人工智能生成合成数据
讲座17：用生成性人工智能增强现有数据
讲座18：创建时间序列数据
讲座19：在数据工程中生成边缘案例
讲座20：使用生成性人工智能处理个人身份信息
讲座21：在数据工程中平衡不平衡的数据集
讲座22：活动：数据增强应用的讲解
讲座23：活动：为数据工程创建函数
讲座24：活动：运行后端
讲座25：活动：添加前端组件
讲座26：活动：运行网络应用（数据工程的生成性人工智能）

第四部分：使用生成性人工智能编写数据工程代码
讲座27：使用生成性人工智能编写数据工程代码的介绍
讲座28：使用生成性人工智能进行数据清理和建模
讲座29：为数据项目编写文档
讲座30：创建数据模式、系统和流程
讲座31：用生成性人工智能转移数据

第五部分：生成性人工智能数据工程工具
讲座32：使用生成性人工智能的数据工程工具介绍
讲座33：使用ChatGPT进行数据工程
讲座34：与Claude一起构建数据工程应用
讲座35：自定义GPT用于数据工程
讲座36：自定义大型语言模型（LLM）或生成性人工智能工具用于数据工程
讲座37：Azure Data Factory的Copilot和BigQuery的Gemini

第六部分：数据解析和提取
讲座38：使用生成性人工智能进行数据解析和提取的介绍
讲座39：解析数据（数据工程）
讲座40：从网页抓取和图像中提取数据
讲座41：执行命名实体识别
讲座42：活动：从合同中提取数据

第七部分：数据查询和分析
讲座43：使用生成性人工智能进行数据查询和分析的介绍
讲座44：用生成性人工智能查询数据
讲座45：优化数据查询
讲座46：活动：开发数据工程查询应用
讲座47：活动：运行数据工程查询应用
讲座48：活动：将其转换为带有前端的网络应用

第八部分：数据丰富、数据标准化和规范化
讲座49：使用生成性人工智能进行数据丰富、标准化和规范化的介绍
讲座50：增强数据模型的特征
讲座51：用生成性人工智能进行数据填补和规范化
讲座52：用于时间序列数据工程的填补
讲座53：用生成性人工智能标准化和规范化文本数据

第九部分：总结
讲座54：总结与证书
讲座55：联系方式

第十部分：附加内容
讲座56：附加内容

希望将生成性人工智能整合到工作流程中的数据工程师，所有数据专业人士（数据工程师、数据分析师、数据科学家、数据管理人员），希望使用生成性人工智能处理数据任务的数据专业人士或工程师，任何想要提高其数据工程技能和生成性人工智能集成的人，旨在构建数据工程应用的开发人员，想要利用人工智能简化数据工作流程的个人。