人工智能培训方案 — 广告多分类投放+ChatGPT项目

一、课程背景

课程名称:广告多分类投放+ChatGPT课

培训周期:48课时

课程背景:

对于当今互联网咨询平台, 抖音, 今日头条是两个王牌产品,分别代表了基于短视频的推荐和基于短文本的推荐。背后融合了众多CV, NLP, 推荐系统, 大数据等知识, 可以说是人工智能时代的集大成者。针对于今日头条来说,用户在众多新闻、资讯中,一定有更感兴趣的类别。比如对于男生而言,可能对历史、军事、足球等更感兴趣;对女生而言,可能对财经、八卦、美妆等更感兴趣。如果能将用户更感兴趣的类别主动筛选出来,并进行推荐阅读,那么点击量、订阅量、付费量都会有明显增长。基于上述原因,今日头条的推荐系统中就需要内嵌一个子任务:将短文本自动进行多分类,然后像快递一样的“投递”到对应的“频道”中, 因此我们的广告多分类投放项目就应运而生。

2023年最火爆的ChatGPT引领了AIGC的浪潮, 我们在课程中也会详细介绍ChatGPT的前世今生、架构、底层原理,工业界大模型微调与应用等内容。

课程收获:

1. 深度学习的应用, 基于神经网络的多分类任务解决方案。Fasttext实现多分类高效开发与部署, 模型的量化, 剪枝, 知识蒸馏具体代码与应用。近3年学术界和工业界主流的模型介绍, 包括AlBERT, RoBERTa, XLNet, macBERT, GPT, GPT2, ERNIE, T5, BART, MASS, Electra等。

2. ChatGPT的发展历史, 技术迭代关键点, 底层原理与架构, 应用场景介绍等。

二、项目介绍

项目概述:

广告多分类投放项目与ChatGPT主要解决工业界文本多分类的问题实现以及在线部署时的优化问题, 大模型有高精度的优点, 但也有参数多、计算慢的缺点, 如何在两者间保持一个最优平衡,也是我们项目集中要解决的问题。ChatGPT作为AI时代的最强音, 会介绍一下发展历史和工业界应用, 以及底层原理。

项目成果:

( transformer架构图 )

( 知识蒸馏架构图 )

( textCNN架构图 )

项目亮点:

1.FaxtText快速部署方案;

2.模型的量化, 剪枝, 知识蒸馏代码实现;

3.工业界最广泛使用的模型架构介绍与原理解析;

4.ChatGPT架构与底层原理, 工业界应用。

三、适合人群

1.掌握Python语言, 会使用Pytorch框架, 具备一定的深度学习基础

2.没有专业限制, 计算机相关更好。

四、培训目标

1.掌握Fasttext工具及使用, 能独立完成模型的快速部署;

2.掌握基于BERT的深度学习模型搭建, 模型训练, 模型测试;

3.掌握神经网络模型的量化, 剪枝, 知识蒸馏, 以实现在线业务的高速要求;

4.了解几个工业界主流的预训练模型;

5.初步掌握chatGPT的原理, 架构, 应用;

6.可以更深入的理解深度学习是如何应用在工业场景中, 以及如何从零开始搭建业务代码和模型训练, 并提供快速上线功能。

五、参考预习资料

获取方式:请扫描下方二维码,回复【人工智能】即可获取完整预习资料

六、准备环境介绍

硬件:酷睿i系列CPU, AMD系列CPU, 有GPU配置更好, 内存8GB

软件:Linux操作系统, Anaconda包, Python环境, Pytorch环境

七、课程日程安排

7月30日

深度学习与chatGPT介绍

1.深度学习发展
2.NLP发展历史
3.Transformer介绍
4.GPT介绍
5.GPT2介绍

7月31日

广告投放FastText模型搭建与上线

1.ChatGPT介绍
2.广告投放项目架构解析
3.搭建基线模型FastText

8月1日

神经网络模型搭建, 与模型的量化, 剪枝

1.基于BERT的深度学习模型搭建
2.对比基线模型的优势
3.神经网络的量化与剪枝

8月2日

广告投放模型的知识蒸馏

1.知识蒸馏的原理
2.TextCNN模型的解析与搭建
3.知识蒸馏模型的解析与搭建

8月4日

工业界主流模型介绍与广告投放项目微调

1.AlBERT介绍
2.RoBERTa介绍
3.Electra介绍
4.T5介绍
5.macBERT介绍
6.BART介绍
7.预训练模型的微调

8月5日

ChatGPT架构与底层原理

1.ChatGPT的架构
2.ChatGPT的底层原理与应用