Deep-Learn

深度学习

两个函数(把pytorch当作工具箱)

1. dir():了解工具箱和工具箱的分隔区有什么。
2. help():了解工具的使用方法。

import torch
help(torch.cuda.is_available)//available后面没括号

数据

• Dataset:提供一种方式去获取数据及其label，以及告诉我们有多少数据
• DataLoader:为网络提供不同数据形式

from torch.utils.data import Dataset
from PIL import Image
import os

class MyDataset(Dataset):
    def __init__(self,root_dir,label_dir):
        self.root_dir = root_dir
        self.label_dir = label_dir
        self.path= os.path.join(self.root_dir,self.label_dir)
        self.img_path = os.listdir(self.path)

    def __getitem__(self, idx):
        img_name = self.img_path[idx]
        img_item = os.path.join(self.root_dir,self.label_dir,img_name)
        img=Image.open(img_item)
        label=self.label_dir
        return img,label

    def __len__(self):
        return len(self.img_path)


ants_Dataset = MyDataset(root_dir='dataset/train',label_dir='ants')
bees_Dataset = MyDataset(root_dir='dataset/train',label_dir='bees')

train_Dataset = ants_Dataset + bees_Dataset

TensorBoard

from torch.utils.tensorboard import SummaryWriter
import numpy as np
from PIL import Image

writer = SummaryWriter("logs")

img_path = "data/train/ants_image/0013035.jpg"
img_PIL=Image.open(img_path)
img_array = np.array(img_PIL)
writer.add_image("test",img_array,1,dataformats='HWC')

for i in range(100):
    writer.add_scalar("y=3x",3*i,i) #y轴，x轴

writer.close()

启动：

Transformer初体验

• 核心组件：编码器-译码器、位置编码、多头注意力机制、前馈网络

• Self-Attention:

查询向量q、键向量k、值向量v、每个字符对应一个向量a

计算Attention-Score

得到输出

可以发现未知的参数只有W。

• **pipeline()**：

• feature-extraction （获得文本的向量化表示）
• fill-mask （填充被遮盖的词、片段）
• ner（命名实体识别）
• question-answering （自动问答）
• sentiment-analysis （情感分析）
• summarization （自动摘要）
• text-generation （文本生成）
• translation （机器翻译）
• zero-shot-classification （零训练样本分类）