该项目目标是实现一个既能让深度学习小白也能搞懂,又能服务科研和工业社区的代码库。从代码角度,让世界上没有难读的论文
#自然语言处理# A PyTorch implementation of the Transformer model in "Attention is All You Need".
翻译 - “注意就是您所需要的一切”中Transformer模型的PyTorch实现。
该仓库主要记录 NLP 算法工程师相关的顶会论文研读笔记
#计算机科学# Scenic: A Jax Library for Computer Vision Research and Beyond
翻译 - Scenic:用于计算机视觉研究及其他领域的 Jax 库
#计算机科学# My implementation of the original GAT paper (Veličković et al.). I've additionally included the playground.py file for visualizing the Cora dataset, GAT embeddings, an attention mechanism, and entropy...
翻译 - 我对原始GAT论文的执行(Veličković等)。Jupyter Notebook即将面世,也是一个归纳示例。另外,我还包括了用来查看Cora数据集,GAT嵌入和注意力机制的Playground.py文件。
This is a pytorch repository of YOLOv4, attentive YOLOv4 and mobilenet YOLOv4 with PASCAL VOC and COCO
翻译 - 这是YOLOv4,关注YOLOv4和带有PASCAL VOC和COCO的mobilenet YOLOv4的pytorch存储库
#计算机科学# Implementation of LambdaNetworks, a new approach to image recognition that reaches SOTA with less compute
翻译 - LambdaNetworks的实现,这是一种新的图像识别方法,可以用更少的计算量达到SOTA
Generative Adversarial Transformers
翻译 - 生成的对抗变压器
#计算机科学# An implementation of Performer, a linear attention-based transformer, in Pytorch
翻译 - Pytorch中Performer(基于线性注意的转换器)的实现
My implementation of the original transformer model (Vaswani et al.). I've additionally included the playground.py file for visualizing otherwise seemingly hard concepts. Currently included IWSLT pret...
翻译 - 我对原始变压器模型的实现(Vaswani等)。另外,我还包括了parker.py文件,用于可视化本来似乎很难的概念。当前包括IWSLT预训练模型。
list of efficient attention modules
翻译 - 有效关注模块列表
#大语言模型# Implementation of plug in and play Attention from "LongNet: Scaling Transformers to 1,000,000,000 Tokens"