C++ Template

Anonymous published on 2025-12-04 included in C-C++

Metaprogramming 就是写一段程序，这段程序可以生成或者修改一段程序，Macro and Template 都是实现 Metaprogramming 的手段。

特化(specialization)和部分特化(Partial Specialization)或者说叫偏特化，都是为了让编译器明确执行路径或者说接口选择

Attention

Anonymous published on 2025-11-24 included in AI-Infra

Bottleneck of Attention in Different Tasks

这个分类并不是完整的，可能只是这几类是 Attention 机制比较场景的应用场景。

Transformer

Anonymous published on 2025-11-21 included in AI-Infra

为什么我还是无法理解transformer The Annotated Transformer

Pytorch

Anonymous published on 2025-11-18 included in AI-Infra

在 Pytorch 语义下，目前理解其中的关键就在于待训练参数和计算逻辑两点，并且这两点共同构成了各种封装好的模块。

以 troch.nn.Linear 为例，可以通过 nn.Parameter 手动创建参数，然后自行创建计算逻辑。但是由于线性计算的需求较为普遍，因此 Pytorch 也直接提供了封装好的线性层模块，按理说这种封装的本质就是在内部实现上用 nn.Parameter 定义权重（weight）和偏置（bias，可选），同时封装“输入特征与权重矩阵相乘 + 加偏置” 的计算逻辑（有待确定）。

CUTLASS

Anonymous published on 2025-10-31 included in HPC

Copy

基础拷贝

4 个线程负责将 4 个数据从 global memory 拷贝至 shared memory

From Disk to Operating System

Anonymous published on 2025-08-09 included in Linux

硬盘分类

接口类型	全称	协议类型	传输速率范围	连接方式	主要特点	典型应用场景
SATA	Serial ATA	AHCI/NVMe	1.5-6 Gbps	7针数据+15针电源	兼容性强，成本低，支持热插拔	家用PC、普通服务器
mSATA	Mini-SATA	AHCI	1.5-6 Gbps	52针接口	SATA的迷你版本，无电源接口	超极本、工业设备
SATAe	SATA Express	AHCI/NVMe	8-16 Gbps	2x SATA+PCIe	兼容SATA和PCIe协议	早期高性能存储过渡方案
M.2	NGFF (Next Gen FF)	SATA/NVMe	6-32 Gbps	M型/B型/M+B型键	支持PCIe通道，体积小巧，可选SATA或NVMe协议	笔记本、高端PC、工作站
U.2	SFF-8639	NVMe	32-64 Gbps	68针接口	支持热插拔，兼容2.5寸硬盘形态	企业级存储、数据中心
PCIe	PCI Express	NVMe	16-128 Gbps	PCIe插槽	直接连接CPU，超低延迟	高性能计算、显卡扩展存储
SAS	Serial Attached SCSI	SCSI	6-24 Gbps	29针接口	全双工，支持多路径访问，高可靠性	企业级服务器、存储阵列
FC	Fibre Channel	SCSI/FCP	16-128 Gbps	光纤接口	超长距离传输（最远10km），支持SAN架构	大型数据中心、云存储
USB	Universal Serial Bus	UAS/BOT	0.48-40 Gbps	Type-A/C等	即插即用，广泛兼容	外置存储、移动设备
Thunderbolt	-	NVMe over PCIe	40-120 Gbps	Type-C接口	支持菊花链拓扑，可传输视频和数据	创意工作站、外置SSD
NVMe-oF	NVMe over Fabrics	RDMA/FC/TCP	25-200 Gbps	多种网络介质	支持远程访问NVMe设备	分布式存储、超融合架构
IDE/PATA	Parallel ATA	ATA	16-133 MBps	40/80针排线	已淘汰，并行传输	2000年前的老旧电脑

上述表格总结的各类接口，还存在着各种类型的协议