inference

#计算机科学#  一个整合高效并行技术的AI大模型训练系统。

  OpenAI Whisper语音识别模型，C++移植版本。

#计算机科学#  DeepSpeed Chat: 一键式RLHF训练，让你的类ChatGPT千亿大模型提速省钱15倍

#大语言模型#  A high-throughput and memory-efficient inference and serving engine for LLMs

#安卓#  MediaPipe 是一个跨平台实时、流媒体机器学习解决方案。提供了人脸识别、人体姿势识别与跟踪、物体检测、自拍分割、即时运动跟踪等功能

#安卓#  ncnn 是一个为手机端极致优化的高性能神经网络前向计算框架

#计算机科学#  Faster Whisper transcription with CTranslate2

  🎨 The exhaustive Pattern Matching library for TypeScript, with smart type inference.

#计算机科学#  NVIDIA®TensorRT™是一款用于在NVIDIA GPU上进行高性能深度学习推理的SDK。此存储库包含TensorRT的开源组件。

#自然语言处理#  Large Language Model Text Generation Inference

#计算机科学#  The Triton Inference Server provides an optimized cloud and edge inferencing solution.

翻译 - Triton Inference Server提供了针对NVIDIA GPU优化的云推理解决方案。

#计算机科学#  Hello AI World guide to deploying deep-learning inference networks and deep vision primitives with TensorRT and NVIDIA Jetson.

翻译 - 您好AI World指南，介绍如何使用TensorRT和NVIDIA Jetson部署深度学习推理网络和深度视觉原语。

#自然语言处理#  OpenVINO™ is an open-source toolkit for optimizing and deploying AI inference

翻译 - OpenVINO™工具包存储库

#人脸识别#   💎1MB lightweight face detection model (1MB轻量级人脸检测模型)

#大语言模型#  SGLang is a fast serving framework for large language models and vision language models.

  An easy to use PyTorch to TensorRT converter

翻译 - 易于使用的PyTorch到TensorRT转换器

#自然语言处理#  An easy-to-use LLMs quantization package with user-friendly apis, based on GPTQ algorithm.

#计算机科学#  由腾讯优图实验室开源的高性能、轻量级神经网络推理框架，同时拥有跨平台、高性能、模型压缩、代码裁剪等众多突出优势。

  Pre-trained Deep Learning models and demos (high quality and extremely fast)

翻译 - 预先训练的深度学习模型和样本（高质量且快速）

#IOS#  On-device Speech Recognition for Apple Silicon