cpu-inference · GitHub Topics

kennethleungty / Llama-2-Open-Source-LLM-CPU-Inference

#自然语言处理#Running Llama 2 and other Open-Source LLMs on CPU Inference Locally for Document Q&A

cpu cpu-inference 深度学习 faiss langchain large-language-models 大语言模型机器学习自然语言处理 Python sentence-transformers transformers ChatGPT language-models llama llama-2

Python 961

1 年前

CoderLSF / fast-llama

Runs LLaMA with Extremely HIGH speed

cpu-inference inference-engine llama llama2

C++ 89

1 年前

rbitr / llm.f90

#大语言模型#LLM inference in Fortran

人工智能聊天机器人 cpu-inference language-model llama llama2 llamacpp 大语言模型 transformer mamba

Fortran 55

9 个月前

jozsefszalma / homelab

#计算机科学#The bare metal in my basement

人工智能 bare-metal cpu-inference hardware-hacking hobby-project homelab 机器学习深度学习 gpu Server

4 个月前

yybit / pllm

#大语言模型#Portable LLM - A rust library for LLM inference

大语言模型 cpu-inference llama2 aigc

Rust 9

1 年前

laelhalawani / gguf_llama

Wrapper for simplified use of Llama2 GGUF quantized models.

cpu-inference gguf llama llama2 llamacpp quantization

Python 6

1 年前

codito / arey

#大语言模型#Simple large language model playground app

人工智能命令行界面 cpu-inference gguf large-language-models llama2 llamacpp 大语言模型 mistral ollama

Python 5

5 个月前

JohnClaw / chatllm.v

#大语言模型#V-lang api wrapper for llm-inference chatllm.cpp

API bindings chatllm gemma ggml llama llm-inference mistral qwen V cpu-inference inference 大语言模型 llms 聊天机器人 phi3 quantization

C 4

4 个月前

JohnClaw / chatllm.vb

VB.NET api wrapper for llm-inference chatllm.cpp

API bindings chatllm cpu-inference gemma ggml int8 llama llm-inference mistral qwen

Visual Basic .NET 4

4 个月前

JohnClaw / chatllm.nim

#大语言模型#Nim api-wrapper for llm-inference chatllm.cpp

API bindings chatllm gemma ggml llama llm-inference mistral Nim qwen cpu-inference inference 大语言模型 llms 聊天机器人 phi quantization

C 3

4 个月前

JohnClaw / chatllm.cs

#大语言模型#C# api wrapper for llm-inference chatllm.cpp

API bindings chatllm C#gemma ggml int8 llama llm-inference mistral qwen cpu-inference inference 大语言模型 llms

C# 3

4 个月前

chinese-soup / cbot-telegram-whisper

Simple bot that transcribes Telegram voice messages. Powered by go-telegram-bot-api & whisper.cpp Go bindings.

Bot Go openai Whisper whisper-cpp cpu-inference speech-recognition speech-to-text

Go 2

2 年前

JohnClaw / chatllm.kt

#大语言模型#kotlin api wrapper for llm-inference chatllm.cpp

API bindings 聊天机器人 chatllm cpu-inference gemma ggml inference Kotlin llama 大语言模型 llm-inference llms mistral quantization qwen

C 1

4 个月前

JohnClaw / chatllm.lua

#大语言模型#lua api wrapper for llm-inference chatllm.cpp

API bindings 聊天机器人 chatllm cpu-inference gemma ggml inference llama 大语言模型 llm-inference llms Lua luajit mistral quantization qwen

Lua 1

4 个月前

JohnClaw / chatllm.rs

#大语言模型#rust api wrapper for llm-inference chatllm.cpp

API bindings 聊天机器人 chatllm cpu-inference gemma ggml inference llama 大语言模型 llm-inference llms mistral quantization qwen Rust

Rust 1

3 个月前

JohnClaw / chatllm.d

#大语言模型#D-lang api wrapper for llm-inference chatllm.cpp

API bindings 聊天机器人 chatllm cpu-inference D gemma ggml inference llama 大语言模型 llm-inference llms mistral quantization qwen

D 1

4 个月前