大语言模型概述

来源

原始文档: LLM_models.md

核心内容

大语言模型(LLM)发展概览和主要模型对比。

主要模型

模型分类

闭源模型: - GPT-4/4o - Claude 3/3.5 - Gemini 1.5

开源模型: - Llama 2/3 - Qwen 2 - Mistral - DeepSeek-V3/R1

应用场景

• 文本生成: 文章写作、代码生成
• 对话系统: 客服、助手
• 知识问答: 专业领域问答
• 代码辅助: Copilot、Codeium
• 多模态: 图像理解、视频分析

本地部署

# Ollama 本地运行
ollama run llama3
ollama run qwen2

# llama.cpp 量化推理
./main -m model.gguf -p "Hello"

API使用

# OpenAI API
from openai import OpenAI
client = OpenAI()
response = client.chat.completions.create(
    model="gpt-4",
    messages=[{"role": "user", "content": "Hello"}]
)

关键要点

• 开源模型(Llama、Qwen)性能已接近闭源模型
• 量化技术(4-bit/8-bit)降低显存需求
• 提示工程(Prompt Engineering)影响输出质量
• RAG 结合外部知识库增强模型能力

相关实体

• LLM - 大语言模型
• GPT - Generative Pre-trained Transformer
• Transformer - 注意力机制架构
• AI - 人工智能
• RAG - 检索增强生成