V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
vtwoextb
V2EX  ›  分享创造

基于 tornado 写一个调用 Ollama 中的大模型的框架,供参考

  •  
  •   vtwoextb ·
    hizdm · 41 天前 · 1805 次点击
    这是一个创建于 41 天前的主题,其中的信息可能已经有所发展或是发生改变。

    github: https://github.com/hizdm/ollama-llm-api

    [目录]

    .
    ├── app.py               # 项目入口文件
    ├── conf                 # 配置文件目录
    │ └── global.ini         # 基础配置文件
    ├── controller           # 控制层
    │ ├── base.py            # 控制层基类
    │ ├── auth.py            # 认证类
    │ ├── chat.py            # LLM 对话类
    │ ├── embeddings.py      # 编码类
    │ ├── generate.py        # LLM 生成类
    │ ├── prompt.py          # 提示工程类
    │ ├── rag.py             # LLM 检索增强生成类
    │ ├── strategy.py        # LLM 调用策略类( todo )
    │ └── home.py            # 默认首页类
    ├── library              # 基础类库
    │ ├── jwt                # JWT 验证基类
    │ │ └── jwt.py
    │ ├── log                # 日志操作基类
    │ │ └── loghelper.py
    │ ├── mysql              # MySQL 操作基类
    │ │ └── mysqlhelper.py
    │ ├── redis              # Redis 操作基类
    │ │ └── redishelper.py
    │ ├── oracle             # Oracle 操作基类
    │ │ └── oraclehelper.py
    │ ├── neo4j              # Neo4j 操作基类(部分)
    │ │ └── neo4jhelper.py
    │ └── util               # 公共方法工具
    │ └── util.py
    ├── log                  # 日志存放目录
    │ └── log.txt
    ├── model                # 模型层
    │ ├── base.py            # 模型基类
    │ └── llm.py             # LLM 类
    ├── README.md
    ├── requirements.txt     # 框架安装包 pip install -r requirements.txt ( todo )
    ├── router               # 路由分发层
    │ └── urls.py            # 路由分发文件 
    ├── static               # 资源层
    └── template             # 模板层
     └── 404.html            # 404 页面
    

    github: https://github.com/hizdm/ollama-llm-api

    目前尚无回复
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4324 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 01:05 · PVG 09:05 · LAX 17:05 · JFK 20:05
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.