WinkeyLin
V2EX  ›  OpenAI

高频低延迟的小模型选型求教

  •  
  •   WinkeyLin · Dec 5, 2025 · 1008 views
    This topic created in 168 days ago, the information mentioned may be changed or developed.

    我正在开发一个消息转发服务,每天大概在 500 条消息左右,每条消息在 500 字符内。我想调用一个小模型来实现文本翻译和简单的内容审核过滤功能,并用 JSON 格式输出处理结果,System Prompt 大概在 1100 Tokens ,请问各位 V 友目前的最佳选择是什么? 国内外模型均可,目前尝试了 Qwen2.5 的 7B 和 14B 模型,感觉差强人意。

    xjzshttps
        1
    xjzshttps  
       Dec 6, 2025
    github 有反向免费版网页版本的 api ,
    这个量可以试试。
    zizon
        2
    zizon  
       Dec 6, 2025
    学习 deepseek 最新思路,拆小.
    不要想着一个调用/prompt 解决一切.
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2693 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 41ms · UTC 11:44 · PVG 19:44 · LAX 04:44 · JFK 07:44
    ♥ Do have faith in what you're doing.