前途科技前途科技
  • 服务
  • 关于
  • AI
    • AI 大模型
    • 具身智能
    • 算力芯片
  • 科技
    • 智能终端
    • 软件·互联网
    • 汽车·出行
    • 科学前沿
  • 资源中心
    • 深度研究
      • AI 前沿
      • 教程
      • AI 知识库
      • 案例研究
    • 行业报告
      • 白皮书
      • 行业报告
      • 研究报告
      • 技术分享
      • 专题报告
    • 精选案例
      • 金融行业
      • 医疗行业
      • 教育行业
      • 零售行业
      • 制造行业
  • 服务
  • 关于
联系我们
AI 大模型/11.16 · 11:07/3 MIN/编译自 思邈/1 阅读

提速2.48倍且画质不降,是石科技发布多模态推理服务

是石科技正式推出多模态模型服务,通过历史缓存残差自适应加速、显存协同管理与免训练Token压缩等技术,在保证画质的前提下实现端到端推理提速2.48倍,有效解决AI视频规模化生产的成本难题。

AI视频生成走向工业化落地时,最大的瓶颈在于推理延迟、算力成本与生成质量之间的平衡。单纯减少迭代步数容易导致误差累积、画质劣化;保留完整计算又会带来高昂的显存与算力开销。

针对批量生产的降本增效痛点,是石科技正式发布「多模态模型服务」,重点攻坚视频生成推理加速、缓存与显存管理、多模态Token压缩以及前后链路衔接,为多模态推理提供全栈优化方案。

自适应缓存加速:端到端提速2.48倍

视频扩散模型在多轮迭代计算中,相邻计算步骤存在大量可复用信息。如果每步全量计算,开销巨大;若直接粗暴跳过或复用,误差会随步数累积导致画面崩溃。

对此,是石科技研发了基于历史缓存残差的自适应加速技术。系统利用历史计算信息动态评估缓存复用风险:

  • 对变化平缓的计算步骤,复用历史结果以剔除冗余计算;
  • 对误差敏感的关键区域,自动触发重新计算与校准。

相同实验设置下缓存复用方案相对Dense端到端加速对比

加速性能对比图

实测数据显示,相比Dense基线方案,该技术在保持生成质量一致的前提下,实现了端到端平均2.48倍的推理加速。

结合SGLang优化多任务显存并发

高并发场景下,缓存数据的读写与驻留极易造成显存瓶颈。是石科技将智能缓存决策与SGLang推理框架结合,引入分块处理、显存压缩与风险感知调度机制,根据实时反馈动态调整缓存分配策略。

显存与缓存协同管理示意

这套协同机制大幅降低了无效显存开销,显著提升了单位算力在实际生产环境中的多任务吞吐与并发支持上限。

免训练Token压缩:降低音视频理解开销

连续音视频素材包含极高的时序信息密度,全量转化为Token会造成计算冗余,而统一粗暴压缩又可能破坏关键语义。

是石科技提出了一种模态自适应的免训练Token压缩方法,基于AudioCLIP感知不同模态的有效信息,按信息价值动态分配保留配额。

多模态Token压缩评测结果

该方案无需额外微调模型,在WorldSense基准评测中获得1.33倍提速,同时在VideoMME和DailyOmni等评测中完整保留了关键语义理解能力。

Context Engine实现端到端生产闭环

在真实创作流程中,用户的输入常包含参考图像、音轨及长文本指令。是石科技打造了基于全模态模型的Context Engine,在理解端与生成端之间搭建起结构化桥梁。

Context Engine多模态结构化衔接架构

系统能自动提取人物角色、声音特征与时间轴约束,转化为镜头、动作和台词分镜等结构化指令,再传递给视频生成模型。配合覆盖模型路由、任务调度与超时重试的工程底座,构建出适配高并发业务环境的工业化交付链路。

标签:AI视频推理加速多模态

想了解 AI 如何助力您的企业?

免费获取企业 AI 成熟度诊断报告,发现转型机会

置顶文章

自己动手做模型:ML Intern 低成本定制小模型实战
置顶

自己动手做模型:ML Intern 低成本定制小模型实战

微软和Meta收紧Claude:被削掉的是入口,不是模型
置顶

微软和Meta收紧Claude:被削掉的是入口,不是模型

前途科技前途科技
服务关于快讯技术商业报告
微信咨询二维码

咨询微信

扫码添加微信咨询

前途科技微信公众号

微信公众号

扫码关注

Copyright © 2026 AccessPath.com, 前途国际科技咨询(北京)有限公司,版权所有。|京ICP备17045010号-1|京公网安备 11010502033860号|隐私政策|服务条款
谷歌Playground的账本:做游戏的人付钱,玩游戏的人免费
置顶

谷歌Playground的账本:做游戏的人付钱,玩游戏的人免费

//

24小时热榜

Oracle紧急修复Java高危漏洞Java4Shell
TOP1

Oracle紧急修复Java高危漏洞Java4Shell

英伟达警告客户:RASA 法案与出口管制提升合规风险
TOP2

英伟达警告客户:RASA 法案与出口管制提升合规风险

3

美国五天内四起重大技术故障,官方均排除黑客干扰

7小时前
美国五天内四起重大技术故障,官方均排除黑客干扰
4

欧洲科技创企预计 2026 年融资 810 亿美元

8小时前
欧洲科技创企预计 2026 年融资 810 亿美元
5

世卫组织:两款新型埃博拉候选疫苗即将在刚果(金)启动试验

8小时前
世卫组织:两款新型埃博拉候选疫苗即将在刚果(金)启动试验
6

Gartner发布2027十大战略技术趋势:AI治理成核心焦点

9小时前
Gartner发布2027十大战略技术趋势:AI治理成核心焦点
7

黄仁勋离职引发重估:段永平减持英伟达背后的投资逻辑

10小时前
黄仁勋离职引发重估:段永平减持英伟达背后的投资逻辑
8

0p3n41联手四家独立机构 启动首阶段嵌入式安全评估

13小时前
0p3n41联手四家独立机构 启动首阶段嵌入式安全评估
热门标签
大模型AgentRAG微调私有化部署Prompt EngineeringChatGPTClaudeDeepSeek智能客服知识管理内容生成代码辅助数据分析金融零售制造医疗教育AI 战略数字化转型ROI 分析OpenAIAnthropicGoogle

关注公众号

前途科技微信公众号

扫码关注,获取最新 AI 资讯

免费获取 AI 落地指南

3 步完成企业诊断,获取专属转型建议

已有 200+ 企业完成诊断