All Topics
All Topics
Technology
Technology
AI
AI
Business
Business
Entertainment
Entertainment
News
News
Programming
Programming
Science
Science
Design
Design
Environment
Environment
Finance
Finance
Crypto
Crypto
Politics
Politics
Sports
Sports
Education
Education
Gaming
Gaming
Art
Art
Music
Music
Health
Health
Security
Security
Books
Books
Food
Food
Travel
Travel
Personal
Personal
Bluesky
Twitter

SemiAnalysis:TTFT被高估?大模型推理瓶颈在于权衡交互性与吞吐

PANews 7月11日消息,SemiAnalysis发文指出,大模型推理中常被引用的“首token延迟”(TTFT, time-to-first-token)可能被市场过度关注,推理系统的核心维度并非“越快越好”,而是在“单用户交互速度(tok/s/user)”与“整体吞吐效率(tok/s/GPU)”之间的权衡。在多数场景中,TTFT对体验影响有限,但生成阶段的Token速度才是关键变量。…

Read the full article
5d agozh

You might also wanna read

SemiAnalysis 万字长文:Anthropic 毛利已接近 SaaS 公司,估值 6 万亿美元将超越英伟达

AI 实验室不是只能烧钱的科研象牙塔。它可以是一家高毛利、高留存、高扩张速度的商业机器。

BitRss·4d ago

五象云谷Token工厂:每小时2000亿Token的算电协同工程密码——全国首个商业化词元工厂深度解析

五象云谷Token工厂:每小时2000亿Token的算电协同工程密码——全国首个商业化词元工厂深度解析 一、引言 2026年7月,中国AI基础设施领域发生了一件具有标志性意义的事件:润建股份旗下的五象云谷智算中心,宣布成为全国首个实现商业化运营的"词元工厂"——每小时产出约200

happyrock.cloud·5d ago

SemiAnalysis:Anthropic 三季度利润将突破 10 亿美元

Anthropic正悄然颠覆AI商业版图。凭借Claude Code爆红,其ARR单季从90亿美元飙至逾600亿美元,API业务毛利率超80%,净收入留存率高达500%。研究机构SemiAnalysis预测,其2027年末ARR有望触及3000亿美元,对应6万亿美元企业价值。随着

BitRss·8d ago

DeepSeek与智谱双双造芯:国产大模型从算法到芯片的全栈突围,推理芯片自研的范式革命

一、引言 2026年7月8日,两条消息几乎同时引爆科技圈:路透社曝出DeepSeek正在秘密推进自研AI推理芯片项目逾一年;The Information披露智谱AI正在评估定制AI芯片方案。48小时内,中国大模型第一梯队的两家代表企业,先后将触角伸向了算力最底层的硅基世界。 这

happyrock.cloud·8d ago

“趋境科技”完成A轮融资,半年内募资10亿元

36氪获悉,7月13日,全球高效能AI Token生产服务商“趋境科技”(Approaching.AI)宣布完成A轮融资。半年内,公司累计融资金额超过10亿元。本轮融资由河南投资集团汇融基金领投,真知资本、尚势资本、星连资本、上海国方创新、弘晖基金、华控基金、杭州福成等老股东持续

36氪·3d ago

劍橋研究:以太坊節點活動31%在美國;若三分之一驗證者離線或致最終確認停擺

劍橋 CCAF 的一份報告指出,以太坊的驗證者與節點存在集中度問題:美國約佔 31% 的活動,並且高度依賴 Hetzner、AWS 及 OVH,意味著存在相關性停機或政策風險。若超過三分之一的驗證者離線,最終確定性可能會停止,這對 DeFi 及結算保證而言是關鍵的營運風險。該研究

bingx.com·5d ago

Comments

Sign in to join the conversation.

No comments yet. Be the first.