ANML中文网

  • 每秒500token的“网红”芯片Groq让人惊叹,但人们开始担心它的可用性

    发布日期:2024-10

    这两天国内外人工智能圈子都在热议Groq:这个硅谷公司的产品基于自研芯片可以做到在大模型推理时每秒处理将近500个token。500个token什么概念,大概就是一句话的响应时间只需要不到2秒,如此这般的文字生成速度,甚至比翻译软件还快。当我们习惯了看GPT们慢悠悠的吐出答案时,第一次 ...... ...

  • 共 1 页/1 条记录