faster-whisper语音转写实战指南:GPU配置、性能调优与落地避坑全解析
我第一次接触faster-whisper是在一个会议录音转写的项目里。当时手头跑着原版Whisper,速度慢得让人想砸键盘,一小时音频要等上大半天。后来同事丢给我一个链接说“试试这个”,我就此掉进了f...
我第一次接触faster-whisper是在一个会议录音转写的项目里。当时手头跑着原版Whisper,速度慢得让人想砸键盘,一小时音频要等上大半天。后来同事丢给我一个链接说“试试这个”,我就此掉进了f...
我接触SD.Next图像生成界面是从一次本地部署开始的。这个界面把文生图、图生图、参数调节和结果管理放在一个Web页面里,入口清晰,适合想认真玩AI绘画的人。下面我按自己的使用习惯,把界面定位、启动入...
1.1 从手工提示词到声明式LLM程序 我最早做LLM应用的时候,每天的工作就是和提示词死磕。改一个字,跑一遍测试,看看效果有没有变好;不行就再改,加个“请仔细思考”,删个“务必”,换种措辞再来一轮。...
1.1 推理框架背景与TensorRT-LLM的定位 我最早接触大模型推理部署那会儿,大家手头的选择其实不多。想把一个训练好的模型跑起来,要么直接用HuggingFace的generate()慢慢磨,...
我记得第一次在树莓派上跑语音识别的时候,那叫一个折腾。Python环境装了一堆依赖,模型加载慢得让人怀疑人生,内存直接飙到报警。后来朋友丢给我一个链接,说“你试试Whisper.cpp”。我当时还犯嘀...
from guidance import models, gen lm = models.OpenAI("gpt-3.5-turbo") result = lm + "请生成一个城市名称:" + ge...
我平时整理资料有个习惯:课件、PDF、会议纪要、项目文档都堆在本地文件夹里,真要用的时候又得靠文件名和记忆翻找。接触到AnythingLLM桌面知识库后,我把它理解成“给本地资料加一层能对话的检索入口...
第一次打开Fooocus的时候,我其实有点懵。界面上东西不少,但说不上复杂,更像是有人把一堆专业工具收拾得整整齐齐摆在你面前,等你上手。我用了大概两三周才把每个角落摸清楚,现在回头看,这章内容要是早点...
1.1 项目定位:从单张人像到口型驱动视频 我第一次接触SadTalker的时候,最直接的感受就是"省事"。手头只有一张照片、一段录音,扔进去就能出来一个会说话的人像视频,这件事放在几年前我想都不敢想...
我在一台没有独立显卡的旧笔记本上第一次跑起本地大模型,用的就是llama.cpp。那种感觉挺实在:不用装一堆Python依赖,编译完几个可执行文件,塞进一个GGUF模型就能对话。这个项目由Georgi...