动手日记

翻译用了几秒,等模型却花了十几秒

同一段文字拆开计时以后,我才知道自己一直在等的,主要是模型加载。

九月十八日,我又问了一次,本地翻译为什么这么慢。点了按钮以后等十几秒,屏幕上都是处理中的样子。我也说不清,到底是哪一步慢。

这次没有马上换模型,而是把同一段文字的处理时间拆开看。27B 那次总共约 16.2 秒,其中加载模型约 12.1 秒,真正生成文字约 3.7 秒。12B 那次总共约 8.5 秒,也有大半时间花在加载上。

每翻译一次,程序都重新把模型准备一遍。原来我觉得它翻译慢,有相当一段时间,它根本还没开始翻。

让模型一直待在显卡里,下一次当然可以省去加载。可我还要做转写、跑 Qwen,也不想把显存一直留给翻译。快一点要付出什么,这时候才看清楚。

我还顺手提了一个小要求:源语言先选自动检测。中文英文我自己知道,没必要每次进来再选一次;要翻成哪种语言,仍然由我选。一天用几次以后,这种小改动就会有感觉。

接着读