可解释语音特征解释并增强音频模型的脑编码性能

摘要

研究人员利用六个可解释特征族和三个语音基础模型（Whisper、HuBERT、WavLM）构建线性编码模型，量化皮层脑电图（ECoG）响应方差。他们发现，模型与大脑的对齐主要可由简单可解释特征解释，各层在低层和高层特征之间存在系统性权衡，且与大脑相关的语义能力随模型规模和上下文长度增加。研究建议用可解释特征增强SFM嵌入，以构建更准确、高效的脑编码模型。

这里提供经过审核的摘要。完整内容请前往原文阅读。

各行业推荐理由

• 科技与数字产业

  该研究提供了关于语音基础模型与大脑反应对齐的可复现证据，提出提升模型可解释性和效率的方法，对人工智能和数字基础设施发展具有参考价值。