Destilação de conhecimento
Knowledge distillation
Um modelo grande «ensina» um modelo pequeno a fazer a mesma tarefa — ficando uma versão leve e eficiente.
🌿 Na natureza
A árvore-mãe passa o essencial às sementes, que crescem mais adaptadas e com menos custo.
✓ Na prática
É assim que existem versões rápidas e baratas dos grandes modelos — chegam para a maioria dos casos.
Termos relacionados