Garanti
Obtížnost vyhodnocování výstupů velkých jazykových modelů
- Ondřej Bojar
Popis
V přednášce představím úlohu strojového překladu jako historický základ dnešních velkých jazykových modelů. Oblast strojového překladu má světu LLM stále co nabídnout, zejména mnohaleté zkušenosti a doporučení, jak vyhodnocovat kvalitu "generativních výstupů", a jakých metodologických chyb se naopak vyvarovat. Na závěr zmíním naše letošní výsledky vyhodnocování přístupu "LLM as a judge" pro oblast odpovídání na otevřené otázky.