Atualmente Vazio: R$0.00
Sobre a Aula
Visão geral rápida das coisas que grandes modelos de linguagem fazem bem e das coisas que eles não fazem tão bem — ainda.
O que devo esperar?
Grandes modelos de linguagem como o ChatGPT da OpenAI são programas de computador que foram treinados em enormes conjuntos de dados para extrair significado do texto e produzir linguagem. Esses modelos podem fazer algumas coisas muito bem, mas também têm algumas limitações!
Você provavelmente não tentaria usar uma chave de fenda para martelar um prego, certo? Quando usamos ferramentas de chatbot baseadas em LLM para tarefas para as quais foram projetadas, obtemos resultados muito melhores!
O que os LLMs fazem bem?
Bom: Processador de linguagem
Grandes modelos de linguagem são ótimos para extrair significado da linguagem. Eles não “entendem” texto no sentido humano, mas podem ingeri-lo e dar sentido a ele, mesmo que esteja escrito de uma forma que não seja perfeitamente clara. Eles foram treinados com tantos dados que aprenderam a reconhecer padrões e, a partir desses padrões, o significado das palavras no contexto.
Simplificar e resumir textos longos e complexos é um dos superpoderes da IA. Ela é boa para extrair conclusões importantes, mas é sempre uma boa ideia verificar duas vezes se ela deixou passar pontos críticos!
Bom: Gerador de texto
Grandes modelos de linguagem também são bons em gerar texto. Eles podem pegar um prompt e escrever um parágrafo ou até mesmo um artigo inteiro que parece ter sido escrito por um humano — um humano com habilidades gramaticais realmente boas!
Bom: Parceiro de brainstorming
Os professores já estão usando LLMs para ajudá-los a ter ideias para suas salas de aula! Dado um pedido claro e alguns exemplos, os LLMs podem gerar múltiplas variações de ideias, como possíveis atividades de classe, declarações de tese interessantes ou rascunhos de perguntas de quiz.
Em que os LLMs não são tão bons?
Não tão bom: Eles inventam coisas!
Embora grandes modelos de linguagem possam processar bem a linguagem em tópicos comuns, às vezes eles dão informações erradas, o que muitas vezes parece que eles estão inventando coisas. Pessoas no negócio de IA e LLM chamam isso de “alucinações”. Isso pode acontecer por uma série de razões:
-
Dados de treinamento defeituosos: Os enormes conjuntos de dados nos quais os LLMs são treinados podem conter milhões de palavras e geralmente vêm de uma variedade de fontes, incluindo artigos, livros, a Internet e até mesmo postagens em mídias sociais. Se os dados de treinamento contiverem imprecisões, o modelo herdará esses erros. Se os dados de treinamento forem confusos ou inconsistentes, a IA pode inferir padrões que não existem de fato ou interpretar mal as informações.
-
Dados de treinamento antigos: Pode levar muito tempo para reunir dados nos quais treinar um modelo, e leva tempo para realmente fazer o treinamento. LLMs não podem ser simplesmente “atualizados” com “o que quer que seja novo na internet”. Então, o modelo não saberá nada sobre coisas que ocorreram no passado recente — às vezes até dois anos atrás. Quando os dados de treinamento de um LLM não fornecem uma base para uma resposta baseada em fatos, o LLM terá alucinações. Alguns mecanismos de busca estão trabalhando nisso conectando modelos à internet, mas você não deve presumir que todo modelo com o qual você interage tem essa capacidade.
Não sou tão bom em matemática!
Grandes modelos de linguagem não fazem cálculos por si só. Quando LLMs são solicitados a gerar matemática, eles a geram da mesma forma que geram texto: probabilisticamente. Por causa disso, eles podem às vezes cometer erros ao trabalhar com aritmética simples ou conceitos matemáticos mais avançados.
Erros também podem acontecer quando o modelo é solicitado a gerar texto que inclui números ou cálculos. Se os dados de treinamento contiverem cálculos incorretos, o modelo pode replicar esses erros. Por exemplo, o modelo pode dizer que.
Não tão bom: sites falsos e outras “alucinações”
Conforme mencionado acima, se um LLM não tiver os dados necessários para gerar uma resposta correta, ele pode inventar uma convincente — essas “alucinações” podem acontecer com frequência:
- Sites falsos: pode levar você a um URL, mas a página da web não existe de fato.
- Sites errados: pode fornecer um link para um site completamente alheio ao tópico.
- Citações falsas: podem fornecer como fonte uma obra que nunca existiu, ou alegar que dois autores reais que nunca colaboraram são coautores de um estudo, ou inventar nomes falsos para autores, ou títulos falsos para artigos, estudos de pesquisa ou livros!
Não tão bom: Não tem um entendimento profundo de conceitos especializados
Embora grandes modelos de linguagem possam processar bem a linguagem em tópicos comuns, eles nem sempre são tão eficazes ao discutir os detalhes de conceitos altamente especializados. Por exemplo, eles podem ter dificuldade para identificar e explicar com precisão as nuances de um procedimento médico complexo. Quando pressionados, eles começarão a inventar coisas (veja abaixo).
Não tão bom: Não tem seu contexto
Isso pode parecer óbvio, mas os modelos não têm todas as informações sobre você e seu ambiente. Se você é um aluno ou professor em uma escola, o modelo não sabe sobre a sequência de aulas desta semana, quem está tendo um dia ruim ou que você nunca entendeu realmente aquela ideia em ciências. Então, ele pode sugerir ideias ou gerar uma escrita que não faça sentido para você ou sua classe.
Resumo: Não confie! Verifique!
LLMs são ferramentas de produtividade especializadas: aprenda a usá-las para ajudar você a ser mais produtivo. Não peça respostas para coisas que eles não podem saber, ou eles vão inventar coisas. Colabore com eles, mas não dependa deles para criar.
Estar prevenido vale por dois: a única maneira de se proteger contra as alucinações de um LLM é criar o hábito de verificar os fatos de tudo o que ele lhe diz.
Conclusão: No geral, modelos de linguagem grandes são bons em entender a linguagem, gerar texto e responder perguntas. No entanto, eles têm dificuldade em entender conceitos e raciocínios complexos. Eles também não têm “julgamento”.
À medida que esses modelos continuam a se desenvolver, eles podem melhorar nessas áreas!
Fonte Original: Khan Academy - IA para Educação
Licença: Creative Commons Atribuição-Não Comercial-Compartilha Igual 3.0 (CC BY-NC-SA 3.0 US).