Grandes modelos de linguagem como ChatGPT têm habilidades notáveis ​​para gerar conteúdo com base em dados de treinamento, mas eles têm inteligência real? Descubra mais sobre como LLMs e Chatbots funcionam enquanto exploramos essa questão.

Apresentando:
Cristóbal Valenzuela, o criador do Runway
Mira Murati, o CTO da OpenAI
Apresentado por: Code.org, ETS, ISTE, Khan Academy

Oi, eu sou Mira Murati, chefe do escritório de tecnologia na OpenAI, a empresa que criou o ChatGPT. Eu realmente queria trabalhar com IA porque ela tem o potencial de melhorar praticamente qualquer aspecto da vida e nos ajudar a enfrentar desafios realmente difíceis. Oi, eu sou Cristobal Valenzuela, CEO e co-fundador da Runway. Runway é uma empresa de pesquisa que cria algoritmos de IA para storytelling e criação de vídeos.

Chatbots como o ChatGPT são baseados em um novo tipo de IA, chamado Grandes Modelos de Linguagem (LLM). Em vez de uma rede neural típica, que é treinada para tarefas específicas (como reconhecer rostos ou imagens), um grande modelo de linguagem é treinado com uma enorme quantidade de informações disponíveis na internet. Ele usa esse treinamento para gerar novas informações, como escrever resenhas, poemas, sustentar conversas ou até mesmo escrever códigos. Mas como isso funciona e quais são suas limitações? Embora um chatbot baseado em um grande modelo de linguagem possa parecer mágico, ele na verdade funciona com ideias bastante simples. A maior parte da “magia” da IA é baseada em conceitos matemáticos simples, aplicados bilhões de vezes com o auxílio de computadores rápidos. A IA usa probabilidades para prever o texto que você quer que ela produza, com base nos textos com os quais ela foi treinada.

Agora, imagine que queremos treinar um grande modelo de linguagem para ler todas as obras de Shakespeare e gerar novas peças no mesmo estilo. O primeiro passo seria armazenar todos os textos das peças de Shakespeare letra por letra em uma sequência. Depois, analisar cada letra para ver qual é a mais provável de ser a próxima. Por exemplo, após a letra “I”, as letras mais prováveis de vir a seguir são “S” ou “N”. A partir dessa tabela de probabilidades, a IA pode começar a gerar novos textos. Mas o processo pode ser melhorado. Em vez de considerar apenas uma única letra, podemos treinar a IA para analisar sequências de letras, como sentenças ou parágrafos, para dar mais contexto às suas escolhas. Isso é feito usando uma rede neural, que é inspirada nos neurônios do cérebro. Com o treinamento adequado, a rede neural pode aprender a prever a letra mais provável com base em uma sequência maior de caracteres. Dessa forma, a IA consegue aprender padrões mais complexos e usá-los para gerar novos textos. Isso acontece da mesma maneira, mas agora, as probabilidades são baseadas em todo o contexto do que foi escrito antes.

Agora, sistemas como o ChatGPT fazem isso de forma ainda mais avançada. Eles não são treinados apenas com as obras de Shakespeare, mas com todas as informações disponíveis na internet, incluindo artigos da Wikipedia, códigos do GitHub e muito mais. Além disso, em vez de trabalhar com letras, o modelo trabalha com tokens, que podem ser palavras inteiras, partes de palavras ou até mesmo códigos. E, finalmente, para garantir um bom funcionamento, esses sistemas precisam de muito aprimoramento humano, o que ajuda a evitar problemas como viés ou conteúdo perigoso. Mesmo com todos esses aprimoramentos, é importante notar que o modelo de linguagem ainda usa probabilidades aleatórias para escolher as palavras. Por isso, embora ele possa gerar resultados impressionantes, também pode cometer erros.

Os grandes modelos de linguagem estão gerando resultados incríveis e estão sendo aplicados em muitas áreas, como a criação de aplicativos, websites, filmes, videogames e até mesmo na descoberta de novos remédios. A rápida aceleração da IA terá um grande impacto na sociedade, e é crucial que todos entendam como essa tecnologia funciona. Eu estou ansiosa para ver as coisas incríveis que as pessoas vão criar com a IA e espero que você aprenda mais sobre como ela funciona, explorando o que você pode criar com ela.

Fonte Original: Khan Academy - IA para Educação
Licença: Creative Commons Atribuição-Não Comercial-Compartilha Igual 3.0 (CC BY-NC-SA 3.0 US).