Por Fabio Faria*

O ChatGPT é um produto da empresa OpenAI, lançado em dezembro de 2022, como uma ferramenta de processamento de linguagem natural que é capaz de gerar textos muito próximos aos produzidos por humanos(as) (human-like). Trata-se de um poderoso e complexo modelo de aprendizado profundo (os famosos modelos deep learning) baseado em Transformers compostos de aproximadamente 175 bilhões de parâmetros, treinado com uma gigantesca coleção de dados textuais retirados da internet (sites de notícias, blogs, fóruns e redes sociais) e capaz de responder às mais variadas perguntas realizadas pelos(as) usuários(as) em diferentes idiomas, que vão de simples questões de história do Brasil (quem foi Tiradentes?) às mais complexas, como compor uma música no tema desejado (compor uma canção no estilo samba na temática afinidade entre pai e filho) ou, até mesmo, criar um programa de computador que detecta faces de pessoas na linguagem de programação preferida (código em Python para detectar pessoas utilizando Adaboost Cascade).

Com respostas convincentes e com grande fluência em idiomas variados, o ChatGPT atraiu multidões de usuários(as) ao redor do mundo, totalizando 1 milhão de curiosos(as) usuários(as) em apenas cinco dias. Na imagem abaixo, é possível comparar com outras ferramentas, que levaram muito mais tempo para atingir essa marca.

Entretanto, algo que poucas pessoas perceberam e que até a própria empresa criadora do sistema, a OpenAI, tem alertado são as limitações existentes nesse produto. Dentre suas limitações, estão aquelas listadas pelo próprio ChatGPT após uma consulta em sua plataforma com a frase “Quais são as limitações do ChatGPT?”.

Segundo a resposta do ChatGPT, algumas limitações da ferramenta incluem:

· Conhecimento limitado: o ChatGPT foi treinado com textos disponíveis na internet até 2021, então pode haver informações mais recentes que ele não conheça.

· Compreensão limitada: o ChatGPT pode responder com base nas palavras de uma pergunta, mas nem sempre entende o contexto ou a intenção por trás da pergunta.

· Limitações éticas: o ChatGPT foi treinado com dados que podem incluir informações imprecisas, desatualizadas ou ofensivas, o que pode levar a respostas inapropriadas.

· Falta de explicabilidade: é difícil compreender como o ChatGPT chega a suas respostas, o que pode levar a erros ou problemas éticos.

· Dependência de dados: o ChatGPT depende de dados de treinamento de qualidade para produzir respostas precisas, então pode haver problemas se esses dados forem insuficientes ou distorcidos.

Devido a tais limitações, problemas para a sociedade podem emergir com o uso indiscriminado dessa tecnologia e também podem ser listados pela própria plataforma após consulta com a frase “Sua ampla utilização pode trazer problemas para nossa sociedade?”.

Segundo o próprio ChatGPT, a resposta é sim. Alguns desses problemas incluem:

· Desinformação: modelos como o ChatGPT são alimentados com informações existentes na internet, o que pode incluir informações desatualizadas, imprecisas ou falsas. Isso pode levar à desinformação e à propagação de ideias equivocadas.

· Propagação de preconceitos: modelos de linguagem treinados com dados históricos podem replicar preconceitos existentes na sociedade. Isso pode perpetuar discriminação e outras formas de exclusão.

· Exacerbação da polarização: o uso excessivo de algoritmos como o ChatGPT pode levar a uma exposição seletiva às informações e opiniões, o que pode exacerbar a polarização e a divisão na sociedade.

· Desemprego: a automatização de funções humanas, incluindo o atendimento ao(à) cliente e a geração de conteúdo, pode levar ao desemprego em larga escala.

· Falta de privacidade: o uso excessivo de algoritmos como o ChatGPT pode levar a uma coleta excessiva de dados pessoais, o que pode prejudicar a privacidade das pessoas.

As conhecidas limitações da tecnologia e os problemas causados pela sua utilização para os mais diversos propósitos têm causado grande preocupação para a sociedade mundial, e na área da educação não é diferente. Professores(as) de diferentes níveis (fundamental, médio e superior) no Brasil começam a notar que o ChatGPT já parece fazer parte da rotina de estudo de seus(as) alunos(as), sendo adotado como uma espécie de ferramenta “oráculo” e, por consequência, fazendo com que esses(as) estudantes aceitem as respostas devolvidas pela ferramenta como “verdades absolutas”, sem qualquer senso crítico, mesmo sabendo dos riscos de imprecisões e erros que possam conter nas respostas. É nesse momento que mora o perigo!

E, com essa preocupação, foi realizada mais uma consulta ao ChatGPT: “quais os problemas que o ChatGPT pode trazer para a educação dos(as) jovens?”.

Segundo a resposta da ferramenta, o ChatGPT, como todas as ferramentas tecnológicas, tem limitações que podem afetar a educação dos(as) jovens. Alguns desses problemas incluem:

· Falta de contexto: o ChatGPT pode responder com base apenas na informação que lhe é fornecida, sem levar em consideração o contexto mais amplo. Isso pode levar a respostas equivocadas ou incompletas.

· Falta de habilidades críticas: o ChatGPT não é capaz de ensinar habilidades críticas, como pensamento crítico, resolução de problemas e tomada de decisão. Essas habilidades são fundamentais para a educação dos(as) jovens.

· Limitado à informação disponível: o ChatGPT é alimentado com informações que existem na internet. Essas informações podem estar desatualizadas ou ser imprecisas, o que pode levar a informações equivocadas sendo transmitidas.

· Falta de interação humana: a interação humana é importante para o desenvolvimento emocional e social dos(as) jovens. O ChatGPT não pode proporcionar essa interação, o que pode afetar o desenvolvimento dessas pessoas.

E a ferramenta ainda finaliza com a frase: “é importante lembrar que o ChatGPT é uma ferramenta útil, mas não deve ser utilizado como substituto da interação humana e da educação tradicional”.

Com esse último alerta, é importante finalizar recomendando aos(às) estudantes que utilizem essa poderosa tecnologia com sabedoria, responsabilidade e parcimônia, pois assumir que suas respostas (sem referências) estão 100% corretas pode ser um grande equívoco e pode trazer graves consequências para sua aprendizagem. Por isso, essa tecnologia deve ser utilizada apenas como uma ferramenta de auxílio, que pode oferecer indícios e caminhos para uma primeira pesquisa de conteúdo, mas outras fontes mais confiáveis, como livros e artigos publicados em bons veículos científicos, devem ser consultadas e citadas em seus trabalhos. Bons estudos!

*Professor e pesquisador da área de Inteligência Artificial do curso de Ciência da Computação do Instituto de Ciência e Tecnologia (ICT/Unifesp) - Campus São José dos Campos

As opiniões expostas nos artigos são de responsabilidade do(a) autor(a) e não expressam a posição oficial da universidade