Quando a conversa corre mal, quem tem culpa: IA ou utilizador? "Ambos"

"A Inteligência Artificial é uma ferramenta poderosa [...], mas não tem intenção ou vontade ou qualquer tipo de plano malévolo". Pedro Vale, vice-presidente de Engenharia para IA na Cegid, não alinha nas teorias catastrofistas sobre o futuro da IA, mas sublinha a importância da sua regulação, assim como da preparação das pessoas para o uso consciente.

Pedro Vale, CEGID

© CEGID

Anabela Sousa Dantas
25/06/2025 10:45 ‧ há 3 horas por Anabela Sousa Dantas

Tech

Pedro Vale

Uma reportagem publicada recentemente pelo jornal New York Times expunha o testemunho de um homem que questionou o chatbot sobre a 'teoria da simulação' e as respostas não se limitaram a uma simples exposição. Em conversa, acabou por reforçar a crença do utilizador naquela teoria e aconselhou-o, inclusive, a abandonar a medicação que tinha prescrita. 

 

A reportagem originou reações mistas - se, por um lado, se adensam as vozes de aviso e controlo (e, sobretudo, responsabilização) sobre os criadores de Inteligência Artificial (IA), por outro, há quem descreva o enfoque naquele caso como alarmista.

Para compreender melhor este caso, o Notícias ao Minuto entrevistou Pedro Vale, vice-presidente de Engenharia para IA na Cegid. O especialista enfatiza que as "realidades paralelas" já existem nas mais diversas plataformas, admitindo que a IA pode, sim, apresentá-las de uma forma mais persuasiva, uma vez que imita uma interação humana. Ainda assim, identifica a regulação estrita como solução prioritária, mencionando que a UE já categoriza diferentes níveis de risco para IA.

Por outro lado, defende, a qualidade e ética das respostas de IA podem ser asseguradas por um bom crivo de fontes credíveis e validação cruzada por outros modelos.

Pedro Vale comentou, ainda, sobre o potencial da IA em Portugal, a transformação que vai trazer ao mercado de trabalho e as consequentes responsabilidades dos líderes empresariais.

Em aplicações generalistas como o ChatGPT, prever e evitar todos os tópicos problemáticos é quase inatingívelQuem é responsável pelas interações problemáticas com IA — o criador ou o utilizador?

Ambos têm responsabilidade. Por um lado, o utilizador, por obviamente iniciar essa interação. Por outro lado, o criador da IA pelo facto de esta não evitar o tópico problemático ou mesmo, em alguns casos, aprofundá-lo. De realçar que em aplicações generalistas como o ChatGPT, prever e evitar todos os tópicos problemáticos é quase inatingível dado que não há restrição de domínio ou tópicos - qualquer utilizador pode iniciar uma conversa sobre qualquer tópico.

Onde traçamos a linha entre uma resposta empática e uma manipulação emocional programada? É possível traçar?

Creio que haverá sempre uma área cinzenta na fronteira entre as duas, mas é possível definir grande parte dos limites e reduzir a área de incerteza. Essa definição começará do lado da legislação, tal como já acontece com o AI Act da UE e terá de ser implementada e respeitada pelas empresas que fornecem estes modelos. Evitar a manipulação das pessoas através da IA é um dos focos da legislação europeia, havendo pequenas coisas que tornam bastante mais difícil essa manipulação, como a obrigatoriedade de em todas as interações, o utilizador ter de ser informado que está a interagir com um modelo de IA.

As “realidades paralelas” já existem. A IA traz de novo uma forma nova de consumir essa informação [...] - mais persuasivaQuando falamos em questões como a Replika ou Character.ai, cujos problemas são conhecidos, vê um problema real na capacidade da IA em construir uma espécie de "realidade paralela"?

As "realidades paralelas" referidas no artigo já se encontram disponíveis na Internet, em redes sociais, fóruns e sites. A informação já existe. O que a IA traz de novo é uma forma nova de consumir essa informação, através de uma interação conversacional que se aproxima de uma conversa com outra pessoa - logo, mais persuasiva.  

Assumindo que será sempre necessária curadoria humana, pode a IA ser usada como companhia emocional?

Sim, creio que sim, que em determinadas situações a IA pode ser útil nestes domínios. Por exemplo, em casos de ansiedades sociais graves a IA pode ser usada como um parceiro na simulação de cenários sociais.

No caso da IA Generativa, uma técnica é fornecer ao modelo um conjunto restrito de fontes de informação e instruí-lo a responder só com base naquelas fontes de informação.

Que tipo de regulação seria necessária para limitar o uso da IA em contextos que podem alimentar fantasias perigosas ou obsessivas?

O espírito da legislação atual da EU parece-me ajustado, ao dividir as utilizações de IA em 3 níveis de risco e exigindo responsabilidades diferentes aos criadores dos modelos segundo o nível em que estão.

Por exemplo, para utilizações de IA que tenham impacto na vida dos cidadãos, como a classificação de risco de crédito bancário, é necessário que o modelo de IA seja explicável, tem que ser possível explicar porque é que o modelo chegou a determinada conclusão. Assegurar a qualidade dos outputs destes modelos passa por curar e controlar os inputs para os mesmos.

E que mecanismos internos se podem usar para evitar viés e assegurar a qualidade dos outputs?

No caso da IA Generativa, uma técnica é fornecer ao modelo um conjunto restrito de fontes de informação e instruí-lo a responder só com base naquelas fontes de informação. Outras técnicas possíveis seriam fazer passar as respostas por outro modelo instruído para validar as respostas do primeiro antes de responder ao utilizador.

É possível uma IA totalmente autónoma e inteligente (e, portanto, perigosa) como augura a ficção científica? Ou é mesmo só ficção científica?

Creio que é só ficção científica. A IA é uma ferramenta, uma ferramenta poderosa que devemos aprender a utilizar da melhor forma. Mas não tem intenção ou vontade ou qualquer tipo de plano malévolo para dominar o mundo. A atribuição de intenção à IA ou classificá-la de aliada ou inimiga é decorrente da nossa necessidade de antropomorfizar o que nos rodeia. No caso da IA, isso ainda é mais fácil, já que ela exibe características que nós consideramos muito humanas, como a comunicação verbal.

Algumas profissões irão tornar-se menos úteis/relevantes e outras aparecerão no lugar dessas

Puxando para o caso português, poderia haver um melhor aproveitamento de IA para prever incêndios florestais ou outros desastres naturais?

Podia e há algumas aplicações interessantes na previsão da erosão e da permeabilidade dos solos para fins agrícolas. O grande desafio para o sucesso dessas aplicações é existirem dados recolhidos que possam ser usados para fazer essas previsões. É preciso identificar quais os dados relevantes e começar a recolhê-los durante algum tempo para depois então conseguirmos treinar a IA para fazer essas previsões.

Como está a IA está a transformar o mercado de trabalho português? Há risco de impacto?

À semelhança do que aconteceu com a introdução de outras tecnologias de informação, haverá certamente impacto. Algumas atividades/profissões irão tornar-se menos úteis/relevantes e outras atividades aparecerão no lugar dessas.

Quais os aspetos mais críticos que os líderes devem considerar ao integrar IA nos seus negócios? Que responsabilidades têm perante os trabalhadores, sobretudo os de entry-level, cujos trabalhos podem ser substituídos?

Acho que há dois aspetos críticos. Primeiro: mais do que perceber como é que a IA pode ser usada para automatizar/otimizar os processos atuais, pensar em como é que os processos atuais podem ser redesenhados e reimaginados tomando partido das capacidades da IA. A hiper-automação, a capacidade de processamento de grandes volumes de informação em tempo real e a deteção de padrões ocultos que a IA permite abre possibilidades de conseguirmos fazer coisas que antes seriam impossíveis pelo esforço envolvido.

Segundo, trabalhar o sentido crítico e privilegiar este aspeto nos colaboradores da empresa, à medida que os colaboradores começam a delegar a execução de tarefas para a IA, torna-se crucial que tenham sentido crítico para avaliar/criticar as respostas que obtêm. Os líderes devem fazer um esforço consciente para trabalhar este aspecto com os seus colaboradores.

Creio que a responsabilidade de apoiar o colaborador no seu desenvolvimento profissional se mantém igual, apenas a forma como o fazemos é que se vai alterar. Se antes a progressão de entry-level para mid-level era alicerçada na execução das tais tarefas repetitivas que agora podem ser automatizadas, agora essa progressão vai ter de ser apoiada de outra forma - por exemplo., através de um foco renovado em programas internos de mentorado/coaching entre seniores e juniores.

Interfaces baseados em linguagem natural [...] serão a norma nas soluções empresariais nos próximos anos

De que forma a Cegid está a trabalhar em soluções deste género, tanto para outras empresas, como dentro de casa?

A utilização de IA tanto nos nossos processos internos como nos nossos produtos é um foco estratégico da CEGID. Estamos ativamente envolvidos em introduzir IA nos nossos diversos produtos a nível global.

Em Portugal, temos assistentes virtuais baseados em IA Generativa na nossa suite Primavera e também no software PHC. Estes assistentes estão configurados para responder a perguntas sobre o domínio financeiro/gestão e conseguirem fazer análises em tempo real dos dados do utilizador.

A Cegid acompanha a evolução da regulação da UE? Como garantem que os sistemas são seguros, transparentes e regulados?

Sim. A conformidade com a legislação é um ponto fundamental para nós e para as nossas aplicações de IA. Temos pessoas dedicadas a analisarem a legislação e a entenderem que potenciais alterações são necessárias aos sistemas para garantir a conformidade. À medida que as identificamos, estes requisitos passam a ser parte do processo de desenvolvimento de novas aplicações.

Como vê o panorama da IA emocional ou generativa nos próximos anos, especialmente em soluções empresariais?

Vejo que haverá uma introdução continuada e progressiva da IA Generativa no software empresarial. Acho que a IA Generativa nos vai permitir redesenhar não só os processos de negócio mas também a forma como os utilizadores interagem com o software. Interfaces baseados em linguagem natural, interfaces simplificados e contextualizados ao utilizador e à sua situação atual (por exemplo a usar o telemóvel num transporte público) serão a norma nas soluções empresariais nos próximos anos.

Leia Também: Reportagem do NYT levanta questões: Pode a IA alimentar fantasias?

Partilhe a notícia

Escolha do ocnsumidor 2025

Descarregue a nossa App gratuita

Nono ano consecutivo Escolha do Consumidor para Imprensa Online e eleito o produto do ano 2024.

* Estudo da e Netsonda, nov. e dez. 2023 produtodoano- pt.com
App androidApp iOS

Recomendados para si

Leia também

Últimas notícias


Newsletter

Receba os principais destaques todos os dias no seu email.

Mais lidas