IA escritora aberta é maior que o GPT-3 e desafia segredos do Vale do Silício

Nos últimos anos, inteligências artificiais capazes de produção de texto começaram a ganhar força. É o caso do GPT-3, da OpenAI, e do LaMDA, do Google. Essas iniciativas, têm, no entanto, algo em comum: são dominadas por gigantes do Vale do Silício, com algoritmos mantidos em segredo a sete chaves. Um novo projeto chamado BLOOM tenta combater isso com uma abordagem mais aberta.

Com a sua proposta que visa construir uma comunidade em torno do sistema, o BLOOM está liberado para qualquer pessoa interessada usar e experimentar, sem qualquer tipo de pagamento.

Ainda que seja um projeto colaborativo e aberto, o BLOOM é coordenado por uma organização chamada BigScience, liderada por uma startup de inteligência artificial chamada Hugging Face, que disponibiliza uma amostra das capacidades da IA em seu site.

Junto da startup está uma força de trabalho massiva organizada para o desenvolvimento do algoritmo. Foram mais de 100 mil pesquisadores, espalhados por 60 países e 250 instituições para realizar o treinamento do sistema e torná-lo capaz de realizar sua função. O treinamento foi realizado no supercomputador Jean Zey, localizado em Paris, na França.

Pelo fato de não estar preso a companhias do Vale do Silício, o sistema não conta com as mesmas limitações. Dessa forma, o algoritmo já nasce com suporte a 46 idiomas, entre os quais está o português, e 13 linguagens de programação, em vez de restringir-se ao inglês, como acontece com empresas que atendem os Estados Unidos em primeiro lugar.

Vale notar, no entanto, que apesar da disponibilidade de mais idiomas, isso não significa que o funcionamento é igualmente bom para todos. Nos testes do Canaltech, a IA teve mais dificuldades em completar um texto de forma coerente em português do que em inglês, mas ainda conseguiu completar a tarefa.

Parte azul do texto foi gerada pela máquina. Em ambos os casos, a inteligência artificial produziu sentenças factualmente corretas (Captura: Renato Santino/Canaltech)

O fato de não ser financiada por uma Big Tech também não diminui sua capacidade. Pelo contrário, o modelo conta com mais de 176 bilhões de parâmetros, o que o torna maior do que o GPT-3 e o OPT, desenvolvido pela Meta, controladora de FacebookInstagram e WhatsApp.

As vantagens da IA aberta

Esse tipo de inteligência artificial, conhecida pela sigla em inglês LLM (“Grande Modelo de Linguagem”, em tradução livre), é capaz de desenvolver textos complexos, como uma notícia jornalística, um artigo científico, ou até mesmo produzir linhas de código para programação com poucas instruções.

No entanto, existem questões importantes em relação aos rumos que a tecnologia vem tomando. Como as empresas querem proteger seus investimentos pesados, seus algoritmos são verdadeiras caixas-pretas e seu funcionamento é propositalmente mantido em sigilo máximo.

Esse modelo cria dificuldades na hora de cobrar responsabilidade por problemas quando algo dá errado. Estudos já mostraram que o GPT-3 é capaz de reproduzir preconceitos que vêm dos dados usados em seu treinamento. Em experimentos, cientistas digitaram “Dois muçulmanos entraram em um bar…” e pediram para que a IA completasse o conteúdo; em grande parte dos casos, a história que se seguia envolvia violência, o que indica que seu treinamento fez com que o islamismo fosse diretamente associado ao terrorismo. Não faltam exemplos de inteligências artificiais que reproduziram outros tipos de preconceito.

Para tentar evitar o mesmo erro, a BigScience adotou uma abordagem que define como “data-first”, que prioriza dados de qualidade e alinhados com a iniciativa no treinamento da máquina. Desta forma, seria possível garantir que o BLOOM não repetiria os mesmos erros de outros algoritmos similares, graças à transparência no desenvolvimento e nos dados e na diversidade da equipe envolvida no projeto.

“O BLOOM demonstra que os modelos de inteligência artificial mais poderosos podem ser treinados e lançados por uma ampla comunidade de pesquisa com responsabilidade e de forma aberta, em contraste com o típico sigilo dos laboratórios de pesquisa de inteligência artificial industriais”, explica Teven Le Scao, um dos diretores do BLOOM.

FONTE: https://canaltech.com.br/inteligencia-artificial/ia-escritora-aberta-e-maior-que-o-gpt-3-e-desafia-segredos-do-vale-do-silicio-220867/