out 19

Facebook desenvolve novo sistema de tradução baseado em IA

Tecnologia deve reduzir o caminho para geração de outras versões de um texto; atualmente, qualquer tradução deve passar primeiro pelo inglês

Facebook criou um novo formato de inteligência artificial para tradução. Para quem não sabe, as traduções na plataforma passam do idioma nativo para o inglês, para somente depois serem passadas para outra língua. O novo sistema deve reduzir este caminho, tornando possível a tradução entre dois idiomas sem a necessidade de incluir o inglês neste processo.

A rede social realiza aproximadamente 20 bilhões de traduções todos os dias apenas para o seu feed de notícias. Toda a ação é feita por meio de um conjunto de dados massivo e amplamente disponível para traduções para o inglês. Mas desta forma, perde-se precisão na versão geral e todo o procedimento fica mais complexo.

Facebook está lançando um novo método de tradução que utiliza de IA. Créditos: Alexandra Popova/Shutterstock

Para que este sistema de tradução fosse possível, a plataforma coletou uma grande quantidade de dados disponíveis publicamente ao redor de todo o mundo utilizando de diversas técnicas. Angela Fan, pesquisadora associada do Facebook, explica que este trabalho já é em partes realizado cotidianamente pela empresa. “Muito disso é realmente baseado no trabalho que temos feito por muitos anos em pesquisas no Facebook, que são como todas as diferentes peças de Lego que juntamos para construir o sistema hoje”, afirmou Angela.

De início, a empresa rastreou páginas em toda a web com o objetivo de coletar exemplos de textos. Os idiomas foram identificados com o FastText, que se resume a um sistema de classificação de texto que a própria rede social desenvolveu. “Basicamente, analisa alguns testes e tenta decidir em que idioma está escrito. Então, dividimos um monte de textos da web em todos esses idiomas diferentes e, em seguida, nosso objetivo é identificar frases que seriam traduções”, explicou a pesquisadora.

Depois da coleta, a nova IA contou com o aprimoramento do sistema “Laser”.  “Ele lê frases, pega o texto e cria uma representação matemática desse texto, de forma que frases com o mesmo significado sejam mapeadas para o mesmo pensamento”, disse Angela. “Então, se eu tiver uma frase em chinês e francês, e eles estiverem dizendo a mesma coisa, eles vão se sobrepor – como um diagrama de Venn – a área de sobreposição é o tipo de texto que pensamos ser frases alinhadas”, destacou.

Objetivo é traduzir idiomas diretamente um para o outro sem que seja necessário passar pelo inglês. Créditos: Pathdoc/Shutterstock

Para os idiomas que não possuem grande volume de textos disponíveis na internet, a equipe de pesquisadores do Facebook recorreu a dados monolíngues, que são apenas dados escritos em um único idioma. “Então, se meu objetivo é traduzir do chinês para o francês, mas por alguma razão, não obtenho boa qualidade, então vou tentar melhorar isso tomando textos de dados monolíngues em francês. E o que faço é treinar o reverso do sistema: vou do francês para o chinês. Pego todo o meu francês, por exemplo, da Wikipedia e traduzo para o chinês”, exemplificou a pesquisadora de IA.

A partir deste momento, são gerados dados “sintéticos” pela máquina. “Então, criei este chinês sintético com base no meu francês retro traduzido e vou adicioná-lo novamente ao modelo avançado. Então, em vez de ir do chinês para o francês, eu tenho chinês mais meu chinês sintético suplementado, todos indo para o francês. E, porque isso adiciona um monte de novos exemplos – tanto do lado da entrada quanto do lado da saída – o modelo será muito mais forte”, ressaltou.

Cabe ainda lembrar que a plataforma está lançando o conjunto de dados, o modelo, o treinamento e as configurações de avaliação como código aberto para que outros pesquisadores ajudem a impulsionar a tecnologia. “Eu pessoalmente identifico muitas áreas nas quais podemos precisar melhorar para as linguagens de recursos muito baixos. Para as línguas africanas, somos muito bons em suaíli e afrikaans, poderíamos melhorar muito em línguas como o zulu, e essas línguas têm desafios de pesquisa adicionais que precisamos enfrentar”, concluiu Angela.

A empresa também planeja continuar desenvolvendo o sistema de inteligência artificial de forma independente e, eventualmente, aplicar o recurso em suas operações diárias.

FONTE: https://olhardigital.com.br/noticia/facebook-desenvolve-novo-sistema-de-traducao-baseado-em-ia/108880