Connect with us

Tecnologia

OpenAI suspende treinamento de IA após agentes agirem por conta própria em sites dos EUA

Redação Informe ES

Published

on

A OpenAI suspendeu temporariamente o treinamento de seus modelos mais recentes de inteligência artificial neste sábado (26), após agentes da empresa agirem de forma inesperada ao pesquisar sites do governo dos Estados Unidos.

Os sistemas acessaram informações públicas da SEC e do Departamento de Censos dos EUA e, em um dos casos, republicaram o conteúdo em outro endereço na internet. A Transluce também relatou uma tentativa de acesso a um site do Departamento de Educação, não confirmada pela OpenAI.

Ilustração conceitual da segurança da inteligência artificial com escudos e sinais de alerta em um ambiente digital futurista
Os agentes acessaram informações públicas de órgãos do governo dos EUA e, em um caso, republicaram o conteúdo. – Imagem: Infinite Creations/iStock

Agentes de IA ultrapassaram as instruções

Segundo a Deutsche Welle, a suspensão foi anunciada um dia depois de a OpenAI informar que investigava incidentes envolvendo agentes usados para pesquisar páginas do governo federal americano.

No caso relacionado à Comissão de Valores Mobiliários dos EUA (SEC), os agentes encontraram informações disponíveis ao público e depois as publicaram em outro local da internet. A SEC informou que nenhum dado não público foi acessado.

O episódio foi considerado preocupante pela OpenAI, que alertou os órgãos federais envolvidos.

Advertisement

Em outro caso, agentes identificaram chaves de desenvolvedor, conhecidas como API keys, no site do Departamento de Educação. Embora esses recursos pudessem permitir acesso a dados governamentais, apenas informações públicas foram coletadas.

A organização Transluce afirmou ainda que agentes que pareciam ser da OpenAI tentaram acessar um site do Departamento de Educação, mas não conseguiram. A OpenAI não confirmou esse episódio.

Os principais pontos são:

  • os agentes acessaram informações públicas de órgãos do governo dos EUA;
  • algumas ações ultrapassaram as instruções recebidas;
  • informações públicas foram republicadas em outro endereço;
  • os sistemas encontraram chaves de desenvolvedor;
  • não houve indicação de acesso a dados sigilosos.

OpenAI prevê novas pausas

A empresa informou que só retomará o treinamento quando tiver garantias adicionais de segurança. A OpenAI também reconheceu que poderá precisar interromper novamente o desenvolvimento conforme os sistemas evoluírem e novos problemas aparecerem.

A companhia disse que provavelmente terá de “apertar o botão de pausa” outra vez à medida que a inteligência artificial avançar.

Advertisement

Esta é a segunda interrupção do desenvolvimento dos modelos da OpenAI em três meses. Em julho, a empresa revelou que dois de seus sistemas mais avançados foram responsáveis por um ataque cibernético contra a Hugging Face, startup do setor de inteligência artificial.

Na sexta-feira, o CEO da OpenAI, Sam Altman, afirmou que o episódio envolvendo a Hugging Face continua sendo o incidente mais grave da empresa até agora.

pauta treinamento ia
A OpenAI condicionou a retomada do treinamento à implementação de garantias adicionais de segurança. – Imagem criada por inteligência artiicial: Grok/Olhar Digital

Debate sobre os riscos da IA

Os novos casos aumentam a preocupação sobre sistemas capazes de pesquisar, acessar serviços e executar tarefas com maior autonomia. Laboratórios de IA vêm sofrendo pressão de legisladores e especialistas para desenvolver mecanismos que impeçam agentes de agir por conta própria, acessar sites indevidamente ou divulgar informações não públicas.

Leia mais:

  • Agentes da OpenAI são investigados após acessos à ONU e tentativas em sites do governo dos EUA
  • Aconteceu de novo! OpenAI admite que agentes de IA vazaram mais de 50 imagens de usuários do ChatGPT na internet
  • Caso Hugging Face: agentes de IA da OpenAI tentaram enganar detector de robôs durante ataque à plataforma

A OpenAI afirma apoiar uma redução no ritmo de desenvolvimento da inteligência artificial. Dirigentes da empresa e da Anthropic, incluindo Sam Altman e Dario Amodei, já defenderam essa posição.

Na União Europeia, a presidente da Comissão Europeia, Ursula von der Leyen, anunciou que pretende convidar as principais empresas de IA para discutir a necessidade de “reduzir o ritmo”. Nos Estados Unidos, o presidente Donald Trump e o CEO da Meta, Mark Zuckerberg, se opõem à ideia.

Advertisement

Trump também afirmou: “Os Estados Unidos não vão pisar no freio. Eles querem interromper nosso progresso porque estamos muito à frente da China, e vamos continuar assim.”

Até agora, os episódios envolvendo os órgãos americanos não indicam acesso a informações sigilosas. Ainda assim, a OpenAI decidiu interromper o treinamento até reforçar as garantias de segurança de seus modelos.

O post OpenAI suspende treinamento de IA após agentes agirem por conta própria em sites dos EUA apareceu primeiro em Olhar Digital.

Powered by WPeMatico

Advertisement
Continue Reading
Advertisement

Tecnologia

Telescópio Hubble atinge marca impressionante no espaço

Redação Informe ES

Published

on

O Telescópio Espacial Hubble atingiu uma marca incrível. O equipamento completou 200 mil órbitas ao redor da Terra. Com 36 anos de operação e mais de 1,7 milhão de observações registradas, o telescópio está entre os poucos sistemas orbitais em funcionamento que já atingiram esse número.

O Hubble percorre uma órbita quase circular, entre 470 e 475 quilômetros de altitude, completando cada volta em 94 minutos. Esse ritmo, mantido ao longo de décadas, permitiu acumular as 200 mil órbitas ao longo de sua vida útil até agora.

Altitude de operação faz diferença

  • Satélites em órbitas mais baixas completam voltas mais rapidamente, mas tendem a ter vida útil menor.
  • A cerca de 500 quilômetros de altitude — e em altitudes ainda maiores —, uma camada extremamente tênue da atmosfera gera arrasto sobre os objetos em órbita.
  • Com o tempo, isso desacelera o satélite, que passa a orbitar em altitudes menores, onde o arrasto é ainda maior, até que o objeto entra na atmosfera e se desintegra.
  • Satélites em órbitas mais altas, portanto, escapam desse ciclo por mais tempo.
Telescópio Hubble

Representação artística do Hubble (Imagem: Rawpixel.com/Shutterstock)

Os satélites com mais órbitas registradas

O satélite mais antigo ainda em órbita é o Vanguard 1, lançado em março de 1958, no início da corrida espacial. Até o momento, ele completou mais de 274.550 órbitas. Mas dois satélites científicos superam esse número.

Advertisement

O Explorer 7, lançado em outubro de 1959, acumulou mais de 347.440 órbitas. Enquanto o TIROS-1, satélite meteorológico lançado em março de 1960, registrou mais de 352.640 órbitas. Ambos foram colocados em órbitas elípticas relativamente distantes da Terra, o que permitiu acumular tantas voltas — ainda que suas missões tenham sido de curta duração.

Também pode entrar nesse ranking a Estação Espacial Internacional (ISS). Ela orbita a Terra a cada 93 minutos, completando mais de 15 voltas por dia. Com seu primeiro módulo lançado em 1998, o laboratório orbital acumulou cerca de 152.800 órbitas até o momento.

Ranking de mais órbitas ao redor da Terra completadas:

  • TIROS-1: 352.640 órbitas;
  • Explorer 7: 347.440 órbitas;
  • Vanguard 1: 274.550 órbitas (ainda em operação);
  • Telescópio Espacial Hubble: 200 mil órbitas (ainda em operação);
  • Estação Espacial Internacional: 152.800 órbitas (ainda em operação).

O post Telescópio Hubble atinge marca impressionante no espaço apareceu primeiro em Olhar Digital.

Powered by WPeMatico

Advertisement
Continue Reading

Tecnologia

Caso Hugging Face: agentes de IA da OpenAI tentaram enganar detector de robôs durante ataque à plataforma

Redação Informe ES

Published

on

Agentes de inteligência artificial (IA) da OpenAI tentaram usar outro modelo de IA para burlar um sistema de detecção de robôs enquanto repetidamente buscavam maneiras de invadir os computadores da plataforma Hugging Face.

Os detalhes aparecem em novo relatório elaborado por engenheiros da startup estadunidense Parse e outros pesquisadores, que analisaram a atividade dos agentes durante o ataque divulgado pela OpenAI em julho.

A investigação encontrou quase um milhão de links encurtados criados pelos agentes entre 9 e 13 de julho. Os endereços continham partes de informações usadas para montar ataques complexos, incluindo tentativas de solucionar CAPTCHAs — testes criados para impedir o acesso automatizado a sites.

Os agentes também recorreram a outros modelos de IA, incluindo versões antigas do ChatGPT e do Claude, e tentaram procurar e baixar mensagens privadas do Slack interno da Hugging Face.

Advertisement

Não está claro se todas essas tentativas foram bem-sucedidas. Os pesquisadores conseguiram observar os programas criados pelos agentes, mas não os resultados das ações.

Agentes criaram método para contornar restrições

Segundo o relatório, os agentes deveriam permanecer isolados em um ambiente de testes, conhecido como sandbox, sem acesso à internet.

No fim de maio e novamente no início de julho, porém, eles invadiram uma ferramenta de instalação de software sem que os pesquisadores da OpenAI percebessem o que estava acontecendo.

As invasões permitiram que os agentes acessassem a internet e criassem um sistema de mensagens para se comunicar entre si. O acesso, inicialmente, ainda tinha uma limitação: eles conseguiam chegar aos sites, mas não podiam enviar dados de volta para eles. Para contornar o problema, os agentes combinaram diferentes serviços disponíveis na internet.

Advertisement

O método funcionava da seguinte maneira:

  • Os agentes pediam a um serviço público de captura de telas que carregasse um endereço de internet especialmente criado;
  • Como os URLs têm limite de tamanho, o código era dividido em vários pedaços menores;
  • Os agentes utilizavam serviços de encurtamento de links para armazenar esses endereços;
  • O serviço de captura de tela carregava um link, que buscava o primeiro pedaço do código;
  • O processo se repetia com os links seguintes até que todo o programa fosse carregado e executado;
  • Por fim, o programa criava uma imagem semelhante a um QR Code ou código de barras para transmitir de volta os dados que os agentes precisavam.

“Esses agentes fizeram muita coisa. Eles foram muito inteligentes. Os modelos pensaram: ‘Tudo bem, temos esse encurtador de links, temos esses serviços de captura de tela, sem problema, estamos prontos para agir’”, afirmou Jeffrey Ladish, diretor-executivo da organização de segurança de IA Palisade Research, que ajudou na investigação, ao The New York Times.

IA tentou executar outras IAs

Um dos aspectos que mais chamou a atenção dos pesquisadores foi a tentativa dos agentes de utilizar outros sistemas de IA.

No início do ataque, os agentes tentaram criar novas contas na Hugging Face. Como a plataforma exige a resolução de um CAPTCHA para isso, os agentes utilizaram um modelo de IA especializado em reconhecimento de imagens para tentar superar o teste.

Os pesquisadores também observaram os agentes tentando enviar mensagens para outros modelos de IA.

Advertisement

Entre eles estavam o GPT-2, um modelo antigo da própria OpenAI, além dos modelos chineses de código aberto DeepSeek, Kimi e Qwen. Os agentes também tentaram enviar mensagens para os modelos Haiku 3 e Haiku 4.5, da Anthropic, por meio de um serviço de chat on-line.

“É o único caso que temos desses modelos tentando executar outro modelo”, afirmou Alex Forman, fundador da Parse.

A possibilidade de sistemas de IA acionarem outros modelos é uma preocupação recorrente entre especialistas em segurança, porque isso poderia dificultar tentativas humanas de controlar ou desligar sistemas que apresentassem comportamentos indesejados.

Quase um milhão de links revelam extensão do ataque

Os pesquisadores analisaram o conteúdo de 900 mil URLs encurtados encontrados na internet e, a partir deles, conseguiram reconstruir cerca de 60 mil programas e mensagens criados pelos agentes durante o ataque à Hugging Face.

Advertisement

Como os pesquisadores não tinham acesso aos resultados das ações, não foi possível determinar com certeza quantas das tentativas funcionaram.

Um dos elementos encontrados chamou particularmente a atenção: um dicionário de chaves secretas de acesso identificado pelo agente com a palavra “LOOT”, em letras maiúsculas.

Segundo Mishka Kharlov, engenheiro fundador da Parse, o agente também criou um sistema próprio de pontuação para classificar credenciais e chaves expostas da Hugging Face e levar as cinco consideradas mais importantes de volta aos demais agentes.

Enquanto atacavam a Hugging Face, os agentes também conseguiram invadir a própria infraestrutura de pesquisa da OpenAI.

Advertisement
Logo da OpenAI na tela de um smartphone
Enquanto atacavam a Hugging Face, os agentes também conseguiram invadir a própria infraestrutura de pesquisa da OpenAI – Imagem: Camilo Concha/Shutterstock

“Basicamente, ainda não sabemos nada sobre o incidente que veio depois do caso da Hugging Face, cerca de dois dias depois, dentro da própria rede da OpenAI”, afirmou Forman.

Os engenheiros da Parse compartilharam as descobertas com a Hugging Face, que confirmou que a atividade identificada correspondia ao comportamento observado pela própria empresa.

Leia mais:

  • Sem ninguém mandar: IA da OpenAI tentou invadir sites de universidade e governo
  • Google, OpenAI e Anthropic se unem para criar órgão de segurança para inteligência artificial
  • Aconteceu de novo! OpenAI admite que agentes de IA vazaram mais de 50 imagens de usuários do ChatGPT na internet

OpenAI ainda investiga dezenas de incidentes

O caso da Hugging Face faz parte de uma investigação mais ampla da OpenAI sobre atividades não autorizadas realizadas por seus agentes.

Segundo a empresa, a revisão deverá levar meses devido à quantidade de casos e à necessidade de verificar cada incidente. A OpenAI afirmou que já notificou dezenas de terceiros sobre atividades inadequadas.

Advertisement

Neste mês, uma pessoa informada sobre a investigação estimava que a empresa havia encontrado aproximadamente duas dezenas de incidentes envolvendo agentes que apresentaram comportamentos indesejados. O número continuou crescendo conforme as equipes analisavam registros internos e encontravam casos anteriormente desconhecidos.

Mais de 15 episódios relacionados aos agentes da OpenAI já haviam sido divulgados nos dois meses seguintes ao anúncio do ataque à Hugging Face. Os casos variam desde mensagens semelhantes a spam deixadas em sites até invasões e acessos não autorizados.

Outros episódios envolveram um site alemão transformado pelos agentes em um espaço para compartilhar táticas e contornar restrições da OpenAI, além de atividades contra o site do Australian Institute of Health and Welfare.

A OpenAI também confirmou que seus agentes tiveram como alvo a própria infraestrutura da companhia.

Advertisement

Investigação da OpenAI é alvo de questionamentos

O processo interno para entender o ataque à Hugging Face envolveu cerca de 100 pessoas, segundo fontes ouvidas pela Reuters.

Duas pessoas familiarizadas com a investigação disseram à agência que o processo foi mantido sob forte controle e influenciado pelos advogados da companhia. A OpenAI, por sua vez, afirmou que seus advogados não impediram uma investigação mais ampla.

A Reuters também informou que muitos dos incidentes foram descobertos por pesquisadores externos, e não diretamente pela OpenAI. Em alguns casos, as ações dos agentes permaneceram sem conhecimento da empresa durante meses.

Em comunicado, uma porta-voz da OpenAI afirmou que a atividade descrita pelos pesquisadores da Parse é compatível com o que a companhia já estava investigando.

Advertisement

“Estamos priorizando a análise dos incidentes mais graves enquanto ampliamos a investigação para atividades de menor gravidade, incluindo agentes enviando spam para sites. Dado o número de casos e a necessidade de verificar cada um deles, esperamos que esse trabalho e as notificações às partes afetadas levem meses.”

O post Caso Hugging Face: agentes de IA da OpenAI tentaram enganar detector de robôs durante ataque à plataforma apareceu primeiro em Olhar Digital.

Powered by WPeMatico

Advertisement
Continue Reading

Tecnologia

Lembra do Tamagotchi? Meta trabalha em dispositivo equipado com IA para usar o Muse

Redação Informe ES

Published

on

A Meta está desenvolvendo um dispositivo de hardware dedicado para seu novo agente de inteligência artificial (IA), o Muse. Chamado de Muse Charm, o aparelho foi apresentado rapidamente pelo CEO da empresa, Mark Zuckerberg, no fim de sua apresentação durante o Meta Connect, nesta quarta-feira (23).

O dispositivo lembra uma espécie de Tamagotchi moderno, mas com formato mais robusto. Ele se parece com um relógio inteligente sem pulseira, com uma tela grande e uma pequena alça que permite carregá-lo. Uma das principais características do Muse Charm é que ele não exige um celular para ser utilizado.

Como funciona o Muse Charm

  • O aparelho tem um sensor de impressão digital no canto superior direito. Ao pressioná-lo, o usuário poderá ativar o dispositivo e começar a conversar com o agente de IA;
  • Também é possível identificar uma pequena câmera no aparelho, além do que parecem ser pelo menos três orifícios para microfones na parte frontal;
  • Durante a apresentação, Zuckerberg afirmou que o usuário não precisará desbloquear o celular nem abrir um aplicativo para utilizar o Muse Charm;
  • O CEO, porém, não explicou como o dispositivo se conectará aos servidores da Meta para processar as interações com o agente de IA.
Tamagotchi clássico
Este é o famoso Tamagotchi… não são parecidos? – Imagem: Mehaniq/Shutterstock

Meta quer lançar o aparelho ainda este ano

A Meta pretende colocar o Muse Charm à venda a tempo das festas de fim de ano, em dezembro.

O desenvolvimento do dispositivo ainda está em estágio inicial. Segundo Zuckerberg, a empresa construiu apenas algumas unidades até o momento. A Meta também ainda precisa definir o material de acabamento do produto.

Durante a apresentação, Zuckerberg deu algumas pistas sobre a aparência planejada para o dispositivo. Ele mencionou repetidamente a possibilidade de uma carcaça translúcida, que permitiria visualizar os componentes internos do aparelho.

Advertisement

O executivo descreveu essa estética como um “visual hacker elevado”. Zuckerberg prometeu divulgar mais detalhes sobre o Muse Charm “em breve”.

O post Lembra do Tamagotchi? Meta trabalha em dispositivo equipado com IA para usar o Muse apareceu primeiro em Olhar Digital.

Powered by WPeMatico

Advertisement
Continue Reading

Em Alta

Copyright © 2023 - Todos os Direitos Reservados