Início » Web » Caminhão da Amazon vai transportar (literalmente) exabytes de dados para a nuvem

Caminhão da Amazon vai transportar (literalmente) exabytes de dados para a nuvem

Por
1 ano atrás
Já conhece a nova extensão do Tecnoblog? Baixe Agora

Clientes da Amazon que possuem uma quantidade surreal de dados podem agora contar com uma nova forma de armazenar seus arquivos na nuvem: um caminhão. Sim. Isso será possível por meio do Snowmobile.

Antes, uma história: certa vez, quando eu trabalhava no suporte técnico de uma universidade, a gente precisava instalar 10 novos laboratórios de informática, iguais aos que tínhamos em outro campus. E cada computador deveria receber uma quantidade enorme de softwares educacionais e de engenharia que já possuíamos, além de novos programas que teríamos que baixar da internet — que, naquela época, tinha uma velocidade sofrível.

Caso a gente decidisse fazer esses downloads, instalar todos os programas e criar a imagem do zero, o processo para ter o computador “master” (aquele usado como matriz para clonar em todos os outros do mesmo laboratório) iria demorar algumas semanas. Qual foi a solução que nossa equipe propôs? Fazer uma imagem do outro laboratório já existente e nos mandar o HD por Sedex. Assim, em quatro dias o primeiro laboratório estaria pronto.

Imagine agora uma empresa que possua uma quantidade gigantesca de dados. Na casa dos petabytes. Por exemplo, estúdios de filmes e seus catálogos enormes, coleções de imagens de satélite ou a quantidade de RAM utilizada pelo Google Chrome. Como subir isso para a nuvem sem que o processo demore anos? É aí que entra o Snowmobile.

tecnoblog_caminhao_amazon_snowmobile_evento

O caminhão da Amazon consegue levar até 100 petabytes em sua carroceria, utilizando um sistema de armazenamento móvel desenvolvido pela empresa. Depois de fazer a requisição, o caminhão é conectado aos servidores através de fibra ótica, os arquivos são copiados para caixas de 100 TB de capacidade cada, empilháveis, e o motorista pega a estrada em direção ao destino escolhido.

tecnoblog_caminhao_amazon_snowmobile_aws

tecnoblog_caminhao_amazon_snowmobile_seguranca

Para efeito de comparação, os dados do Internet Archive (um enorme backup de tudo o que existe e já existiu na internet) ocupam hoje cerca de 18,5 petabytes. Mas suponhamos que alguém, um dia, consiga chegar nos 100 petabytes suportados pelo Snowmobile: demoraria cerca de 28 anos para fazer o upload de tudo isso através de uma fibra ótica como a do Google Fiber, de 1 Gb/s.

Transportar isso num caminhão, com uma velocidade média de 100 km/h, significa que a Amazon pode levar quase 5.000 gigabits por segundo de São Francisco para Nova York — a viagem demora 45 horas. E tendo em vista que os data centers da Amazon são espalhados pelo país, isso significa que a viagem seria até mais curta que isso.

Faz todo sentido do ponto de vista de negócio.

Mas Toad, e se alguém roubar o caminhão?!

aws-snowmobile-truck

Foi a primeira pergunta que eu fiz também. Jeff Barr, evangelista do serviço de nuvem da Amazon, abordou esse tema: “Do ponto de vista de segurança, o Snowmobile incorpora várias camadas de proteção física e lógica, incluindo monitoramento de cadeia de custódia e vigilância em vídeo”. Em outras palavras, a Amazon possui criptografia dos dados em software nas maletas que armazenam os dados, tem processos internos de logística de onde esses dados estão passando e sistemas de vigilância com câmeras, além de blindagem contra adulterações.

Não ficou claro se o caminhão é blindado contra armas de fogo. Eu imagino que seja, mas na pior das hipóteses o seu frete vai demorar mais, e ninguém vai conseguir acessar seus dados.

E tem cliente para isso tudo?

Sim! O Snowmobile é um “upgrade” de outro serviço de transporte de dados da Amazon chamado Snowball, que permite o envio de até 80 TB de dados por meios convencionais. Os clientes preenchem o espaço disponível, enviam para a empresa, que então sobe para a nuvem. É bem prático. Mas como o Snowball se tornou pequeno (!) para alguns clientes, montar um serviço como o do caminhão se tornou necessário.

E a expectativa é que alguns desses clientes vão precisar de mais de um caminhão para seus backups em breve. Segundo o site oficial, eles podem dar conta de levar dados na escala dos exabytes (10 caminhões). E eu aqui feliz com pen drives de 128 GB.

Mais sobre: , , ,
  • “ou a quantidade de RAM utilizada pelo Google Chrome” HAHAHAHAHAHAHAHAHAHA

    • Wellington Gabriel de Borba

      Odiadores vão odiar… mas eu gostei.

    • Rodrigo Fogagnolo

      Também dei risada aqui!

    • Matheus Alexandre

      kkkkkkkkkkkk

    • Tru3dom

      Lembro os bons dias, chrome foi um browser ótimo de mais.

  • Eduardo Schicovski

    Duvido se carrega mesmo a quantidade de ram usada pelo chrome kk

    • Matheus Alexandre

      kkkkkkk

  • Bruno Aveiro

    Lembrei de um trecho do livro “E Se?” (What if?) de Randall Munroe (recomendo a leitura). O autor questiona quando, e se um dia, a largura de banda de internet vai superar a da FedEx.
    Tive que abrir o livro pra lembrar (na verdade copiar mesmo) algumas informações interessantes.
    Ele diz que se juntarmos 1kg de cartões microSD (por causa da densidade de armazenar muitos dados em pouco espaço) conseguiríamos armazenar 160 TB de dados. A frota da FedEx carregada de cartões microSD poderia transportar aproximandamente 177 petabytes por segundo (ou 2 zettabytes por dia – 1000 vezes o tráfego atual da internet). Ou seja, nunca a largura da banda de internet vai superar a da FedEx.
    Aí no fim ele coloca uma tirinha:
    https://uploads.disquscdn.com/images/e1b72e5ec0426a4627ab7b5fb8759a99020532a94449fa3327fdd7cc6aacbf35.jpg

    • Diogo Nóbrega

      Eu lembro desse texto haha. Esse aqui né?
      https://what-if.xkcd.com/31/

      • Geek_Musical

        Legal que nesse artigo ele conta que existem clusters de fibra experimentais que conseguem trabalhar a mais de um petabit por segundo e 200 desse já conseguiriam superar a FedEx =D

      • Bruno Aveiro

        Exatamente!

    • Tru3dom

      De verdade maior vai ser a largura da internet, maior vai ser a capacidade de armazenamento… Então Fedex sempre vai ganhar para a largura de banda. Pelo contrario a LATENCIA é uma outra coisa!

  • Ramon Gonzalez

    Incrivel… Existe mercado pra cada coisa…
    PS.: Otima materia. Ficou tudo bem claro.

  • “Amazon pode levar quase 5.000 gigabits por segundo de São Francisco para Nova York”

    Legal, mas qual o ping? 😛

  • Trovalds

    A pergunta é: quanto tempo pra encher um caminhão desses (com dados) na sua totalidade?

    Será que usam 100 Gigabit Ethernet pra fazer as transferências?

    • Bruno Freitas

      Considerando que cada caixa tem cerca de 100 TB, que dá 800.000 Gigabits, levaria mais ou menos 222 horas (10 dias) pra carregar os dados com uma conexão Gigabit ideal (1 Gbit/s). Mas a conexão não é por cabos de rede comuns, sim por fibra ótica, que é o que está escrito na matéria.

      Ao apenas dobrar a capacidade de transferência, usando fibra ótica de 1 Gb/s para 2 Gb/s, seria também diminuído pela metade o tempo. O principal empecilho não seria a velocidade dos cabos, mas dos equipamentos de armazenamento (HD, Memória Flash, Armazenamento em fita)

      • Tales Iago

        Resumindo: Faz todo sentido usar caminhões…. Pensa, se por cabo, ligado direto no caminhão já demora, calcula dar up para a nuvem. Muito bem pensado!

  • la_gomes

    Tenho um hd com alguns Gigas de dados para colocar na nuvem com um upload da conexão na casa dos megas… já estou adiando a tarefa a alguns meses, enviar para uma empresa seria ótimo

  • Leonel Seara Neto

    Lembro de uma matéria do Cardoso parecida. Procurei mas não achei. Na época da Internet a carvão, ele calculou que era mais rápido mandar um hd pelo sedex do que fazer o upload dos dados.

  • Keaton

    E eu aqui feliz com pen drives de 128 GB.

    E eu com um Sandisk de 32GB que grava a 2MBps sequenciais… hahaha

  • Daniel Silva

    Muito massa. Nunca trabalhei em uma grande empresa então esta necessidade nunca me passou pela cabeça. Realmente, se formos pensar em quantidades absurdas de dados, fica inviável (e provavelmente muito caro) transferi-los pela rede.

  • Tru3dom

    Pois os dados são bem criptografados, o que è bem simples, não precisa de muita segurança “real” . Bem que podem ainda ter uns dispositivos para destruir os dados em caso de acesso não autorizado e em remoto.