quem, eu? Bem-vindos, cidadãos de O Reg para outra manhã de segunda-feira, o que significa uma edição de Quem, Eu? – a coluna na qual os leitores compartilham histórias de momentos em que sua inquestionável proeza técnica ficou um pouco aquém.
Esta semana, nosso herói é alguém que vamos regomizar como “Paton”, que, várias décadas atrás, trabalhou para um ISP proeminente na África do Sul. De fato, era um ISP muito proeminente, pois seus servidores DNS eram autoritativos para milhares de domínios, incluindo domínios de nível superior de código de país (ccTLDs) na África do Sul e em outros lugares da região. Isso será importante mais tarde.
Paton trabalhou como “engenheiro de backbone”, o que, particularmente no contexto de um ISP tão crucial, parece um trabalho muito importante. Não é o tipo de coisa que se faz com pressa ou quando se está distraído. Isso também será importante mais tarde.
Uma das responsabilidades de Paton era manter Listas de Controle de Acesso (ACLs) especificando quais usuários e domínios tinham acesso a certos recursos de rede. As ACLs na organização de Paton eram extensas e complexas, como você pode imaginar. Elas controlavam não apenas os netblocks para os clientes do ISP, mas também para sua infraestrutura interna – incluindo aqueles servidores DNS autoritativos.
Em uma bela tarde, Paton recebeu a tarefa de atualizar os netblocks e propagá-los via BGP para peers e provedores de trânsito na rede. Isso significava editar as ACLs com as novas informações – não era uma tarefa difícil.
No entanto, ele estava sob pressão de um grupo de colegas, que estavam ansiosos para que ele se juntasse a eles do lado de fora para tomar um pouco de ar fresco e fumar um cigarro (anulando um pouco o benefício do ar fresco). Então Paton se apressou — o que, como observado acima, ele não deveria ter feito — e terminou o trabalho rapidamente para poder ir aproveitar aquele rico sabor de tabaco.
Quando ele voltou, não muito tempo depois, ele encontrou o que descreveu como “pandemônio e caos”. O Network Operations Center estava sendo inundado com chamadas de clientes irados como resultado do que era, até então, a maior indisponibilidade de internet a atingir o continente africano.
Para piorar a situação, alguém fingindo ser um hacker contatou um serviço local de notícias de tecnologia e alegou que era seu l33t skillz que causou a interrupção. O canal de notícias correu com isso, o que significa que os chefes de Paton tiveram tanto o problema técnico quanto uma potencial dor de cabeça de segurança para lidar – em uma escala multipaís.
Transpirou, é claro, que não houve hack. A segurança do ISP não foi violada. Mas isso dificilmente era um conforto de uma perspectiva de RP, dada a causa real.
Ao adicionar as ACLs em sua pressa, Paton as substituiu inadvertidamente. Todas elas. Então os novos netblocks estavam bem, mas nenhuma das outras listas de controle complexas e interligadas que direcionavam o tráfego da internet para grande parte da África Subsaariana estava em vigor.
Paton, é claro, teve que restaurar as ACLs, assim como atualizar os netblocks. Então, por seus pecados, ele conseguiu escrever o primeiro protocolo de gerenciamento de mudanças da organização. Sem dúvida, incluía um pouco sobre verificar se você não tinha apagado metade do continente da internet antes de fumar um cigarro.
OK, nem todos os pequenos erros acabam explodindo em escala nacional. Mas se você já fez uma pequena coisa errada e acabou se tornando algo realmente grande, gostaríamos de saber sobre isso. Clique aqui para enviar um e-mail para Quem, eu? e podemos compartilhar sua história em alguma outra segunda-feira maníaca. ®
