We are currently processing huge amount of sensitive corporate data for a Fortune 500 company as the first phase of a project. Estamos actualmente a transformação enorme quantidade de dados corporativos sensíveis para uma empresa Fortune 500 como a primeira fase de um projeto. You have to be very careful in data processing, much more than any standard programming effort. Você tem que ter muito cuidado no processamento de dados, muito mais do que qualquer norma programação esforço. Here are few tips you may find useful when programming to process sensitive data in bulk. Aqui estão algumas dicas podem ser úteis para você quando programação para processar dados sensíveis em massa. Get your best (wo)men on the job. Receba o seu melhor (wo) homens no trabalho.

Institute a policy of random manual check. Instituto de uma política de controlo manual aleatória. It may not be feasible to manually verify all or even most of the data. Ela pode não ser viável a verificar todas as manualmente ou até mesmo a maioria dos dados. However you must rigorously check a significant random subset of data from every batch. No entanto você deve verificar rigorosamente uma significativa subconjunto aleatório de dados de cada lote. You will be surprised how much you can discover about the data as well as any errors by this simple step. Você será surpreendido quanto você pode descobrir sobre os dados, bem como quaisquer erros por esse simples passo.

Program safely not optimally. Programa seguramente não óptima. You must program safely; this is not the time to think about optimizations. Você deve programa segura; este não é o momento de pensar em otimizações. Data accuracy is your primary concern. A exactidão dos dados é a sua principal preocupação. Performance isn’t normally an issue. Performance normalmente, não é um problema. Name the variables clearly and accurately to help with code review. Nome das variáveis de forma clara e precisa de ajuda com o código revisão.

Write down your logic in pseudo-code. Anote a sua lógica, em pseudo-código. Code review yourself at least twice and get at least one other person to do it in details. Código rever-te pelo menos duas vezes e obter pelo menos uma outra pessoa a fazê-lo em detalhes. It is very easy to miss little details while coding. É muito fácil perder pequenos detalhes, enquanto codificação. Finding such errors are easy in normal application development. Encontrar tais erros são fáceis na aplicação normal desenvolvimento. Finding little logical errors in huge amount of data is next to impossible. Encontrar pouco lógico erros na enorme quantidade de dados é, ao lado de impossível.
Thoroughly code review your final code after you are done with at least one or more senior programmers. Minuciosamente o seu código revisão final código após você é feito com pelo menos um ou mais altos programadores.

Extensively test with a small subset of data. Extensivamente teste com um pequeno subconjunto de dados. Repeat the process with two or more of such set. Repita o processo com duas ou mais dessas conjunto.

Get your data experts to manually review the generated data. Veja seus dados manualmente especialistas para rever os dados gerados. They can find smell faster than anyone else. Eles podem encontrar cheiro mais rápido do que qualquer outra pessoa.

I cannot over-stress the importance of writing quality unit tests for such projects. Eu não posso excesso de salientar a importância de se escrever testes unitários para a qualidade desses projectos. However you should also write tests to independently verify the generated / uploaded data. No entanto você também deve escrever testes para verificar a independência gerada / upload de dados. Get input for such tests from the domain experts. Obter entrada para esses testes de peritos do domínio. Do not compromise at all on testing. Não se comprometer com a todos os testes.

Use a strongly typed language like Java. Use uma linguagem fortemente digitado como Java.

Last but not the least you should get your most experienced developers on the job. Por último mas não menos você deve obter o seu mais experientes desenvolvedores sobre o trabalho. Bulk data processing and mining is a different ball-game than standard application development. Bulk tratamento de dados e de mineração é uma bola de jogo diferente do que normal desenvolvimento de aplicativos.