We are currently processing huge amount of sensitive corporate data for a Fortune 500 company as the first phase of a project. Nous traitons actuellement énorme quantité de données sensibles des entreprises pour une société Fortune 500 comme la première phase d'un projet. You have to be very careful in data processing, much more than any standard programming effort. Vous devez être très prudent dans le traitement des données, beaucoup plus que n'importe quel standard de programmation. Here are few tips you may find useful when programming to process sensitive data in bulk. Voici quelques conseils que vous trouverez des informations utiles mai lors de la programmation pour le traitement des données sensibles en vrac. Get your best (wo)men on the job. Obtenez votre meilleur (e) pour les hommes au travail.

Institute a policy of random manual check. Institut une politique de contrôle manuel effectué au hasard. It may not be feasible to manually verify all or even most of the data. Il mai pas être possible de vérifier manuellement tous ou même la plupart des données. However you must rigorously check a significant random subset of data from every batch. Cependant, vous devez vérifier rigoureusement un hasard sous-ensemble de données de chaque lot. You will be surprised how much you can discover about the data as well as any errors by this simple step. Vous serez surpris à quel point vous pouvez découvrir sur les données ainsi que les erreurs par cette simple étape.

Program safely not optimally. Programme de sécurité pas optimale. You must program safely; this is not the time to think about optimizations. Vous devez programme de sécurité, ce qui n'est pas le temps de réfléchir à des optimisations. Data accuracy is your primary concern. L'exactitude des données est votre principale préoccupation. Performance isn’t normally an issue. La performance est normalement pas un problème. Name the variables clearly and accurately to help with code review. Nom des variables de manière claire et précise pour aider avec le code.

Write down your logic in pseudo-code. Écrivez votre logique en pseudo-code. Code review yourself at least twice and get at least one other person to do it in details. Revue de code-vous au moins deux fois et obtenir au moins une autre personne de le faire dans les détails. It is very easy to miss little details while coding. Il est très facile d'oublier tout petits détails de codage. Finding such errors are easy in normal application development. Trouver de telles erreurs sont faciles dans des conditions normales de développement d'applications. Finding little logical errors in huge amount of data is next to impossible. Peu logique de recherche des erreurs dans énorme quantité de données est pratiquement impossible.
Thoroughly code review your final code after you are done with at least one or more senior programmers. Examiner soigneusement votre code code final après vous êtes fait avec au moins un ou plusieurs hauts programmeurs.

Extensively test with a small subset of data. Largement essai avec un petit sous-ensemble de données. Repeat the process with two or more of such set. Répétez le processus avec deux ou plusieurs de ces fixés.

Get your data experts to manually review the generated data. Obtenez vos données d'experts à examiner manuellement les données générées. They can find smell faster than anyone else. Ils peuvent trouver plus rapidement l'odeur que personne d'autre.

I cannot over-stress the importance of writing quality unit tests for such projects. Je ne saurais trop souligner l'importance de la qualité d'écriture des tests unitaires pour de tels projets. However you should also write tests to independently verify the generated / uploaded data. Toutefois, vous devez aussi écrire des tests pour vérifier l'générés / transfert de données en amont. Get input for such tests from the domain experts. Obtenir des données pour les essais du domaine des experts. Do not compromise at all on testing. Ne pas à tous les compromis sur les tests.

Use a strongly typed language like Java. Utilisez un langage fortement typé comme Java.

Last but not the least you should get your most experienced developers on the job. Dernière mais non des moindres, vous devriez obtenir votre développeurs les plus expérimentés sur le tas. Bulk data processing and mining is a different ball-game than standard application development. Le traitement des données en vrac et de l'exploitation minière est un autre jeu de balle que le développement d'applications standard.