We are currently processing huge amount of sensitive corporate data for a Fortune 500 company as the first phase of a project. Estamos procesando gran cantidad de datos corporativos sensibles para una compañía Fortune 500 como la primera fase de un proyecto. You have to be very careful in data processing, much more than any standard programming effort. Tienes que ser muy cuidadosos en el procesamiento de datos, mucho más que cualquier esfuerzo de programación estándar. Here are few tips you may find useful when programming to process sensitive data in bulk. Aquí están algunos consejos pueden serle de utilidad cuando la programación para procesar los datos sensibles a granel. Get your best (wo)men on the job. Consigue tu mejor (s) hombres en el trabajo.

Institute a policy of random manual check. Instituto una política de azar comprobación manual. It may not be feasible to manually verify all or even most of the data. Puede que no sea factible para verificar manualmente la totalidad o incluso la mayor parte de los datos. However you must rigorously check a significant random subset of data from every batch. Sin embargo, hay que comprobar rigurosamente al azar un importante subconjunto de los datos de cada lote. You will be surprised how much you can discover about the data as well as any errors by this simple step. Usted se sorprenderá de cuánto puede descubrir acerca de los datos, así como cualquier error de este simple paso.

Program safely not optimally. Programa de seguridad no óptima. You must program safely; this is not the time to think about optimizations. Usted debe programar con seguridad, lo que no es el momento de pensar en optimizaciones. Data accuracy is your primary concern. La precisión de los datos es su principal preocupación. Performance isn’t normally an issue. El rendimiento es normalmente no un problema. Name the variables clearly and accurately to help with code review. Nombre de las variables clara y precisa para ayudar con el código de revisión.

Write down your logic in pseudo-code. Anote su lógica en pseudo-código. Code review yourself at least twice and get at least one other person to do it in details. Código examen usted por lo menos dos veces y obtener al menos otra persona a hacerlo en los detalles. It is very easy to miss little details while coding. Es muy fácil olvidar pequeños detalles, mientras que la codificación. Finding such errors are easy in normal application development. Encontrar este tipo de errores son fáciles en condiciones normales de desarrollo de aplicaciones. Finding little logical errors in huge amount of data is next to impossible. Encontrar poco errores lógicos en gran cantidad de datos es casi imposible.
Thoroughly code review your final code after you are done with at least one or more senior programmers. Revisar a fondo el código final de su código después de que haya acabado con, al menos, uno o varios programadores de alto nivel.

Extensively test with a small subset of data. Ampliamente prueba con un pequeño subconjunto de datos. Repeat the process with two or more of such set. Repita el proceso con dos o más de esas serie.

Get your data experts to manually review the generated data. Consigue tus datos expertos a revisar manualmente los datos generados. They can find smell faster than anyone else. Pueden encontrar más rápido que el olor a nadie.

I cannot over-stress the importance of writing quality unit tests for such projects. No puedo más-subrayan la importancia de la calidad de unidad escrito las pruebas de detección de este tipo de proyectos. However you should also write tests to independently verify the generated / uploaded data. Sin embargo, usted también debe escribir ensayos para verificar de manera independiente el generado / cargado de datos. Get input for such tests from the domain experts. Obtener insumos para estas pruebas el dominio de expertos. Do not compromise at all on testing. No pongan en peligro a todos en los ensayos.

Use a strongly typed language like Java. Use fuertemente tipado como Java.

Last but not the least you should get your most experienced developers on the job. Por último, pero no el menos debería obtener la mayoría de sus desarrolladores con experiencia en el trabajo. Bulk data processing and mining is a different ball-game than standard application development. Lotes de procesamiento de datos y la minería es otro juego de pelota que norma el desarrollo de aplicaciones.