We are currently processing huge amount of sensitive corporate data for a Fortune 500 company as the first phase of a project. В настоящее время мы обработке огромного количества сложных корпоративных данных для компаний Fortune 500 в качестве первого этапа проекта. You have to be very careful in data processing, much more than any standard programming effort. Вы должны быть очень осторожны в области обработки данных, гораздо больше, чем каких-либо стандартных программ усилий. Here are few tips you may find useful when programming to process sensitive data in bulk. Вот несколько советов вы можете найти полезную при программировании для обработки конфиденциальных данных навалом. Get your best (wo)men on the job. Получите лучшее (wo) мужчин на работе.

Institute a policy of random manual check. Институт политики случайных ручной проверки. It may not be feasible to manually verify all or even most of the data. Оно не может быть реально вручную проверить все или даже большинство данных. However you must rigorously check a significant random subset of data from every batch. Тем не менее, вы должны тщательно проверить значительные случайные подмножества данных из каждой партии. You will be surprised how much you can discover about the data as well as any errors by this simple step. Вы будете удивлены, сколько вы можете узнать о данных, а также какие-либо ошибки в этой простой шаг.

Program safely not optimally. Программа благополучно не оптимально. You must program safely; this is not the time to think about optimizations. Вы должны программа благополучно, это не время думать об оптимизации. Data accuracy is your primary concern. Данные точность вашей главной задачей. Performance isn’t normally an issue. Производительность, как правило, не вопрос. Name the variables clearly and accurately to help with code review. Название переменных четко и точно, чтобы помочь с кодом обзора.

Write down your logic in pseudo-code. Запишите вашей логики в псевдо-код. Code review yourself at least twice and get at least one other person to do it in details. Код обзора себя по меньшей мере в два раза и получить по крайней мере, один другому лицу сделать это в деталях. It is very easy to miss little details while coding. Очень легко упустить детали мало, хотя кодирование. Finding such errors are easy in normal application development. Нахождение таких ошибок можно легко в нормальных разработки приложений. Finding little logical errors in huge amount of data is next to impossible. Поиски мало логических ошибок в огромных объемов данных находится рядом с невозможными.
Thoroughly code review your final code after you are done with at least one or more senior programmers. Тщательно код Вашего последнего обзора код после того, как вы все должно быть по крайней мере, один или несколько старших программистов.

Extensively test with a small subset of data. Широкой испытания с малым подмножеством данных. Repeat the process with two or more of such set. Повторите процесс с двумя или более таких набора.

Get your data experts to manually review the generated data. Получить данные экспертов для рассмотрения вручную генерируемых данных. They can find smell faster than anyone else. Они могут найти запах быстрее, чем кто-либо еще.

I cannot over-stress the importance of writing quality unit tests for such projects. Я не могу переоценить подчеркнуть важность писать качественную единицу тесты для таких проектов. However you should also write tests to independently verify the generated / uploaded data. Однако, Вы также должны написать тесты самостоятельно проверить, порожденных / загруженных данных. Get input for such tests from the domain experts. Получить материалы для таких испытаний из области эксперты. Do not compromise at all on testing. Не компромиссу на всех испытаний.

Use a strongly typed language like Java. Используйте решительно ввели языка как Java.

Last but not the least you should get your most experienced developers on the job. И последнее, но не менее вы должны получить свои наиболее опытных разработчиков на работу. Bulk data processing and mining is a different ball-game than standard application development. Массовая обработка данных и добыча различных мяч в игре, чем стандартные разработки приложений.