Надежность и валидность — технические термины, характеризующие любой тип психологических измерений. Если измерение Надежное, то при его многократном повторении мы будем получать одни и те же результаты. Интервьюеры ненадежны, так как мнение одного из них отличается от мнения других. Измерение является Валидным, если оно точно измеряет то, что призвано измерить. Очевидно, что измерение не может быть Валидным, если оно не является Надежным, но оно может быть Надежным, не являясь Валидным, если измеряется нечто, не имеющее отношения к критерию, относительно которого нужно сделать прогноз. Например, можно точно измерить рост, но в данном случае измерение роста не будет являться Валидным, поскольку оно не может предсказать успех в той или иной производственной профессии.

Бине проводил свой эксперимент в лабораторных условиях, а не на производстве. Первое исследование в условиях производства проводил Скотт. Шестеро опытных управляющих персоналом проводили собеседование с 36 претендентами, чтобы узнать, насколько последние подходят на должность работника отдела продаж. Всех претендентов нужно было распределить по порядку в зависимости от того, насколько они подходят на эту должность. Результаты показали, что каждый из шести управляющих по-разному распределил претендентов.

Скотт замечает: «По поводу 28 претендентов среди шести менеджеров возникли разногласия, одни считали, что определенного человека нужно поставить в начале списка, а другие полагали, что его нужно поставить в конце». Это исследование надежности собеседований дает основание предположить, что прогнозы, сделанные по результатам собеседований, не могут быть правильными. В еще одном исследовании Скотт попросил 13 менеджеров прокомментировать работу 12 своих работников и затем сравнил оценки с результатами по собеседованию с теми же работниками. Средний коэффициент корреляции между оценкой работы и прогнозом, сделанным на основе собеседования, оказался очень низким.

В еще одном исследовании Скотта 20 менеджеров из отдела продаж и три работника из отдела кадров проводили собеседование с одними и теми же 24 претендентами на рабочее место. В данном случае между ними тоже возникли серьезные разногласия.