Nate Silver, colaborador de Baseball Prospectus y creador del metodo PECOTA para predecir el exito de los peloteros, en su reciente libro " The signal and the noise" (2012), compara su lista de los mejores 100 prospectos de 2006, determinados utilizando el metodo PECOTA, con el ranking de Baseball America, basado en las opiniones de los scouts. Para el final de la temporada de 2011, los 100 mejores prospectos segun PECOTA habian acumulado 546 WAR en MLB, mientras que los 100 mejores de Baseball America habian alcanzado 630 WAR; es decir, aproximadamente 15 % mas que los de PECOTA. Silver concluye que si bien ambos enfoques producen buenos resultados, los scouts son un poco mejores porque a la informacion estadistica le agregan informacion cualitativa que no es de facil acceso.
Silver comenta que Billy Beane le dijo que un buen scout es aquel que consigue informacion que otros no logran: " Conocen al muchacho y a su familia, cosas que solo se consiguen en persona". Agrega Silver que entrevisto a John Sanders, veterano scout de los Dodgers, y este se mostro esceptico de las " cinco herramientas". El talento es necesario, pero Sanders le da mas importancia a cinco habilidades mentales:
1) Disciplina y etica de trabajo
2) Concentracion y foco
3) Competitividad y confianza en si mismo
4) Humildad y manejo del estres
5) Adaptabilidad y habilidad de aprendizaje