En ocasiones, resulta difícil establecer diferencias entre guerrilleros y bandoleros. Y mucho más aún entre estos últimos y los contrabandistas. Si a ello se une los elementos de afinidad o de aprovechamiento mutuo que pudiera darse con los refugiados políticos, que tenían como hilo conductor el enfrentamiento al poder absoluto del rey, se podrá entender la maraña social existente, con intereses compartidos, aunque distintos.
Una circunstancia a no olvidar es la popularización de estos personajes, que pasaron a formar parte de la literatura, creándose en torno a ellos verdaderos mitos, o manifestándose públicamente su aceptación en narraciones o canciones que perduran y que, incluso, pasaron a formar parte del patrimonio cultural de los pueblos.
El arraigo de una cultura y una leyenda netamente andaluza traspasó las fronteras españolas. La proximidad de Gibraltar fue el motivo, en lo que a esta zona se refiere, para que muchos de aquellos «viajeros románticos» la describiesen en sus «cuadernos de apuntes», que después pasaron a publicaciones que cimentaron la imagen de la «España de pandereta», con el torero, la guitarra, el vino y el «bandolero bueno». Sin embargo, en la pluma del cronista Serafín Estébanez Calderón se contiene todos los ingredientes del mejor romanticismo.
Entre los extranjeros, Isidore Taylor, destacaría respecto de los contrabandistas «de los alrededores de Algeciras», en su Viaje pintoresco en España y la costa de África, de Tánger a Tetuán, que «son los más célebres de España. Todo cuanto se dice en novelas y romances sobre su proceder romántico y pintoresco es cierto. Son prototipos de los habitantes del sur de la Península. Constituyen una rara mezcla de grandes vicios y virtudes. La valentía, la fidelidad a la palabra dada, la delicadeza en el ejercicio de lo que ellos llaman su profesión, las mañas increíbles de que se valen para burlar la ley que consideran tirana...».
Al hablar del bandolerismo, era la plaza de Gibraltar una de las principales fuentes de información de quienes luego asaltaban en la sierra. Este hecho está ampliamente descrito por autores extranjeros como Nathaniel Armstrong, quien en 1846, publicaba en Londres, que «la vida más divertida de Gibraltar es la calle principal, llena siempre de una población de lo más variada». Y se refiere a individuos de las más diversas nacionalidades y continentes, numerosos contrabandistas y entre tanto bullicio a «el jefe de los bandoleros andaluces, vagando de un lado a otro en busca de información provechosa».
Pero la mayor contundencia en la descripción la puso el marqués de Custin, en su obra editada en París en 1838, La España de Fernando VII, cuando afirmaba que: «la hez del Mediterráneo componía la población de Gibraltar... gentuza sin patria ni familia reconocida, un atajo de bandidos... en contubernio con salteadores y piratas. Los oficiales de la guarnición me advirtieron que no dijera nada a nadie, y menos aún a mi posadero, el camino que iba a seguir cuando me marchara, ni que armas iba a llevar».
Son testimonios de gran dureza que, al menos, avalan la teoría de que muchos de los asaltos que se practicaban en la sierra, se planificaban en el Peñón.
Al terminar la Guerra de la Independencia, Fernando VII había enviado a Andalucía a cientos de funcionarios civiles y aduaneros sin especializar y mal pagados para tratar de destruir la red de contrabandistas.
La inestabilidad política, con la disputa del poder entre absolutistas o realistas y constitucionalistas o liberales («servilones»y «negros»), como se llamaban mutuamente, marcaron una parte importante de la primera mitad del XIX. De esa inestabilidad se valdrían las redes de contrabandistas que operaban desde Gibraltar.
Durante el Trienio Constitucional se creó el cuerpo del Resguardo, al que se le encomendó la vigilancia de todas las costas y fronteras. A la provincia de Cádiz se destinaron 694 hombres, que tenían como misión descubrir, perseguir y aprehender los géneros prohibidos. Estaban uniformados de gris, con divisas azul y celeste y el botón de metal amarillo con la inscripción del cuerpo. Y al poco ya eran visibles en toda la comarca, especialmente para los contrabandistas que operaban desde el Peñón.