Ces pôles ont été créés à la suite de l'affaire d'Outreau afin d'éviter l'isolement des juges d'instruction, de développer le travail en équipe, d'assurer le tutorat des jeunes magistrats et de favoriser la conduite de l'information dans des délais raisonnables. La réforme entre en vigueur en deux temps :
- depuis le 1er mars 2008, les dossiers de crimes et de délits les plus graves ou les plus complexes sont orientés vers les pôles de l'instruction. Deux juges d'instruction peuvent être co-saisis sur un dossier ;
- à partir du 1er janvier 2010, tous les dossiers d'instruction seront traités obligatoirement au sein des pôles par une formation collégiale de trois juges d'instruction.

La localisation des 91 pôles de l'instruction a été décidée dans le cadre de la réforme de la carte judiciaire. 34 emplois supplémentaires de magistrat et 34 de greffier ont été créés dès 2008, notamment dans les tribunaux de grande instance qui ne disposent que d'un seul juge d'instruction.

Les tribunaux de grande instance qui ne sont pas « pôle de l'instruction », continuent à traiter les autres procédures pénales (plus de 95 % des affaires pénales ne font pas l'objet d'une instruction).

Au terme de la phase d'instruction confiée à un pôle, c'est toujours au tribunal du lieu où ont été commis les faits que sont jugées les personnes mises en examen. Les cours d'assises, notamment, jugeront toujours les crimes commis dans chaque département.