El mundo de Ao no Exorcist está compuesto de dos dimensiones que están una en frente de la otra como cada lado de un espejo. El primer mundo es el de los humanos, Assiah, el segundo el de los demonios, Gehenna. Por norma, los viajes y contactos entre los dos mundos son imposibles, pero los demonios pueden ir al mundo humano poseyendo todo lo que lo compone. El más poderoso de los demonios, intentó ingresar al mundo humano, sin embargo fue incapaz de hacerlo ya que no existe en el Assiah un cuerpo lo suficientemente resistente como para albergar su inconmensurable poder. De esta manera, conoció a una mujer humana a la que pudo poseer, y así engendró dos hijos mellizos con esta, los cuales fueron llamados Rin y Yukio Okumura.
La historia gira alrededor de Rin Okumura, quien es un adolescente que posee una fuerza y resistencia única y que fue criado junto a su hermano menor, Yukio, por el sacerdote Shirō Fujimoto. Poco antes de que Yukio partiese para estudiar en la prestigiosa academia Vera Cruz, Rin descubre que él y su hermano son hijos de Satán, el más poderoso de los demonios, y después de ser testigo de como su protector, el sacerdote Fujimoto, muere para salvarlo y evitar que su padre lo llevase a Gehenna, Rin termina haciendo lo que su guardián le pidió que nunca hiciese, desenvainar la espada Kurikara, ya que esta contenía sus poderes demoníacos. De todas formas Rin rechaza seguir los planes de su progenitor y se inscribe en la academia Vera Cruz para convertirse en exorcista y así poder vengar la muerte de Fujimoto, al que considera su único padre, y así destruir a Satán. Desde el momento en que toma posesión de la espada comienza su batalla