L'ouvrage de Baudelaire est structuré en deux parties. La première partie, intitulée Le poème du haschisch, est un essai sur le haschisch. Le poète y mêle des observations sur la prise de la drogue par ses amis ainsi que par lui-même avec des passages à vocation pharmacologique, psychologique ou métaphysique. Digressant sur l'opium, il évoque également trois nouvelles d'Edgar Allan Poe, dont il fut le principal traducteur en langue française. La seconde partie est un commentaire du livre Confessions d'un mangeur d'opium de Thomas De Quincey  paru en 1821. Pour l'écriture de cette partie, Baudelaire oscille entre passages traduits, commentaires littéraires, philosophiques et biographiques. À la suite de Quincey, il décrit plusieurs visions provoquées par l'opium, dont une qui met en scène le spectre de Brocken.