"Ashita no Joe" ist in den späten 1960er Jahren angesiedelt. Tokio war damals eine schnell wachsende Stadt, in der neue Hochhäuser gebaut wurden. Allerdings spielt dies nicht im aufstrebenden, glänzenden Teil des damaligen Tokio, sondern in den Slums um Tokio. Dort treiben organisierte Verbrecherbanden ihr Unwesen, die sich unter die Menschen mischen und den Armen Schutzgeld abknöpfen. Es beginnt mit einem Herumtreiber, der sich auf der Suche nach einer Bleibe in die Slums begibt und weiterzieht.

Während er durch die Slums läuft, stößt Joe mit einem Betrunkenen, Tange Danpei, zusammen, als dieser aus einer Bar geworfen wird. Danpei bedrängt ihn nach etwas Geld, damit er mehr Sake kaufen kann, um sich weiter darin zu ertränken. Joe weist ihn ab und sie geraten in eine kleine Auseinandersetzung. Danpei, der früher Boxtrainer war und auch ein ehemaliger Boxer, sieht, dass Joe die Instinkte und die angeborenen rohen Fähigkeiten für das Boxen hat. Er ist weiter überzeugt, nachdem er beobachtet hat, wie Joe in einer kleinen Verwicklung mit einigen Mitgliedern der örtlichen Gang kurzen Prozess macht. Danpei schwört, mit dem Trinken aufzuhören und sich seinen Traum zu erfüllen, indem er Joe zu einem Champion-Boxer ausbildet. Nur hat Joe absolut kein Interesse am Boxen.

Die kleine Verstrickung führt dazu, dass der Rest der örtlichen Gang nachts zusammenkommt, um sich mit Joe anzulegen, denn sie können es nicht zulassen, dass ihre Autorität in Frage gestellt wird und sie nicht angemessen darauf reagieren. Während Danpei versucht, Joe vom Boxen auf dem Spielplatz zu überzeugen, taucht die Bande auf, um sich zu rächen und ihre Autorität wieder herzustellen. Der darauf folgende Kampf ist eine handfeste Schlägerei zwischen Joe und der örtlichen Gang. Als die Messer zum Vorschein kommen, wirft sich Danpei in den Kampf, um Joe aus seinen eigenen egoistischen Gründen zurückzuhalten und zu schützen.

Von Anfang an ist Yabuki Joe ein Charakter, der einen starken Eindruck hinterlässt. Er ist selbstbewusst, übermütig, straßentauglich, zynisch, ein Straßenschläger und ein Hochstapler mit etwas Charme. Immer auf der Suche nach Geld, ist er ein sehr versierter Teenager-Schurke. Er verwickelt sogar die Kinder in den Slums in seine Machenschaften. Doch schon zu diesem frühen Zeitpunkt bekommen wir eine andere Seite von ihm zu sehen, die er in den wenigen anderen Dingen, die er tut, auslässt. Seine forsche und übermütige Art steht jedoch im Mittelpunkt, denn sie ist so tief in ihm verwurzelt, dass er nicht anders kann.