Την χειρότερη περίοδο της ζωής του χαρακτήρισε τους Ολυμπιακούς Αγώνες του 2004 στην Αθήνα ο Στέφον Μάρμπερι.
Ο λόγος δεν είναι άλλος από τις σχέσεις του με τον πρώην προπονητή του, Λάρι Μπράουν, όπως αποκάλυψε ο έμπειρος γκαρντ στο complex.com. Κατά την διάρκεια της πρώτης προπόνησης ο Μπράουν ρώτησε τους παίκτες του, μεταξύ των οποίων ο ΛεΜπρόν Τζέιμς, ο Τιμ Ντάνκαν και ο Άλεν Άιβερσον, για τους στόχους τους στο τουρνουά.
«Όταν έφτασε σε μένα, είχαν ειπωθεί όλα από τους προηγούμενους και εγώ τόνισα πως πρέπει να το διασκεδάσουμε. Αυτός γύρισε στην ομάδα κι είπε... τον ακούσατε τι είπε. Διασκέδαση και γέλασε. Ήταν οι χειρότερες 38 μέρες της ζωής μου».
Την επόμενη χρονιά ο Αιζάια Τόμας αποφάσισε να προσλάβει τον Μπράουν στους Νικς και ο Μάρμπερι προσπάθησε να αποτρέψει την συμφωνία. «Τον παρακάλεσα να μην τον φέρει στην ομάδα. Ήταν ανυπόφορο. Κανείς δεν ήθελε να παίξει για αυτόν. Ήταν το περιβάλλον που του άρεσε. Η μιζέρια».
Ωστόσο, ο Μάρμπερι δεν τα πήγε καλά ούτε με τον ίδιο τον Τόμας που διαδέχθηκε τον Μπράουν αλλά ούτε και με τον Μάικ Ντ'Αντόνι που τον χρησιμοποιούσε όλο και λιγότερο. Από εκείνο το σημείο άρχισε η κατρακύλα για τον πρώην άσο των Νικς που βρέθηκε από το ΝΒΑ στα γήπεδα της Κίνας, όπου έχει βρει... την υγειά του.