مات في عهده: وكان ملازمهم في دورهم، وظاهر أن خدمته لهم قد فسرها في قوله: "وكان ملازمهم في دورهم" فهو إنما كان مقربا عندهم يأنسون إليه وينال من برهم وألطافهم، ولا يراد أنه يلي لهم عملا من أعمال الديوان.
نهايته:
بلغ ابن جني المنهل الذي يرده كل من على ظهرها، وألقى عصا التسيار في هذه الحياة في يوم الخميس السابع والعشرين من صفر سنة اثنتين وتسعين وثلاثمائة1. ويكاد الرواة يجمعون على سنة وفاته، إلا ما كان من ابن الأثير في تاريخه، فهو يضع وفاته سنة 393، وتبعه على هذا أبو الفداء في المختصر. ويبدو أن وفاته كانت ليلا أي ليلة الجمعة. ففي فهرست ابن النديم: "توفي ليلة الجمعة من صفر" وفي ديوان الشريف الرضي عند إيراد مرثيته في ابن جني: "وتوفي ببغداد ليلة الجمعة". وفي هذا الديوان أيضا في الموطن السابق: "وتولى الصلاة عليه الشريف الرضي؛ وكان بينهما صداقة وكيدة".
وقد كانت وفاته ببغداد، حيث استقر في آخر أيامه. ودفن في مقابرها ولا أدري في أيها دفن، ودفن أبو علي أستاذه في الشونيزية فهل دفن فيها بجوار شيخه.
وقد رثاه الشريف الرضي بقصيدة عامرة عدتها تسعة وخمسون بيتا، مثبتة في ديوانه، يقول في أولها:

ألا يا لقوم للخطوب الطوارق

وللعظم يرمى كل يوم بعارق2

ــــــــــــــــــــــــــــــــــــــــــــــــــ
1 يوافق 15 من يناير سنة 1002م.
2 يقال: عرق العظم: أخذ ما عليه من اللحم. يريد نزول الحوادث بالمرء، فيجردنه من الأعلاق النفيسة من حميم ومال.