توکن چیست و هزینه API هوش مصنوعی به تومان چطور حساب می‌شود؟

مدل‌های زبانی متن را کلمه به کلمه نمی‌خوانند؛ آن را به تکه‌های کوچکی به نام توکن می‌شکنند. یک توکن ممکن است یک کلمهٔ کوتاه، بخشی از یک کلمهٔ بلند یا یک علامت نگارشی باشد.

دو نکته که بیشتر کاربران نمی‌دانند:

• متن فارسی معمولاً برای انتقال معنای یکسان توکن بیشتری از متن انگلیسی مصرف می‌کند.
• کد، جدول و متن‌های پر از عدد و علامت هم توکن زیادی می‌گیرند.

هر درخواست دو بخش دارد:

• توکن ورودی: هر چیزی که برای مدل می‌فرستید؛ سؤال، پرامپت سیستمی و تاریخچهٔ گفت‌وگو.
• توکن خروجی: پاسخی که مدل تولید می‌کند.

قیمت هر مدل برای «هر یک میلیون توکن» ورودی و خروجی جداگانه اعلام می‌شود و خروجی تقریباً همیشه گران‌تر است. فرمول کامل در صفحهٔ قیمت‌گذاری مستندات آمده است:

هزینه = (توکن ورودی ÷ 1,000,000) × قیمت ورودی      + (توکن خروجی ÷ 1,000,000) × قیمت خروجی

فرض کنید قیمت مدلی (عدد فرضی) این باشد:

و درخواست شما ۲٬۰۰۰ توکن ورودی و ۵۰۰ توکن خروجی داشته باشد:

• ورودی: ۲٬۰۰۰ ÷ ۱٬۰۰۰٬۰۰۰ × ۱۵۰٬۰۰۰ = ۳۰۰ تومان
• خروجی: ۵۰۰ ÷ ۱٬۰۰۰٬۰۰۰ × ۶۰۰٬۰۰۰ = ۳۰۰ تومان

یعنی کل این درخواست ۶۰۰ تومان هزینه دارد. قیمت واقعی هر مدل را در لیست مدل‌ها ببینید.

API مدل‌ها «حافظه» ندارد: برای اینکه مدل گفت‌وگوی قبلی را بداند، باید کل تاریخچه را در هر درخواست دوباره بفرستید. پیام دهم یک گفت‌وگو، نُه پیام قبلی را هم با خودش می‌برد و هر بار توکن ورودی بیشتری مصرف می‌شود.

• مدل را درست انتخاب کنید: برای کارهای ساده، مدل‌های nano و mini چندین برابر ارزان‌ترند.
• خروجی را محدود کنید: پارامتر max_tokens سقف طول پاسخ را تعیین می‌کند.
• تاریخچه را کوتاه نگه دارید: فقط چند پیام آخر را بفرستید یا پیام‌های قدیمی را خلاصه کنید.
• پرامپت سیستمی را جمع‌وجور کنید: هر کلمهٔ اضافه در هر درخواست تکرار می‌شود.

هزینهٔ API هوش مصنوعی ساده است: تعداد توکن ضرب در قیمت. چیزی که آن را گران می‌کند معمولاً تکرار تاریخچه و پرامپت‌های بزرگ است، نه خود سؤال‌ها. با انتخاب مدل مناسب و کنترل طول ورودی و خروجی، همان کار را با هزینهٔ خیلی کمتر انجام می‌دهید.