• صفحه اصلی
  • همه اخبار
  • تبلیغات تکناک
  • درباره ما
  • تماس با ما
اخبار تکنولوژی روز جهان و ایران
  • فناوری
    • اخبار هوش مصنوعی
    • رباتیک
    • اینترنت و شبکه
    • شبکه های اجتماعی
    • هوافضا
    • معماری
    • ورزش
    • رویداد ها
    • دوربین دیجیتال
  • کامپیوتر و موبایل
    • موبایل و تبلت
    • لپ تاپ و کامپیوتر
    • اپلیکیشن موبایل
    • نرم افزار
    • سخت افزار
    • ساعت هوشمند
    • مانیتور
    • اسپیکر و هدفون
    • سیستم عامل موبایل
    • سیستم عامل کامپیوتر
  • نقد و بررسی
    • بررسی موبایل و تبلت
    • کنسول بازی
    • بررسی لپ تاپ و کامپیوتر
    • قطعات کامپیوتر
    • نرم افزار
    • بررسی اسپیکر و هدفون
    • بررسی ساعت هوشمند
  • آموزش
    • سیستم عامل موبایل
    • سیستم عامل کامپیوتر
    • آموزش هوش مصنوعی
    • سخت افزار
  • اخبار ارز دیجیتال
    • قیمت لحظه ای ارز دیجیتال
    • ماشین حساب ارز دیجیتال
    • آموزش ارز دیجیتال
  • علمی
    • سلامت و پزشکی
    • انرژی
    • فیزیک
    • شیمی
    • نجوم
    • ورزش
    • محیط زیست
    • باستان شناسی
  • کسب و کار
    • شرکت ها
    • بورس
    • مدیریت(پروژه، کسب و کار، منابع انسانی)
    • استارتاپ ها
    • دولت الکترونیک
    • رویداد کسب و کار
  • وسائل نقلیه
    • خودرو
    • دوچرخه
    • موتور سیکلت
    • قطار
    • هواپیما
  • بازی و سرگرمی
    • کنسول بازی های کامپیوتری
    • بازی های کامپیوتر
    • بازی کنسول
    • بازی موبایل
    • فیلم و سریال
  • چند رسانه ای
    • عکس
    • ویدئو
  • اخبار داخلی
    • دانش بنیان
    • دولت الکترونیک
    • رویداد داخلی
    • بازار
    • دانشگاه
No Result
مشاهده تمامی نتایج
اخبار تکنولوژی روز جهان و ایران
  • فناوری
    • اخبار هوش مصنوعی
    • رباتیک
    • اینترنت و شبکه
    • شبکه های اجتماعی
    • هوافضا
    • معماری
    • ورزش
    • رویداد ها
    • دوربین دیجیتال
  • کامپیوتر و موبایل
    • موبایل و تبلت
    • لپ تاپ و کامپیوتر
    • اپلیکیشن موبایل
    • نرم افزار
    • سخت افزار
    • ساعت هوشمند
    • مانیتور
    • اسپیکر و هدفون
    • سیستم عامل موبایل
    • سیستم عامل کامپیوتر
  • نقد و بررسی
    • بررسی موبایل و تبلت
    • کنسول بازی
    • بررسی لپ تاپ و کامپیوتر
    • قطعات کامپیوتر
    • نرم افزار
    • بررسی اسپیکر و هدفون
    • بررسی ساعت هوشمند
  • آموزش
    • سیستم عامل موبایل
    • سیستم عامل کامپیوتر
    • آموزش هوش مصنوعی
    • سخت افزار
  • اخبار ارز دیجیتال
    • قیمت لحظه ای ارز دیجیتال
    • ماشین حساب ارز دیجیتال
    • آموزش ارز دیجیتال
  • علمی
    • سلامت و پزشکی
    • انرژی
    • فیزیک
    • شیمی
    • نجوم
    • ورزش
    • محیط زیست
    • باستان شناسی
  • کسب و کار
    • شرکت ها
    • بورس
    • مدیریت(پروژه، کسب و کار، منابع انسانی)
    • استارتاپ ها
    • دولت الکترونیک
    • رویداد کسب و کار
  • وسائل نقلیه
    • خودرو
    • دوچرخه
    • موتور سیکلت
    • قطار
    • هواپیما
  • بازی و سرگرمی
    • کنسول بازی های کامپیوتری
    • بازی های کامپیوتر
    • بازی کنسول
    • بازی موبایل
    • فیلم و سریال
  • چند رسانه ای
    • عکس
    • ویدئو
  • اخبار داخلی
    • دانش بنیان
    • دولت الکترونیک
    • رویداد داخلی
    • بازار
    • دانشگاه
No Result
مشاهده تمامی نتایج
اخبار تکنولوژی روز جهان و ایران
تک ناک فناوری اخبار هوش مصنوعی

هوش مصنوعی GPT-2 در ۲۴ ساعت و فقط با ۶۷۲ دلار بازتولید شد

امیرحسین یونس نوشته شده توسط امیرحسین یونس
شنبه 23 تیر 1403 - 22:10
در اخبار هوش مصنوعی
GPT-2
کپی لینکاشتراک گذاری در تلگراماشتراک گذاری در توییتر

اندری کارپاتی، مدیر سابق هوش مصنوعی تسلا، با استفاده از کد منبع جدیدی به نام llm.c، مدل زبانی GPT-2 را در ۲۴ ساعت و با هزینه‌ی فقط ۶۷۲ دلار بازتولید کرد.

به‌گزارش تک‌ناک، شرکت OpenAI در سال ۲۰۱۹ مدل GPT-2 را معرفی کرد. در آن زمان، گزارش شده بود که هزینه‌ی آموزش این هوش مصنوعی ۲۵۶ دلار در ساعت بود. با‌این‌حال، از آن زمان پنج سال گذشته و اکنون به GPT-4 رسیده‌ایم. همان‌طور‌که آندره کارپاتی، توسعه‌دهنده‌ی پروژه‌ی بازتولید GPT-2 در llm.c، ثابت کرده، پیشرفت در سخت‌افزار و نرم‌افزار و داده‌ها بدین‌معنی است که آموزش همان مدل زمان و هزینه‌ی کمتری می‌برد.

تامزهاردور می‌نویسد که عامل اصلی کاهش هزینه استفاده از گره 8XH100 واحد برای آموزش است که هزینه را به تنها ۲۸ دلار در ساعت کاهش می‌دهد؛ یعنی تقریباً ۹۰ درصد کاهش در کمتر از پنج سال. انویدیا پردازنده‌ی H100 را در سال ۲۰۲۳ معرفی کرد؛ بنابراین، OpenAI احتمالاً از سخت‌افزار با قدرت بسیار کمتر هنگام شروع کار روی GPT-2 استفاده کرده است. با‌این‌حال، تعداد ساعت‌های صرف‌شده برای آموزش GPT-2 مشخص نیست. در مقام مقایسه، هزینه‌ی آموزش GPT-4 بیش از ۱۰۰ میلیون دلار برآورد شده است.

یکی دیگر از عواملی که باعث شد آموزش llm.c بسیار سریع‌تر انجام شود، پیاده‌سازی مستقیم آموزش GPT در آن است. پروژه‌ی llm.c ابتدا به‌عنوان بخشی از ویدئویی آموزشی شروع شد؛ اما به‌زودی به چیزی تبدیل شد که کارپاتی پس از «گیر‌کردن با برخی موارد PyTorch» از ابتدا ساخت. این نشان‌دهنده‌ی علاقه‌ی کارپاتی به هوش مصنوعی و تلاش‌هایی است که برای تکمیل پروژه‌ی خود انجام داده است. با‌این‌حال، وی این کار را به‌تنهایی انجام نداد و از حمایت چندین توسعه‌دهنده از سراسر جهان برخوردار بود.

GPT-2

پیشرفت در سخت‌افزار و نرم‌افزار و داده‌های آموزشی بدین‌معنی نیست که آموزش پیشرفته‌ی هوش مصنوعی ارزان‌تر می‌شود. داریو آمودئی، مدیرعامل آنتروپیک (Anthropic)، گفت مدل‌های هوش مصنوعی که امروز آموزش می‌بینند، در‌حال‌حاضر ۱ میلیارد دلار هزینه دارند و مدل‌های گران‌تر تا سال ۲۰۲۵ به ۱۰۰ میلیارد دلار می‌رسند.

دلیل این افزایش هزینه‌ها آن است که اگرچه سخت‌افزارها قدرتمندتر می‌شوند، قیمتشان نیز افزایش می‌یابد. برای مثال، هر پردازنده‌ی H100 انویدیا در‌حال‌حاضر ۴۰ هزار دلار قیمت دارد. همچنین، انتظار می‌رود که نسل بعدی چیپ‌های هوش مصنوعی بلک‌ول (Blackwell) با قیمت ۷۰ هزار دلار فروخته شوند و رک کامل سرور به ۳ میلیون دلار یا بیشتر برسد؛ مگر اینکه پیشرفت‌های سخت‌افزاری مانند چیپ هوش مصنوعی Sohu، ایسیک (ASIC) طراحی‌شده‌ی مخصوص ترانسفورمرها، پیدا کنیم.

علاوه‌بر پیامدهای هزینه، افزایش نیازهای انرژی مراکز داده هوش مصنوعی برخی از متخصصان را نگران کرده است. فقط یک چیپ H100 با نرخ استفاده سالانه‌ی متوسط ۶۱ درصد، سالانه‌ی ۳/۷ مگاوات‌ساعت برق مصرف می‌کند. با فروش بیش از ۳/۸ میلیون GPU هوش مصنوعی انویدیا و سایر شرکت‌ها در سال گذشته، این میزان به ۱۴/۳ تراوات ساعت برق در سال می‌رسد؛ درست به‌اندازه‌ی تأمین برق ۱/۳ میلیون خانوار متوسط آمریکایی.

بااین‌همه حتی با تمام پول و انرژی صرف‌شده برای هوش مصنوعی، مدیرعامل دیپ‌مایند گوگل می‌گوید که مدل‌های فعلی هنوز در سطح IQ گربه هستند؛ بنابراین، هنوز باید میلیاردها دلار دیگر در مدل‌های آینده سرمایه‌گذاری کنیم. بااین‌حال، اگر می‌خواهید مدل زبان بزرگ خود را با استفاده از مدل‌های قدیمی‌تر بسازید، به صرف سرمایه‌ای هنگفت نیازی ندارید؛ بلکه فقط هوش لازم برای ایجاد زبان و چندصد دلار کافی است.

امیرحسین یونس

امیرحسین یونس

کارشناس ارشد محیط زیست، نویسنده حوزه تکنولوژی

مطالب مرتبط

پاشنه آشیل هوش مصنوعی؛ چرا معماهای ساده هنوز ماشین‌ها را شکست می‌دهند
اخبار هوش مصنوعی

پاشنه آشیل هوش مصنوعی؛ چرا معماهای ساده هنوز ماشین‌ها را شکست می‌دهند

نوشته شده توسط نرگس چالوک
13 شهریور 1404
اپل با همکاری گوگل Siri را ارتقا می دهد
اخبار هوش مصنوعی

اپل با همکاری گوگل سیری را ارتقا می دهد

نوشته شده توسط سید محمد برازنده
13 شهریور 1404
سوئیس از مدل هوش مصنوعی متن‌باز خود رونمایی کرد
اخبار هوش مصنوعی

سوئیس از مدل هوش مصنوعی متن‌باز خود رونمایی کرد

نوشته شده توسط سید محمد برازنده
13 شهریور 1404
درخواست عجیب برای مدیرعاملی OpenAI
اخبار هوش مصنوعی

درخواست جوان اهل ترکیه برای مدیرعاملی OpenAI؛ پاسخ شرکت جالب بود

نوشته شده توسط اسما کلهر
12 شهریور 1404
خروج پژوهشگران هوش مصنوعی از اپل
اخبار هوش مصنوعی

محقق ارشد رباتیک اپل را به مقصد متا ترک کرد

نوشته شده توسط امیرحسین یونس
12 شهریور 1404
خبر بعدی
AT&T

دانلود غیرقانونی داده‌های ۱۰۹ میلیون مشتری شرکت AT&T

دیدگاهتان را بنویسید لغو پاسخ

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

آذرآنلاین آذرآنلاین آذرآنلاین

پیشنهادی

حذف صفر از پول ملی

حذف صفر از پول ملی ایران؛ راه‌حل یا جراحی زیبایی اقتصاد؟

31 مرداد 1404
مانیتور 32U990A ال‌جی

ال‌جی از اولین مانیتور 6K جهان با پورت تاندربولت 5 پرده‌برداری کرد

10 شهریور 1404

داغ‌ترین‌های روز

بهترین گوشی سامسونگ از نظر دوربین

بهترین گوشی‌های سامسونگ از نظر دوربین (تابستان ۱۴۰۴)

7 شهریور 1404 - به‌روزشده در 8 شهریور 1404
بوئینگ از جنگنده نسل ششم نیروی دریایی آمریکا رونمایی کرد

بوئینگ از جنگنده نسل ششم نیروی دریایی آمریکا رونمایی کرد

11 شهریور 1404
پوکو C85 معرفی شد؛ تراشه هلیوG81 اولترا و باتری ۶۰۰۰ میلی‌آمپر ساعتی

معرفی پوکو C85 با تراشه هلیو G81 اولترا و باتری 6,000 میلی‌آمپرساعتی

10 شهریور 1404 - به‌روزشده در 13 شهریور 1404
رونمایی گوشی‌های پرچمدار در سپتامبر

هفت پرچمدار اندرویدی ساخت شرکت‌های چینی در ماه سپتامبر معرفی می‌شوند

6 شهریور 1404 - به‌روزشده در 9 شهریور 1404
بهترین لپ‌تاپ‌های گیمینگ اقتصادی [تابستان ۱۴۰۴]

بهترین لپ‌تاپ‌های گیمینگ اقتصادی در تابستان ۱۴۰۴

9 شهریور 1404 - به‌روزشده در 13 شهریور 1404
تک ناک - اخبار تکنولوژی روز جهان و ایران

دنیا با سرعتی خیره کننده به سمت تحقق رویاهایی می رود که تا دیروز دست نیافتنی و محال بود و بشر با گذر از دریایی از موانع یک به یک در حال تحقق آنها است.

ما در” تک ناک” تلاش می کنیم سهمی از انعکاس تحولات بی شمار فناوری و اخبار تکنولوژی داشته باشیم و در این کهکشان بی انتهای یافته های علمی و دانش محور محتوایی قابل اتکاء و اخباری موثق را از گوشه و کنار دنیا در اختیار علاقمندان و مخاطبان خود قرار دهیم.

ما را در شبکه های اجتماعی دنبال کنید

تازه‌ها

جان دیتون: جامعه کاربری فعال ریپل، نقشی کلیدی در پیروزی حقوقی در برابر SEC داشت

جان دیتون: جامعه کاربری فعال ریپل، نقشی کلیدی در پیروزی حقوقی در برابر SEC داشت

13 شهریور 1404
به‌روزرسانی شبکه استلار باعث توقف معاملات XLM شد؛ قیمت پشت سد ۰.۳۷ دلار متوقف شده است

به‌روزرسانی شبکه استلار باعث توقف معاملات XLM شد؛ قیمت پشت سد ۰.۳۷ دلار متوقف شده است

13 شهریور 1404
شاسی بلند سه ردیفه تسلا در راه است

شاسی بلند سه ردیفه تسلا در راه است

13 شهریور 1404
افزایش ۷۲ درصدی وام‌دهی دیفای؛ استیبل‌کوین‌ها و دارایی‌های توکن‌سازی‌شده محرک اصلی رشد

افزایش ۷۲ درصدی وام‌دهی دیفای؛ استیبل‌کوین‌ها و دارایی‌های توکن‌سازی‌شده محرک اصلی رشد

13 شهریور 1404

دسترسی سریع

  • فناوری
  • کامپیوتر و موبایل
  • نقد و بررسی
  • آموزش
  • ارز دیجیتال
  • علمی
  • کسب و کار
  • وسائل نقلیه
  • بازی و سرگرمی
  • چند رسانه ای
  • صفحه اصلی
  • همه اخبار
  • تبلیغات تکناک
  • درباره ما
  • تماس با ما

© Copyright 2025 Technoc.ir

technoc-instagram
No Result
مشاهده تمامی نتایج
  • فناوری
    • اخبار هوش مصنوعی
    • رباتیک
    • اینترنت و شبکه
    • شبکه های اجتماعی
    • هوافضا
    • معماری
    • ورزش
    • رویداد ها
    • دوربین دیجیتال
  • کامپیوتر و موبایل
    • موبایل و تبلت
    • لپ تاپ و کامپیوتر
    • اپلیکیشن موبایل
    • نرم افزار
    • سخت افزار
    • ساعت هوشمند
    • مانیتور
    • اسپیکر و هدفون
    • سیستم عامل موبایل
    • سیستم عامل کامپیوتر
  • نقد و بررسی
    • بررسی موبایل و تبلت
    • کنسول بازی
    • بررسی لپ تاپ و کامپیوتر
    • قطعات کامپیوتر
    • نرم افزار
    • بررسی اسپیکر و هدفون
    • بررسی ساعت هوشمند
  • آموزش
    • سیستم عامل موبایل
    • سیستم عامل کامپیوتر
    • آموزش هوش مصنوعی
    • سخت افزار
  • اخبار ارز دیجیتال
    • قیمت لحظه ای ارز دیجیتال
    • ماشین حساب ارز دیجیتال
    • آموزش ارز دیجیتال
  • علمی
    • سلامت و پزشکی
    • انرژی
    • فیزیک
    • شیمی
    • نجوم
    • ورزش
    • محیط زیست
    • باستان شناسی
  • کسب و کار
    • شرکت ها
    • بورس
    • مدیریت(پروژه، کسب و کار، منابع انسانی)
    • استارتاپ ها
    • دولت الکترونیک
    • رویداد کسب و کار
  • وسائل نقلیه
    • خودرو
    • دوچرخه
    • موتور سیکلت
    • قطار
    • هواپیما
  • بازی و سرگرمی
    • کنسول بازی های کامپیوتری
    • بازی های کامپیوتر
    • بازی کنسول
    • بازی موبایل
    • فیلم و سریال
  • چند رسانه ای
    • عکس
    • ویدئو
  • اخبار داخلی
    • دانش بنیان
    • دولت الکترونیک
    • رویداد داخلی
    • بازار
    • دانشگاه

© Copyright 2025 Technoc.ir