Омӯзиши истифодаи AI-и маҳаллӣ ҳаяҷоновар, аз ҳад зиёд ва рӯҳафтода аст

Ман ба саёҳате шурӯъ мекунам, ки ман то ҳол дудила будам, ки идома диҳам: воқеан бо истифода аз AI мунтазам. Додани маълумоти шахсии бештари ман ба хидматҳои абрӣ барои ман як мушкили бузург буд, аммо имкон дорад, ки моделҳои пурқувватро ба таври маҳаллӣ идора кунед, то бубинед, ки онҳо ба чӣ қодиранд. Оё ин технология он қадар фоиданок аст, ки ба як компютер ё ноутбук бо хотираи аз ҳад гаронбаҳои RAM партофтани миқдор пул лозим аст? Ман кӯшиш мекунам, ки ба шумо дар фаҳмидани он кӯмак расонам. Ман коршиноси AI нестам, ин барои ман як сафар хоҳад буд, аммо шояд ман ба шумо кӯмак карда метавонам, то бубинед, ки оё ин сафар арзанда аст ё не – ва ман роҳи худро тавассути он нашр хоҳам кард.

Қисми зиёди қатрони Apple барои мизи кории нави Mac он аст, ки то чӣ андоза онҳо барои AI-и маҳаллӣ хубанд ва як қатор мошинҳои нави RTX Spark Windows ба зудӣ фуруд меоянд, ки то 128 ГБ хотираи оперативӣ барои истифодаи AI-и агентӣ нигаронида шудаанд. AI ва агентҳои маҳаллӣ ба монанди: ҳамин тавр ҳозир гарм. Аммо, бо тамоми ҷиддият, фикри доштани гофери хурде, ки танҳо дар қуттии мизи ман зиндагӣ мекунад, ки танҳо ба ман ҷавоб медиҳад ва на сарварони OpenAI, Google, Microsoft ё Anthropic аз эътимод ба хидматҳои абрӣ ё обуна шудан ба чат каме фарқ мекунад. Маро иштибоҳ нафаҳмед, то ҳол ҳеҷ роҳе нест, ки ман онро барои ман навиштан, таҳрир кардан ё тавлиди варақаҳои зишти худ дорам. Аммо ҳоло, бо каме махфият дар паҳлӯям, шояд ман дар ниҳоят дар бораи кори муфиди банд фикр карда метавонам, ки ба он “боварӣ” дошта бошам.

Ҳамин тавр, ҳамчун як қисми санҷиши ҷории ман M5 Ultra Mac Studio ва инчунин озмоиш дар дигар системаҳои Mac ва Windows, ман якчанд LLM-ҳои маҳаллиро насб кардам ва ман ба кор кардан шурӯъ мекунам. Ана, кор чй тавр пеш меравад.

Ман бо насб кардани сарчашмаи кушодаи Hermes Agent дар Mac Studio оғоз кардам. Hermes як барномаи мизи кории агенти AI мебошад, ки дар macOS, Windows ва Linux кор мекунад. Истифодаи он комилан ройгон аст, агар шумо ба LLM-ҳои маҳаллӣ пайваст шавед. Азбаски ин M5 Ultra Mac Studio дорои 256 ГБ хотираи ягона аст, ман метавонам тақрибан ҳар моделеро, ки мехоҳам, иҷро кунам. Ин аст, ки чӣ тавр корҳо зуд аз ҳад зиёд мешаванд. Дар он ҷо моделҳои бештаре ҳастанд, ки ман ҳисоб карда метавонам ва баъзеҳо истифодаи махсус доранд. Умуман, моделҳои дорои бисёр миллиардҳо параметрҳо метавонанд аз моделҳои хурдтар бо якчанд миллиардҳо зиёдтар кор кунанд. Ва азбаски ба мо лозим нест, ки дар бораи пардохти нишонаҳо ҳангоми пешбурди модели маҳаллӣ хавотир нашавем, ман фикр кардам, ки барои оғози кор бузург шавам.

Бо истифода аз интерфейси мустақими борбардории Ҳермес ва интихобкунандаи модел, ман модели Qwen 3.8 Flash Next -ро интихоб кардам – ​​модели параметри 125 миллиард, ки андозаи тақрибан 105 ГБ аст. Ман инчунин нақша дорам, ки бо моделҳои хеле хурдтари Qwen дар дастгоҳҳои монанди M6 Mac Mini, M5 MacBook Air, Asus TUF Gaming A14 бо протсессори AMD Strix Halo ва дар ниҳоят RTX Spark вақт гузаронам. (Мехоҳед мубодила кунед, ки кадом моделҳо ва сахтафзорҳои маҳаллиро истифода мебаред? Шумо медонед, ки шарҳҳои худро дар куҷо гузоред. 🫡)

Бо Ҳермес ва Квен кор кардан ва кор кардан ва ҳатто бо истифода аз боти Telegram онҳоро тавассути телефони ман идора кардан вақти зиёд набуд. Аммо баъд, вақте ки сухан дар бораи истифодаи AI меравад, ба ман душмани муқаррарии худ пешниҳод карда шуд: қуттии матн.

“Ман бо ин чиз чӣ кор кунам?”

Аввалан, барои пеш бурдани кор, ман чанд маслиҳати муфиди YouTube-ро риоя кардам ва Ҳермесро маҷбур кард, ки ба ман як брифинги ҳаррӯзаи саҳарӣ диҳад – танҳо бо кори крон аз хурд оғоз кунед ва боварӣ ҳосил кунед, ки корҳо кор мекунанд. Он почтаи электронӣ ва тақвими маро скан мекунад, ба ман чизе мегӯяд, ки ба таваҷҷӯҳи фаврии ман лозим аст ва ба ман гузориши кӯтоҳи обу ҳаво медиҳад. Ин ҳама он қадар муфид нест ва баръало барои сохтани он ба шумо компютери 12 000 доллар лозим нест, аммо ин чизест, ки ман метавонам бо мурури замон таҳия кунам. Дар аввал мухтасар тавлид карда наметавонист, аммо баъд ман дар ниҳоят фаҳмидам, ки вақте ки кор соати 7:30 оғоз шуд, macOS хобида наметавонад. Дух! Он ҳоло мисли соат кор мекунад, аммо ман бояд дар бораи маълумоти бештар фикр кунам, то ки натиҷаҳоро муфидтар созад.

Вазифаи муфидтар аз нав ташкил кардани китобхонаи Steam-и ман буд. Ман дар Steam зиёда аз 400 бозӣ дорам ва ман ба наздикӣ онҳоро гурӯҳбандӣ кардам, то вақте ки ман мехоҳам чизи наверо бо ҳавас бозӣ кунам. Steam бозиҳои шуморо барои шумо гурӯҳбандӣ намекунад, аз ин рӯ шумо бояд онро ба таври дастӣ як ба як иҷро кунед. Аммо ин ҷоест, ки лакайи агентӣ метавонад ба он ҷо мувофиқат кунад. Ман пурсидам: “Оё шумо метавонед китобхонаи Steam-и маро аз нав ташкил кунед?” Ҳермес метавонист аксари бозиҳои маро танҳо тавассути дидани муштарии Steam насбшуда бубинад. Он ба зудӣ якчанд вариантҳои созмонро барои ман пайдо кард. Ман тасмим гирифтам, ки бозиҳои худро аз рӯи жанр ташкил кунад, аммо баъзе категорияҳои махсуси худро тарк кунам (дӯстдоштаҳо, унвонҳои муштарак, бозиҳои ҳизбӣ, бозиҳо барои бозӣ бо занам ва ғайра).

Шумо бояд ба як AI-и маҳаллӣ ба мошини худ баъзе иҷозатҳо диҳед, то он барои шумо амал кунад ва дар сурати китобхонаи бозии ман ман бояд калиди Steam web API-ро ба қайд гирифта, онро ба Ҳермес диҳам. Пас аз он ки он дастрасӣ ба он дошт, танҳо чанд дақиқа вақт лозим буд, то ки ҳамаи бозиҳоро ба категорияҳо ҷудо кунад. Ва калиди API-ро фавран пас аз бекор кардан осон буд, зеро ба ман минбаъд лозим нест. Идеяи он аст, ки он танҳо як бор ин борбардории вазнинро барои ман иҷро кунад ва он гоҳ ман бозиҳои навро ба категорияҳо пешниҳод мекунам, вақте ки ман онҳоро мехарам. Он дар маҷмӯъ кори хуб кард ва ҳоло китобхонаи Steam-и ман ба осонӣ дидан мумкин аст.

Чизи дигари оддии ман ин таҳлили додаҳо буд. Ман ба Ҳермес маҷбур кардам, ки ба сабтҳои молиявии худ назар андозам, то баъзе рақамҳоро барои ман бубинад ва ман инчунин онро ба ман як ҷадвали муқоисаи мушаххас барои ноутбуки нав созам. Ин чизҳои хурд ҳастанд, аммо онҳо ҳарду вазифаҳое ҳастанд, ки ман ба ягон хидмати абрӣ бовар карда наметавонам ё нахоҳам гуфт – ман намехоҳам он маълумоти ҳассосро ба абр бор кунам ва дар сурати ноутбуки нав, он маълумот таҳти эмбарго буд. Нигоҳ доштани онҳо дар компютери ман фарқияти истифодаи ин асбоб буд ё не.

Ҳаҷми калонтарини автоматикуноние, ки ман ҳоло дар болои он кор карда истодаам, скрипт барои гузаронидани як қатор санҷишҳои муқоисавии ноутбук мебошад. Ман ҳамаи нишондиҳандаҳои худро дастӣ иҷро мекунам ва майл ба ноутбук барои иҷро кардани даҳҳо санҷишҳо – се маротиба зиёдтар, барои гирифтани миёна – бениҳоят вақтро мегирад. Ман мехоҳам ҳадди аққал як қисми онро автоматӣ кунам. Ҳатто гузаштан аз Ҳермес тавассути тамоми расмиёти зарурӣ ва гирифтани туф кардани скриптҳои вибе-кодшудаи Python каме кӯшиш буд ва ин кор дар ҳоли ҳозир боқӣ мемонад. Аммо ман умедворам, ки каме пешрафти мусбӣ ба даст орам.

Ҳанӯз рӯзҳои аввали кор бо Ҳермес аст ва ман умедворам, ки ин танҳо нӯги айсберг дар бораи чизҳои муфиде аст, ки ман онро барои ман иҷро мекунам. Аммо ин ҳам равшан аст, ки ҳатто ин моделҳои пурқуввати маҳаллӣ барои як ёвари ҷодугаре, ки аз ӯҳдаи ҳама кор қодиранд, намесозанд. Корҳо то ҳол на ҳама вақт мувофиқи пешбинишуда кор мекунанд – брифинги ҳаррӯзаи ман чандин маротиба шикастааст.

Ман Гермес ва AI-и маҳаллиро ҳамчун як абзор, як барномаи компютерӣ мебинам, ки дар компютери ман кор мекунад. Ман дӯсти рақамиро намехоҳам. Ман “ташаккур” ё “лутфан” намегӯям ё вақте ки ман дар бораи чизе фикрамро тағир медиҳам, “бубахшед” менависам. Ҳангоми фармоиш додани он ман мисли санг сард ва бепарво мемонам, зеро мушро дар атрофи системаи оператсионӣ пахш мекунам.

Ман умедворам, ки ҳангоми идома додани озмоиш ва омӯзиш бо AI-и маҳаллӣ ҳушёр ва эҳтиёткор бошам. Биёед бубинем, ки он ба куҷо меравад ман.