Začněme velmi důležitým faktem: ChatGPT a GPT-3 nejsou totéž. GPT-3 je velký jazykový model (zkráceně LLM) vytvořený pomocí architektury hlubokého učení podobné Transformeru (více o tom za chvíli). LLM modely jsou digitální ekvivalenty člověka s fotografickou pamětíkdo četl všechny textové knihy a publikace, např. články, zákony, vzorové dokumenty, vědecký výzkum.

Na druhé straně ChatGPT je chatbot (software) používající GPT-3 (přesněji 3.5), vybavený dalšími technikami strojového učení, jako je učení pod dohledem a učení zesilující zpětnou vazbu od člověka. OpenAI v oficiálních dokumentech definuje ChatGPT jako optimalizovaný jazykový model pro dialogy. Ať už to nazveme jakkoli – ať už je to velmi inteligentní chatbot využívající LLM nebo optimalizovaný model – je to úplně jiný produkt. Především ChatGPT měl nedávno API (je to zkratka Application Programming Interface – pozn. red.); komunikace s ním však probíhá formou dialogu, tedy spíše ve stylu komunikace člověk-systém. Na druhou stranu GPT-3 (173 miliard parametrů) a další modely LLM jsou vhodné pro komunikaci mezi systémem, kupř. díky přísně technickým doplňkovým parametrům (například teplotě – díky které člověk ovládá kreativitu odezvy), tzn. jsou připraveny na pokročilé profesionální implementace.

Především, pokud chceme, aby za nás ChatGPT vyřešil určitý úkol, popíšeme jej formou dialogu, jak se na chat sluší a patří. Na druhou stranu GPT-3 (stejně jako ostatní LLM) se ovládá jednoduchými příkazy a výzvami zasílanými přes speciální programovací rozhraní. Proto GPT-3 využijí spíše jiné aplikace (od kancelářských aplikací po internetové obchody a CRM systémy) než přímo lidé.

To je důvod, proč Microsoft použil model GPT-3 ve svých týmech ke generování automatických poznámek, extrahování úkolů a identifikaci lidí. Všimněte si však, že byl použit model GPT-3, nikoli ChatGPT. Zatímco ChatGPT přidala do vyhledávače Bing redmondská společnostk tomuto tématu se však vrátíme.

Nyní, když známe rozdíl mezi GPT-3 a ChatGPT, můžeme přejít k další důležité skutečnosti: GPT-3 není jediný, nebo dokonce největší, ale jeden z mnoha jazykových modelů trénovaných na obrovských databázích textových publikací (LLM). Abychom pochopili, odkud tyto vzorce pocházejí, musíme se vrátit do roku 2017, kdy výzkumníci z výzkumného oddělení Googlu a University of Toronto publikovali článek „Attention Is All You Need“, ve kterém představili „jednoduchou“ architekturu Transformeru. na základě mechanismu sebepozornosti). Tato architektura byla věnována sekvenčním datům, jako jsou texty. Proč je pozornost tak důležitá? Protože člověku umožňuje soustředit se na nejdůležitější slova nebo útržky i dlouhých výroků a použít to, co je pro něj nejdůležitější. Tak proč to nenapodobit v algoritmu hlubokého učení?

Zbytek článku pod videem

Během tří měsíců od zveřejnění článku se na trhu objevily první modely LLM, tedy ELMO (únor 2018) z AI ​​Institutu Paul Allen a University of Washington, GPT-1 (červen 2018) OpenAI, BERT ( Listopad 2018) Google, GTP-2 (únor 2019) OpenAI a GPT-3 OpenAI (červen 2019). Jak vidíte, kromě OpenAI (tvůrci GPT-3) má velmi velký přínos také Google. Současné prostředí je ještě složitější s otevřeným vědeckým modelem GPT-NeoX od EleutherAI a modelem Cohere připraveným k použití na trhu. Nelze zapomenout na větší modely PaLM (540 miliard parametrů, Google) a MT-NLG (530 miliard parametrů, Nvidia a Microsoft).

Počet parametrů velkého jazykového modelu (popis schématu níže)

Co znamenají počty parametrů LLM udávané médii a výrobci, například GPT-3 – 175 miliard parametrů? Jedná se o parametry neuronové sítě, přesněji řečeno o počet vah. Nebudeme se pouštět do podrobné analýzy architektury neuronových sítí, počtu neuronů, spojení, vrstev a role vah v celé této neurologické mašinérii. Je však důležité, že čím vyšší je počet parametrů (váh), tím je model složitější a potenciálně i přesnější může být jazykový model. A pokud je přesnost lepší, pak můžeme zjednodušeně říci, že model je pevnější. Proto není divu, že PaLM a MT-NLG jsou nazývány největšími a nejvýkonnějšími jazykovými modely, což znamená, že mají nejvyšší počet parametrů neuronové sítě (váhy) a které vyžadovaly obrovské textové báze k jejich vytvoření počítané v terabajtech.

Proč jsou velké jazykové modely tak běžné, ať už v ChatGPT nebo v mnoha užitečných aplikacích či systémech (CopyAI, Jasper.ai, PolyAI) či systémech (např. QuickChat)? Modely díky své enormní „připravenosti“ dokážou vyřešit většinu úloh souvisejících s textem, od generování textu, strojového překladu, korektury, synopse až po zodpovězení otázek. Kromě tohoto multitaskingu neprobíhá komunikace s modelem přes složitá technická volání API, ale přes přirozený jazyk. Jednoduše mu pošleme popis práce: „přeložte následující text do angličtiny“. Někdy je potřeba našemu modelu pomoci tím, že mu ukážete například kontext a to, co ve výstupu očekáváme. Vše přirozeným jazykem, jako bychom pomáhali mladšímu kolegovi v práci. Díky tomu průmysl definoval novou dovednost (a někdy i profesi budoucnosti), a to rychlé inženýrství, tedy schopnost vytvářet vodítka a nápovědy pro velké modely jazyka za účelem efektivního řešení úkolů. Úkolový agnosticismus a jednoduchá komunikace s modelem prostřednictvím rad a podnětů je tedy čistou demokratizací výpočetní techniky. Když k tomu přidáme efektivitu, máme zaručený úspěch, který právě teď vidíme.

Microsoft dlouhodobě finančně podporuje OpenAI, tvůrce GPT-3, ChatGPT a také Dall-e (generování obrázků) a Whisper (extrakce textu ze zvuku). Kvůli tomu začal důrazně komunikovat své plány na začlenění LLM do svých produktů. Microsoft Teams dostal GPT-3 a Bing byl rozšířen o ChatGPT. Mnoho lidí dává toto prvenství na roveň nedávným propouštěním zaměstnanců vyhledávacího gigantu a evokuje přesvědčení, že je to konec závodu s velkým poraženým. Google má však jeden z největších LLM modelů na světě a odstartoval revoluci v generativních modelech (viz Architecture Transformer).

To je proč Rok 2023 bude pro nás jako společnost produktivní, protože každý měsíc dojde k průlomovým implementacím hlavních jazykových modelů v desktopových, komunikačních a vyhledávačích.. Google již na ChatGPT zareagoval svým řešením Bard, které podporuje jeho proprietární model LaMDA. Vypadá to tedy, že vyhledávače Bing a Google budou mít zcela novou funkci, která s největší pravděpodobností změní způsob, jakým lidé získávají znalosti. Závod tedy nekončí, teprve začal a bude ještě mnoho dalších účastníků.

Technologie ChatGPT má smíšené názory – napůl ji miluje a napůl nenávidí. Na sociálních sítích existují dva typy komentářů: „Wow! To je skvělý nástroj, [nazwa stanowiska pracy] může balit“ nebo „Říká cokoliv, nikdy nenahradí [nazwa stanowiska pracy]Je tedy čas začít diskutovat o budoucnosti AI a jejím dopadu na trh práce. samotný název „umělá inteligence“ je dost mylný. Umělé prostředky konstruované tak, aby nahradily přirozené? Nebylo by lepší jít směrem Intelligence Amplification, který má dokonce podobnou zkratku IA (Intelligence Amplification) 😉 a věk (počátek 50. let). Nedávno Deloitte zavedl termín tzv. supertýmy. Myšlenka supertýmů, tedy spolupráce lidí a inteligentních strojů při řešení problémů a maximalizaci firemních hodnot. Tato myšlenka však neznamená redukci zaměstnanců, naopak – jejich rozvoj. V tomto kontextu by IA neměla být chápána jako náhražka, ale jako spolupracovník, který nám pomůže zvýšit spokojenost našich zákazníků, uvést na trh nové produkty nebo propagovat společnost.

Velké jazykové modely, jak jejich název napovídá, jsou trénovány na obrovských souborech textových dat – stovkách gigabajtů pro jeden jazyk. Jejich multitasking je způsoben rozmanitostí textů a specializovaným nastavením. Je těžké vše vysvětlit pěti vybranými fakty a deseti tisíci postavami. Tato zkrácená dávka znalostí o ChatGPT, GPT a oboru LLM obecně v podobě rozboru nejdůležitějších faktů o nich by však měla stačit k tomu, abychom začali rozlišovat tzv. „odborníků“ odborníků. Ještě důležitější je, že se na tyto revoluční technologie také podíváte z jiného úhlu. Pokud hledáte use case pro jejich využití ve vašem podnikání, zaměřte se spíše na velké jazykové modely, jako je GPT-3, Bloom, Cohere nebo GPT-NEOX, nebo jejich komerční implementace, například v podobě AI Writing Assistant než na chatech Bard nebo ChatGPT. Při analýze použití modelů se zaměřte jak na úspory nákladů (zejména v dlouhodobém horizontu), tak na cíle související s maximalizací obchodní hodnoty.

Nebojte se LLM sami otestovat – téměř všichni prodejci (OpenAI, Cohere, NlpCloud) mají tzv. rozsáhlé sandboxy a výukové programy a rychlé inženýrství vám umožní otestovat vaše nejdivočejší podnikatelské nápady. Pokud by však bylo něco v článku nesrozumitelné, nebo pokud chcete téma rozšířit nebo potřebujete více poradit s výzvami, není to těžké – zeptejte se ChatGPT, (brzy) Bardy nebo kontaktujte -My.

Autory článku jsou: Sebastian Kondracki, Chief Innovation Officer ve společnosti Deviniti a Piotr Jaworski, vedoucí prodeje společnosti Deviniti.

Článek vznikl v rámci věcné spolupráce mezi Obchodní akademií a Deviniti.