AI-ügynök a megbeszélésen

Egy tervezési megbeszélésen gyakran menet közben kell utánanézni valaminek a kódban, felvázolni egy ábrát vagy frissíteni a megosztott dokumentumot. Ez segít a döntésben, de aki közben keres és szerkeszt, kevésbé tud a beszélgetésre figyelni.

A QvAI-nál egy ügyfelünk fejlesztőcsapatának készítettünk egy hangalapú AI-ügynököt, amely a Google Meet-hívások közben segít ezekben a feladatokban. A cég saját tudásbázisához és eszközeihez kapcsolódva válaszol a kérdésekre, ábrát készít és jóváhagyás után dokumentumokat szerkeszt, miközben a csapat folytathatja az egyeztetést.

Az adatmodell a csapat szeme előtt formálódott

Az egyik megbeszélésen egy összetett adatmodellen dolgoztak. Azt kellett végiggondolniuk, hogyan kapcsolódjanak egymáshoz az adatok, és hogyan illeszkedjen az új terv a már működő szoftverhez.

Miközben a fejlesztők a lehetséges megoldásokat vitatták meg, az ügynök a műszaki egyeztetéshez használt Notion-dokumentumban készített egy ERD-t. Ez az ábra az adatok felépítését és egymáshoz való kapcsolatait mutatja meg. A formálódó tervet így mindenki láthatta.

Az ábra Mermaid-formátumban készült, amelyben egy szöveges leírás határozza meg a diagram felépítését. Az ügynök ezt a leírást és a Notion-oldal magyarázó szövegét is szerkeszthette, így a csapat egy helyen látta a modellt és a tervezési döntések indoklását.

A meglévő kód alapján a státuszváltozások nyomon követésére például külön adatbázistáblát javasolt. Ebben megőrizhetők a korábbi státuszok, a csapat pedig a saját rendszerében már használt mintát vehette alapul.

Ahogy az ábra alakult, a fejlesztők rögtön megvizsgálhatták a kapcsolatokat, és észrevehették, ha valami hiányzik. A vázlatot még az adott kérdés megvitatása közben pontosíthatták.

Több figyelem jutott a tervezésre

Azt tapasztaltuk, hogy kevesebbet kellett keresgélni a hívások közben, és több figyelem maradt a beszélgetésre.

Különösen az ábrakészítés bizonyult hasznosnak. Az ügynök használata közben tűnt fel, mennyi idő megy el arra, hogy egy ötletet a többiek is megértsenek. Valakinek le kell rajzolnia a kapcsolatokat, vagy le kell írnia a szóban elhangzó javaslatot. Ezt a munkát most az ügynökre bízhatták.

Az ábrakészítés ráadásul a gondolkodás része: ami szóban logikusnak hangzik, ábrán megjelenítve új kérdéseket vethet fel. Egy hiányzó kapcsolatra könnyebb rámutatni, egy javasolt módosítást pedig könnyebb közösen végiggondolni.

Mivel az ügynök gyorsabban elkészítette az ábrát, a fejlesztők már a megbeszélés közben felhasználhatták a vázlatot és a megtalált információkat a terv továbbgondolásához.

Elég megszólítani az ügynököt

A résztvevők szóban és chatben is kérdezhetnek az ügynöktől, vagy feladatot adhatnak neki. Követi a beszélgetést, így az elhangzottak segítenek értelmezni a kéréseket.

Hozzáfér az ügyfél tudásbázisához, forráskódjához, valamint a Notionhoz és a GitLabhoz. Ezek segítségével:

• Megkeresi a meglévő rendszerre vonatkozó információkat.
• Ábrákat és szöveges magyarázatokat készít, majd a megbeszéltek szerint módosítja őket.
• Jóváhagyás után frissíti a dokumentumokat és a fejlesztési feladatokhoz tartozó GitLab-ticketeket.

Az ügynök akkor szólal meg, ha megszólítják, de önállóan is jelentkezhet a Google Meetben, ha van hozzáfűznivalója. Ilyenkor a résztvevők döntik el, mikor adnak neki szót. A chatben is megoszthat információt.

A módosításokat szóban is jóvá lehet hagyni. Miközben a csapat tisztázza, minek kell változnia, meg is kérheti az ügynököt, hogy vezesse át a megbeszélteket a dokumentumban vagy a kapcsolódó GitLab-ticketben.

A beszélgetés közben a munka is halad

A megbeszélésen részt vevő ügynök egy valós időben működő hangmodellt használ: ez dolgozza fel az elhangzottakat és állítja elő a szóbeli válaszokat. Az alaposabb elemzést és a céges rendszerekben végzett munkát a háttérben dolgozó, nagyobb teljesítményű ügynökökre bízza. Ezek a feladathoz szükséges eszközökkel keresnek információt vagy szerkesztenek dokumentumot.

Amíg ezek az ügynökök a céges információk között keresnek, vagy a Notionban és a GitLabban dolgoznak, a hangalapú ügynök továbbra is részt vesz a megbeszélésen. Az eredményeiket a csapat még az egyeztetés során felhasználhatja.

A Google Meethez és a céges rendszerekhez való kapcsolódást, valamint az ügynökök közötti feladatátadást a QvAI-nál építettük meg. Így tudtuk összekötni a megbeszélésen elhangzó kéréseket a kódban végzett kereséssel és a Notion-oldal szerkesztésével.

A hangalapú párbeszédhez az OpenAI Realtime API vagy a Gemini Live API is használható. Mindkét API támogatja a valós idejű beszélgetést és a külső eszközök használatát. Egy későbbi változathoz az ElevenLabs Realtime használatát is megvizsgálhatjuk.

Más csapatok megbeszélésein is segíthet

A bemutatott példában egy fejlesztőcsapattal dolgoztunk. Hasonló segítség más megbeszéléseken is hasznos lehet, ahol az előrelépéshez információt kell keresni vagy közös dokumentumokat kell frissíteni:

• A termékfejlesztő csapatok megkérhetik az ügynököt, hogy keresse ki a szükséges részleteket a meglévő termékdokumentációból, majd az egyeztetés alapján pontosítsa a követelményeket leíró specifikációt. A szöveget rögtön át is nézhetik közösen, amíg még mindenki emlékszik arra, miért jutottak az adott döntésre.
• Az operatív csapatoknak az ügynök folyamatábrát készíthet az egyeztetés közben. Ezen könnyebb áttekinteni a feladatátadásokat, a lépések közötti függőségeket és az esetleges kivételeket.
• A projektcsapatok az ügynöktől kérhetik le az egyes feladatokhoz tartozó információkat. A döntések megszületése után jóváhagyhatják, hogy frissítse a feladatok adatait és a kapcsolódó dokumentumokat.

Ezek lehetséges felhasználási módok. Hogy egy adott csapatnak miben segíthet az ügynök, az elérhető információktól és eszközöktől függ. Az itt bemutatott megoldás Google Meet-hívásokhoz csatlakozik. Más platformokhoz külön integrációra lenne szükség.

Milyen feladatokkal telik a megbeszélés?

Gondoljon a legutóbbi tervezési vagy projektmegbeszélésre. Minek kellett utánanézni, mit kellett lerajzolni vagy átírni ahhoz, hogy tovább tudjanak lépni?