Bir uygulamaya yapay zeka entegrasyonu için kısa bir eğitim

Uzun bir belgeyi özetleyebilen ya da bir soruyu sade bir dille yanıtlayabilen türden, eskiden etkileyici bulunan yapay zeka özellikleri artık standart olarak bekleniyor. Çoğu ekip için soru, uygulamalarına yapay zeka ekleyip eklemeyecekleri değil, bunu yeni sorunlar yaratmadan nasıl yapacakları.

Mevcut bir uygulamaya yapay zeka eklemek, ön uç kodunuza bir API anahtarı yapıştırmak kadar basit değildir. Dikkatsizce yapılırsa, bir yapay zeka özelliği eklemek sonradan geri alınması zor sorunlar doğurabilir. Bu, gecikme sorunlarına yol açabilir; yani kullanıcıların alışık olduğu anlık yanıtlara kıyasla yapay zeka yanıtları birkaç saniye sürebilir. Dahası, çoğu sağlayıcı her istek için ücret alır, dolayısıyla kullanım arttıkça faturanız da artar. Yapay zeka ayrıca öngörülemez davranabilir, bu nedenle uygulamanızın beklenmedik yanıtları yönetecek koruyucu önlemlere ihtiyacı vardır.

Mevcut bir uygulamaya yapay zeka eklemeyi öğrenmek isteyen bir geliştirici, ürün yöneticisi ya da teknolojiden sorumlu yönetici (CTO) iseniz, bu eğitim sizi mevcut altyapınıza zarar vermeden bu adımlardan geçirecek. Yapay zeka katmak istediğiniz ilk özelliği seçmekten yapılandırılmış JSON çıktılarını ve akışlı yanıtları uygulamaya kadar bir yapay zeka özelliğinin tüm yaşam döngüsünü ele alacağız. Sonunda, inşa ettiğiniz şeyin bozulmayacağından emin olacaksınız.

1. Dar kapsamlı bir kullanım senaryosuyla başlayın

Tamamen otonom bir yapay zeka asistanının nasıl oluşturulacağını öğrenirken ekiplerin yaptığı en yaygın hata, çok erken bir dönemde çok büyük düşünmektir. Dar kapsamlı, öngörülebilir tek bir iş akışıyla başlamalısınız. Böylece bunu test edebilir ve bir şeyler ters gittiğinde ne olduğunu anlayabilirsiniz. Bu görev, basitçe bir notu özetlemek ya da bir destek talebini etiketlemek olabilir; bu da ürün ekibinize yapay zeka tamamen devreye alınmadan önce nasıl davrandığını kontrollü bir şekilde görme imkânı sunar.

Geliştirdiğiniz uygulama türüne göre test edebileceğiniz birkaç özellik şunlardır:

Bunların her biri dar bir kapsama ve doğrulanabilir bir sonuca sahiptir, bu da onları başlamak için güvenli noktalar haline getirir.

2. Entegrasyon yaklaşımınızı seçin

Başlamak için bir özellik seçtikten sonra, modeli bağlamak için izleyeceğiniz teknik yola karar vermeniz gerekir. Üç ana yaklaşım vardır:

• Hizmet olarak yapay zeka API’leri: OpenAI, Anthropic ya da Google gibi bir sağlayıcının barındırdığı bir modele istek gönderirsiniz. Yönetilecek bir altyapı olmadığından bu, başlamanın en hızlı yoludur ve mobil uygulamalar için yapay zeka API’leri web uygulamalarıyla aynı şekilde çalışır. Bunun karşılığında daha az kontrol ve her istekle artan bir maliyet söz konusudur.
• Kendi sunucunuzda barındırılan modeller: Açık bir modeli kendi sunucularınızda çalıştırırsınız. Bu size tam kontrol sağlar ve ölçeklendikçe maliyeti düşürebilir; veri gizliliği ya da ince ayar önemli olduğunda özel yapay zeka modeli entegrasyonu için izlenecek yoldur. Buna karşılık, ciddi bir altyapı ve bakım işini üstlenirsiniz.
• Yapay zeka yazılım geliştirme kitleri ve çerçeveleri: Bir LangChain entegrasyonu ya da benzeri bir çerçeve, uygulamanız ile model arasına, erişim ve araç çağırma gibi yaygın modelleri yöneten bir katman ekler; böylece kendiniz daha az bağlantı kodu yazarsınız. Bunun maliyeti, öğrenilmesi ve güncel tutulması gereken bir başka bağımlılık ile çerçevenin uygulamanız ve model arasında ne yaptığına dair daha az görünürlüktür.

3. Güvenli bir arka uç mimarisi oluşturun

Bir uygulamaya yapay zeka entegre etmeyi öğrenirken diğer tüm kurallardan daha önemli olan bir kural vardır: Uygulamanızın asla bir yapay zeka sağlayıcısıyla doğrudan iletişim kurmasına izin vermeyin.

Ön uç kodunuzdaki herhangi bir şey, ister tarayıcıdaki bir web uygulaması ister bir cihazdaki bir mobil uygulama olsun, onu kullanan kişiler tarafından okunabilir. Gizli API anahtarınız o kodun içinde yer alır ve ağ trafiğinden ya da uygulama paketinden çıkarılması kolaydır. Bir kez anahtarınızı ele geçiren biri, bütçeniz tükenene kadar hesabınız üzerinden istek çalıştırabilir. Bu, yapay zeka arka uç mimarisinde en yaygın ve en pahalı hatadır.

Bunun yerine, her isteği kendi arka ucunuz üzerinden yönlendirin; böylece API anahtarınızı güvende tutabilir, maliyetleri kontrol edebilir ve kullanıcılar görmeden önce yapay zekanın yanıtlarını doğrulayabilirsiniz. Bu akış şöyle görünür:

1. Kullanıcı eylemi: Biri uygulamanızın arayüzünde Özetle düğmesine tıklar.
2. Ön uç: Uygulamanız isteği yapay zeka sağlayıcısına değil, kendi arka ucunuza gönderir.
3. Arka uç: Sunucunuz kullanıcının kimliğini doğrular, hız sınırları uygular ve yalnızca burada bulunan gizli API anahtarını ekler.
4. Yapay zeka sağlayıcısı: Model, isteği işler ve bir yanıt döndürür.
5. Arka uç: Sunucunuz bu yanıtı doğrular ve temizler, ardından uygulamanız için biçimlendirir.
6. Ön uç: Uygulamanız, temiz ve kontrol edilmiş sonucu kullanıcıya gösterir.

İstekleri kendi sunucunuz üzerinden yönlendirmek bir adım ekler, ancak diğer her şeyi mümkün kılan da budur. Her istek sunucunuzdan geçtiği için anahtar gizli kalır, kullanıcılar bu özelliği ne sıklıkta çağırabilecekleri konusunda sınırlanır ve yapay zeka yanıtı, uygulamanız bunu herhangi birine göstermeden önce kontrol edilir.

4. Veri bağlantı modelinizi seçin

Özel yapay zeka modeli entegrasyonunuz için bir sonraki adım, uygulamanızın verilerinin ne kadarını yapay zekanın görebileceğine ve kullanabileceğine karar vermektir. Yapabildikleri ve kurulumları için gereken iş miktarı açısından farklılaşan üç standart model vardır: 

• Yalnızca komut: Modelin ihtiyaç duyduğu her şeyi doğrudan komutun içine dahil edersiniz. Bir kullanıcı bir notu özetlemeyi isterse, notu talimatla birlikte gönderirsiniz. Bu en basit modeldir ve bağımsız görevler için doğru varsayılan seçimdir, ancak yalnızca ilgili veri komuta sığacak kadar küçük olduğunda işe yarar.
• RAG: Yapay zekanın ürün kataloğunuz, yardım merkeziniz ya da iç belgeleriniz gibi büyük miktarda bilgiden bir yanıt sunması gerektiğinde, bunların tamamını her komuta sığdıramazsınız. RAG bunu, verilerinizi soruyla en alakalı parçalar için arayarak ve ardından yalnızca bunları komuta aktararak çözer. Yapay zekanın tahmin yürütmek yerine kendi içeriğinizden doğru bir şekilde yanıt vermesini sağlayan şey budur ve bilgili bir uygulama içi asistan için standart yaklaşımdır. Bunun karşılığında, çalışması için genellikle bir vektör veritabanına ve bir erişim hattına ihtiyaç duyarsınız.
• Fonksiyon ya da araç çağırma: Model, arka ucunuzun çalıştırdığı yapılandırılmış bir istek döndürerek uygulamanızda eylemleri tetikleyebilir (ör. bir sipariş durumunu kontrol etme, bir randevu alma, canlı veri çekme). Bu en güçlü modeldir ve yapay zekanın yalnızca bir şey söylemesi değil, bir şey yapması gerektiğinde başvurulacak olanıdır.

5. Yapılandırılmış çıktılar talep edin

“Sezgiye dayalı komut verme” ya da modelin düz cümlelerle yanıt vermesine güvenme, uygulamanızın çıktıyı metin yerine veri olarak okuması gerektiği anda dağılır. Modelden bir destek talebini kategorilere ayırmasını isterseniz ve “Elbette! Kategori: Faturalandırma” diye yanıt verirse, kodunuzun o cümleden “Faturalandırma”yı çıkarması gerekir. Bir sonraki yanıt tamamen farklı bir şekilde ifade edilebilir ve bu çıkarmayı güvenilmez hale getirir.

Çözüm, modelin her seferinde {“category”: “billing”, “priority”: “high”} gibi katı, makine tarafından okunabilir bir nesne döndürmesini sağlamak için bir JSON Şeması kullanarak yapılandırılmış çıktılar talep etmektir. Arka ucunuz böylece her istekte bunu aynı şekilde ayrıştırabilir; kırılgan metin ayrıştırma mantığı yazmadan ya da ifade değiştiğinde çökme riski almadan.

6. Yayına almadan önce üretim güvenlik önlemleri ekleyin

Özellik yayına girmeden önce birkaç koruma önlemi alın. Her koruma önlemi, özellik yayına girdikten ve insanlar onu kullanmaya başladıktan sonra çözülmesi daha zor olan belirli bir sorunu önler.

Özelliği üretime geçirmeden önce uygulanması gereken zorunlu güvenlik kontrolleri şunlardır:

• Girdi boyutu sınırları: Bir kullanıcının tek bir istekte ne kadar metin gönderebileceğini sınırlayın. Bir sınır olmadan, aşırı büyük bir girdi maliyetlerinizi fırlatabilir ya da modelin bağlam penceresini aşarak başarısız olabilir.
• Hız sınırları: Tek bir kullanıcının belirli bir zaman aralığında kaç istek yapabileceğini kısıtlayın. Bu, bütçenizi kazara oluşan döngülerden ve kasıtlı kötüye kullanımdan korur ve tek bir yoğun kullanıcının diğer herkesin deneyimini kötüleştirmesini önler.
• Görüşme geçmişi: Özelliğiniz bir sohbet ise, her istekle birlikte ne kadar önceki bağlamı geri göndereceğinize karar verin. Çok az olursa yapay zeka konunun bağlamını kaybeder; çok fazla olursa her istek daha yavaş ve daha maliyetli hale gelir.
• Akış (SSE): Kısa bir yanıttan daha uzun herhangi bir şey için, kullanıcıyı her şeyin bitmesini beklemeye zorlamak yerine sunucu tarafından gönderilen olayları kullanarak yanıtı belirteç belirteç akıtın. Bu, modeli daha hızlı yapmaz, ancak özelliğin donmuş değil, duyarlı hissedilmesini sağlar.

Yapay zeka özelliğinizi nasıl izleyip ölçeklendirirsiniz

Özellik yayına girdikten sonra, nasıl davrandığına dair görünürlüğe ihtiyacınız vardır. Komut uzunluğu, yanıt gecikmesi ve hata oranları gibi sorunların nerede başladığını size söyleyen ayrıntıları kaydedin; böylece kullanıcılar bildirmeden önce bir yavaşlamayı ya da ani artışı fark edebilirsiniz. 

Başarısızlık için de plan yapın. Yapay zeka sağlayıcılarında kesintiler olur; bu yüzden kullanıcıları bozuk bir ekrana bakar halde bırakmak yerine, model kullanılamadığında uygulamanızın ne göstereceğine dair bir yedek çözüm tasarlayın. İlk özelliğiniz kararlı ve iyi anlaşıldıktan sonra, daha karmaşık yapay zeka asistanı iş akışlarına güvenle genişlemeye başlayabilirsiniz.

Henüz bir uygulamanız yok mu? Kodlamayı tamamen atlayın

Buraya kadar geldiyseniz ve Node.js, arka uç rotaları ve API mimarisi beklediğinizden daha fazlası gibi gelmeye başladıysa, kendinize sormanız gereken bir soru var: Tüm bunları sıfırdan kendim mi inşa etmek istiyorum?

Yapay zekadan yararlanan uygulamaların çoğu karmaşık ürünler değildir. Yalnızca bir şirket içi portala, bir müşteri kabul aracına ya da ekibinizin arayabileceği akıllı bir dizine ihtiyacınız varsa, bunu inşa etmek için bir geliştirici tutmak çok para ve zamana mal olabilir; oysa bunu bir öğleden sonrada kendiniz kurabilirsiniz.

Kod yazmadan bir uygulama oluşturmak istiyorsanız, Jotform Uygulama Oluşturucu, istediğiniz uygulamayı sade bir dille tanımlamanıza ve özelleştirip paylaşabileceğiniz, hazır yerleşik yapay zeka özelliklerine sahip çalışan bir sürüm oluşturmanıza olanak tanır. Güvenlik sağlanacak bir arka uç, gizlenecek API anahtarları ya da bakımı yapılacak bir hat yoktur; çünkü her şey sizin için halledilir.

Her şeyin ne kadar hızlı bir araya geldiği şöyle:

1. Jotform Uygulama Oluşturucu‘yu açın ve uygulamanızı tanımlayın. İhtiyacınız olanı bir ya da iki cümleyle belirtin; örneğin “yaygın soruları yanıtlayan akıllı bir asistanla birlikte bir şirket içi BT talep portalı” gibi.

2. Oluşturulan uygulamayı gözden geçirin. Yaklaşık bir dakika içinde, sayfaları, formları ve gezinmesi yerli yerinde çalışan bir uygulamanız olacak.

3. Düzeni ayarlayarak, markanızı ekleyerek ve yapay zekaya komut vererek ya da doğrudan düzenleyerek içeriği değiştirerek uygulamayı özelleştirin.

4. Uygulamayı yayınlayın ve herhangi bir cihazda kullanıma hazır olacak şekilde bir bağlantı ya da QR koduyla paylaşın.

Hedefiniz aylar süren bir mühendislik projesi değil de yapay zeka özelliklerine sahip çalışan bir uygulamaysa, bu entegrasyonu minimum zorlukla gerçekleştirir. Tam olarak neye ihtiyacınız olduğunu bildikten sonra, istediğiniz zaman özel bir yapıya geçebilirsiniz.

Hangi yolu seçerseniz seçin, aynı ilkeler geçerlidir: Uçlu bir özellikten test edilmesi daha kolay olan küçük, odaklı bir ilk özellikle başlayın. Hem bütçenizi hem de kullanıcılarınızı korumak için API anahtarınızı kendi sunucunuzda tutun. Ve uygulamanızın okuyamadığı bir cümlede bozulmasını önlemek için yapılandırılmış çıktı kullanın. Yayından önce eklediğiniz sınırlar ve kayıtlar, herkes bildirmeden önce sorunları belirlemenizi sağlar. Bunları en başta ele almak, kullanıcılar özelliğe bağımlı hale geldikten sonra sonradan eklemekten çok daha az maliyetlidir.

Ve Jotform Uygulama Oluşturucu‘yu kullanırsanız, birkaç dakika içinde yapay zeka özelliklerine sahip kullanıma hazır çalışan bir uygulamanız olacak.