Ada pari-pari di penjuru kanan bawah halaman ini
Sekarang ini, seekor pari-pari kecil sedang terapung di penjuru kanan bawah artikel ini. Namanya Pixie. Sapa dia, dan dia akan membalas.
(Cubalah. Biasanya dia menjawab dalam dua tiga saat.)
Pari-pari ini tidak menggunakan sebarang perkhidmatan AI luaran. Apa yang anda taip tidak dihantar ke mana-mana. Sebuah mesin yang kami uruskan sendiri menerimanya, memikirkannya, dan terus membalas.
Ertinya, bil elektrik pari-pari ini kami yang bayar.
Kenapa susah-susah begitu? Itulah cerita hari ini.
Bermula dengan “jadi, sebagus mana sebenarnya?”
Menjalankan AI di dalam server yang diuruskan syarikat sendiri. Ia dipanggil private LLM, dan kami memang sudah lama tahu pilihan ini wujud.
Yang kami tidak pasti ialah kemampuannya. Berapa banyak artikel pengenalan pun anda baca, anda masih tidak dapat menilai sama ada ia benar-benar boleh dipakai untuk kerja. Perkara begini hanya boleh diselesaikan dengan mencubanya sendiri.
Yang menolak kami ialah kos.
Hari ini, setiap sistem yang kami bina datang dengan soalan “boleh tambah fungsi AI sekali?” Kami bersyukur ditanya. Cumanya, API AI mengenakan bayaran mengikut penggunaan. Untuk projek pelanggan, kos itu ditanggung pelanggan, jadi ceritanya mudah. Produk kami sendiri lain ceritanya. Anda bina sekali sahaja, tetapi wang terus keluar selagi ia berjalan.
Langganan AI untuk pembangunan pun sama. Satu orang bukan jumlah besar. Darabkan dengan bilangan pasukan, angkanya tidak lagi melucukan.
Jadi kami tersekat dalam satu gelung. Anda tidak tahu ia cukup baik atau tidak tanpa mencuba — tetapi mencuba itu sendiri memakan kos.
Pada titik itu, meletakkan satu di meja sendiri mula kelihatan masuk akal.
Jawapan ringkas: ia boleh buat hampir semuanya
Inilah yang paling mengejutkan.
Hampir semua yang perkhidmatan AI luaran boleh buat, yang ini pun boleh.
Bila orang dengar “hos sendiri,” mereka biasanya bayangkan versi yang dipotong fungsinya. Setakat ini, itu bukan pengalaman kami.
- Menulis, meringkaskan, mengemaskan ayat
- Menterjemah
- Mencungkil satu perkara yang diperlukan daripada perbualan yang panjang
- Membaca foto dan tangkapan skrin
- Menerima PDF, Word atau Excel terus, dan menjawab tentang isinya
- Menjawab berdasarkan dokumen dalaman syarikat, bukan pengetahuan umum
- Dipasang sebagai fungsi di dalam aplikasi dan perkhidmatan kami sendiri
Kami membayangkan sesuatu yang lebih dekat dengan “kotak carian yang sedikit pandai dan hanya boleh baca teks,” jadi kali pertama kami hulurkan gambar dan ia terus membacanya, kami rasa agak kelakar sendiri.
Sudah tentu, jika dibandingkan secara langsung dengan model terbaik di dunia, ada jurangnya. Untuk apa-apa yang melibatkan reka bentuk rumit dari kosong, kami masih bersandar pada perkhidmatan luaran yang hebat. Tetapi kebanyakan kerja harian yang kami mahu serahkan sudah pun tertampung oleh AI di pejabat sendiri. Itu perasaan sebenar selepas menjalankannya.
Walau begitu, ini bukan cerita “pasang kuasa terus jadi bagus.”
Model mana hendak dipilih, bagaimana hendak dikonfigurasi, bagaimana hendak menyuap dokumen dalaman — semua itu perlu digilap satu per satu, dan menyiapkan persekitarannya pun memakan usaha. Cuma prosesnya sendiri agak seronok. Kaji peralatan, tala tetapannya, masuk ke kurungan dan uji. Rasa macam bermain permainan hack-and-slash.
Kalau ditulis penuh ia akan panjang, jadi bahagian pembinaan itu kami tulis dalam artikel berasingan.
Yang paling berkesan bukan prestasi, tetapi bilangan percubaan
Lebih daripada kemampuan mentah, yang penting ialah mencuba menjadi percuma.
Bunyinya jelas, tetapi: berapa banyak pun anda guna, bil tidak bertambah.
Dulu, sepuluh percubaan bermakna bayaran untuk sepuluh percubaan, jadi sebelum mula ada satu detik anda bertanya “berbaloi ke cuba benda ni?” Detik itu muncul setiap kali.
Sekarang detik itu tiada.
Kesannya paling ketara pada produk kami sendiri. Bila seseorang terfikir “menarik juga kalau bahagian ini diserahkan kepada AI,” dia boleh terus cuba. Dulu, idea itu akan terus bertembung dengan perbincangan kos, dan selalunya mati di situ juga.
Bil elektrik pula, jauh lebih rendah daripada yang kami sangkakan. Satu salah kira yang menggembirakan.
Apa yang kami serahkan kepadanya sekarang
Ini sebahagian daripada yang sedang berjalan.
Pemandu arah laman web Pari-pari di awal artikel ini. Dia menjawab “apa perkhidmatan yang ada?” dan “syarikat apa ini?” Tiada siapa perlu duduk menunggu, dan dia tidak merungut walaupun ditanya pukul dua pagi.
Menjadikan perbualan sebagai tugasan Kami sambungkan private LLM ke aplikasi sembang yang kami bina sendiri, dan ia mencungkil perkara yang perlu dibuat daripada aliran perbualan. Hal yang dulunya hilang selepas “ya, dah putus macam tu” kini benar-benar kekal dalam senarai.
Merapatkan jarak antara bahasa Bahasa Jepun, Inggeris dan Melayu berterbangan dalam pasukan kami, jadi terjemahan berlaku setiap hari. Jumlahnya banyak — jenis kerja yang diam-diam bertimbun kalau dilempar ke API luaran.
Selain itu, kerja-kerja yang lebih kecil pun kami serahkan sepenuhnya: chatbot ringkas, semakan awal “boleh ke benda ni dihantar?”
Bila disusun begini, ada dua persamaan.
Pertama, semuanya tidak menjadi tanpa menyerahkan maklumat dalaman yang sebenar. Nama pelanggan, angka, perkara yang belum boleh didedahkan. Tiada satu huruf pun boleh pergi ke perkhidmatan luar.
Kedua, semuanya tidak memerlukan tahap kepintaran 100. Yang berkesan ialah perbezaan antara sifar dan satu. Tiada terjemahan langsung, berbanding terjemahan yang boleh dibaca dengan baik. Tiada sesiapa menyemak, berbanding ada satu semakan awal. Jurang itulah yang paling besar, dan apa-apa selepas itu — “tetapi lebih pintar” — jujurnya adalah bonus.
Rupa-rupanya jauh lebih sedikit kerja yang hanya AI terbaik boleh buat. Selepas itu difahami, julat perkara yang kami sanggup serahkan melebar dengan cepat.
(Aplikasi sembang itu sendiri kami yang bina, tetapi itu cerita untuk artikel lain.)
Bagus juga dari sudut privasi
Halangan sebenar untuk memasukkan AI ke dalam kerja bukan teknologi. Ia keputusan tentang apa yang boleh disuapkan. Nama pelanggan, harga sebut harga, lukisan yang belum diterbitkan, perbincangan sumber manusia. Banyak kerja yang paling kita mahu bantuan justeru mengandungi maklumat yang tidak boleh keluar dari bangunan.
Ramai syarikat bertindak dengan mengharamkan AI di tempat kerja. Cuma, itu hanya menghentikannya di dalam syarikat.
Orang yang dikejar tarikh akan capai telefon sendiri dan biarkan AI di situ menyiapkannya. Tiada niat jahat di situ. Kita sudah hidup dalam zaman di mana AI sebahagian daripada cara orang bekerja. Dan syarikat pula tiada cara untuk tahu apa yang telah keluar.
Sama seperti larangan merokok. Larangan tidak menghapuskan sesuatu. Ia hanya menjadikannya tidak kelihatan.
Private LLM, pada pandangan kami, adalah jawapan sebenar kepada itu — dan semakin berat maklumat yang diuruskan sesebuah syarikat, semakin besar nilainya. Syarikat tersenarai perlu boleh menerangkan kemudian siapa memasukkan apa. Firma guaman atau perakaunan terikat dengan kerahsiaan pelanggan. Badan kerajaan perlu menentukan di mana data penduduk boleh disimpan. Dalam penjagaan kesihatan, di mana kesilapan membawa kesan besar, langkah pertama tidak pernah pun diambil. Tiada satu pun daripada ini tersekat pada cara menggunakan AI. Semuanya tersekat pada di mana hendak meletakkannya.
Namun begitu, kami tidak memindahkan semuanya ke dalam
Untuk jelasnya, kami tidak berhenti menggunakan AI luaran.
Untuk kerja pembangunan, kami masih membayar AI luaran. Untuk masalah yang sukar, bertanya kepada model terkuat memang lebih cepat. Kami guna kedua-duanya.
Jadi ini bukan pertikaian tentang mana satu yang betul.
Kerja yang boleh keluar, biar keluar. Kerja yang tidak boleh, kekal di sini.
Yang penting ialah siapa yang menarik garisan itu. Kalau anda yang menarik, anda boleh alihkan bila-bila masa.
Kami juga sedang diam-diam menala ejen pengekodan yang berjalan atas private LLM, dengan matlamat akhirnya membangun sepenuhnya di atas perkakasan sendiri.
”Kami tak akan hantar keluar” bukan sesuatu yang boleh dijaga dengan tekad
Sedikit tentang mekanismenya. Kadang-kadang kita lihat penjelasan “dasar kami adalah tidak menghantar ke luar.” Niat baik tidak pernah berjaya menjaga garisan itu. Ia perlu mustahil, bukan sekadar tidak digalakkan.
Apa yang kami buat cukup mudah: ada satu pos kawalan antara pengguna dan AI. Semua tentang apa yang lepas dan apa yang tidak diputuskan di situ. Bahagian pentingnya ialah pos kawalan itu berada di pihak kami — dan itulah juga sebabnya peraturannya boleh diubah kemudian.
Secara kasar, inilah yang kami tetapkan:
- Penghantaran keluar disekat secara lalai. Apa yang dibenarkan lalu dinamakan satu per satu
- Siapa tanya apa direkodkan — bukan untuk menangkap sesiapa, tetapi supaya kami boleh menjawab bila ditanya
- Setiap kegunaan ada skop jawapan yang ditetapkan, dan ia tidak merayau ke luar
- Kalau tiada dalam dokumen, jawapannya “perkara itu tidak tercatat di sini”
Yang terakhir itu diam-diam sangat bagus. Ia boleh dikonfigurasi supaya tidak berlagak tahu. Itulah jawapan paling praktikal yang kami temui untuk kerisauan yang semua orang bangkitkan: “takkan ia mereka-reka dengan penuh yakin?”
Setelah semua itu, jujurnya: tiada susunan yang menurunkan risiko kepada sifar. Daripada menjanjikan jaminan sempurna, lebih realistik menetapkan lebih awal apa yang keluar dan sejauh mana.
Penutup
Mungkin anda terfikir semua ini terlalu besar untuk syarikat anda. Kami bermula dengan satu mesin sahaja. Kami memang tambah UPS supaya ia tidak terputus ketika bekalan elektrik terganggu, tetapi setakat itu sahaja.
Akhir sekali, sapalah pari-pari di penjuru kanan bawah itu.
Perkara penting tentang pari-pari ini ialah kami mampu biarkan dia terbuka untuk sesiapa sahaja, secara percuma. Kalau dia berjalan atas API bayar-setiap-permintaan, setiap perbualan menambah bil, dan kami tidak mampu bermurah hati begitu. Dia hidup dengan elektrik, jadi pintunya boleh dibiarkan terbuka.
Dalam beberapa saat dia membalas, tiada apa yang anda tulis meninggalkan bangunan kami. Itu sahaja sebenarnya.
Cuma, kami sudah lihat terlalu banyak syarikat gagal bermula dengan AI semata-mata kerana satu perkara itu tidak pernah diputuskan. Rasa sayang.
Kalau artikel ini membuatkan anda terfikir bagaimana rupanya di syarikat anda sendiri, halaman infrastruktur private LLM mungkin berguna juga. Dan anda dialu-alukan untuk hubungi kami bila-bila masa — kami sedia berbual.