Harga Claude: Kesalahan Umum dan Perbaikan

Mengapa Kunci API Anda Mungkin Gagal

Kunci API gagal karena kesalahan jaringan, sesi kedaluwarsa, atau konfigurasi URL dasar yang salah. Masalah umum melibatkan pembuatan kunci baru setelah gangguan layanan, hanya untuk menemukan semua kunci berikutnya juga mengembalikan kesalahan. Ini sering terjadi ketika penyedia memutar kunci secara internal tanpa memberi tahu klien, atau ketika batas laju terlampaui dengan cepat.

Periksa format kunci Anda dengan cermat. Itu harus berupa string alfanumerik panjang tanpa spasi. Jika Anda beralih dari satu penyedia ke penyedia lain, pastikan SDK Anda mengarah ke URL dasar yang benar. Misalnya, menggunakan endpoint yang kompatibel dengan OpenAI dengan penyedia lain memerlukan pembaruan URL dasar dalam konfigurasi klien Anda. Jika Anda menerima kesalahan jaringan, verifikasi koneksi internet Anda dan coba buat kunci baru. Beberapa penyedia mencabut kunci lama segera setelah pembuatan kunci baru, jadi Anda harus memperbarui variabel lingkungan Anda sesuai.

• Verifikasi format dan izin kunci.
• Periksa kecocokan URL dasar dengan SDK.
• Regenerasi kunci jika rotasi layanan terjadi.

Memahami Biaya Token vs. Biaya Langganan

Biaya token berskala dengan penggunaan, sementara biaya langganan tetap bulanan terlepas dari konsumsi. Sebagian besar penyedia API mengenakan biaya per juta token yang diproses. Token input lebih murah daripada token output. Model harga ini mendukung prompt pendek, presisi, dan respons yang efisien.

Pertimbangkan skenario di mana Anda membayar $0,15 per juta token input dan $0,50 per juta token output. Jika prompt Anda adalah 10.000 token dan responsnya adalah 1.000 token, Anda membayar jauh lebih sedikit daripada jika Anda menggunakan layanan langganan dengan kueri bulanan terbatas. Namun, jika Anda menghasilkan teks dalam jumlah besar, biaya dapat bertambah dengan cepat. Selalu pantau penggunaan token Anda. Beberapa penyedia menawarkan kredit prabayar tanpa biaya bulanan, yang ideal untuk beban kerja variabel. Model ini memungkinkan Anda membayar hanya untuk apa yang Anda gunakan, menghindari biaya langganan yang terbuang selama periode aktivitas rendah.

• Token input lebih murah daripada token output.
• Model prabayar menghindari pemborosan bulanan.
• Pantau penggunaan untuk mencegah pembengkakan anggaran.

Biaya Tersembunyi dari Filter Konten

Filter konten menyebabkan penolakan untuk konten dewasa yang sah, topik kontroversial, atau topik yang halus, memaksa panggilan API redundan. Ketika model menolak prompt, Anda tetap membayar token input. Biaya tersembunyi ini bertambah, terutama jika Anda menguji banyak variasi. Model tanpa penyaringan menghilangkan gesekan ini dengan menjawab langsung tanpa moralisasi atau pemblokiran.

Sebagai contoh, model standar mungkin menolak prompt tentang adegan kekerasan fiksi dalam novel. Anda membayar untuk input, mendapatkan penolakan, dan mencoba lagi dengan kata-kata yang sedikit berbeda. Proses ini berulang hingga Anda mendapatkan respons yang valid. Dengan API uncensored, model menjawab segera. Anda menghemat token dan waktu. Ini sangat penting untuk aplikasi yang memerlukan generasi teks mentah tanpa intervensi editorial. Pastikan penyedia Anda tidak menggunakan prompt Anda untuk pelatihan jika privasi menjadi perhatian.

• Penolakan membuang biaya token input.
• Model tanpa sensor mengurangi loop coba ulang.
• Privasi memastikan data prompt tidak digunakan kembali.

Batas Laju dan Batas Konvergensi

Batas laju membatasi permintaan per menit, sedangkan batas konkurensi membatasi koneksi simultan. Melebihi batas-batas ini akan menghasilkan kesalahan HTTP 429. Sebagian besar penyedia mengizinkan 300 permintaan per menit per kunci. Konkurensi sering kali dibatasi hingga delapan permintaan simultan. Ini memastikan penggunaan yang adil dan mencegah kelebihan beban server.

Jika Anda mengirim terlalu banyak permintaan terlalu cepat, kunci API Anda mungkin diblokir sementara. Terapkan backoff eksponensial dalam kode klien Anda untuk menangani error ini dengan lancar. Sebagai contoh, tunggu satu detik, lalu dua detik, lalu empat detik sebelum mencoba lagi. Pantau dasbor penggunaan Anda untuk tetap berada dalam batas. Beberapa penyedia menawarkan batas lebih tinggi untuk tier berbayar. Namun, bagi sebagian besar pengembang, batas standar sudah cukup untuk beban kerja moderat. Sesuaikan ukuran batch Anda untuk menghindari mencapai batas konkurensi.

• Terapkan backoff eksponensial untuk kesalahan 429.
• Pantau dasbor untuk tren penggunaan.
• Sesuaikan ukuran batch untuk menghormati batas konkurensi.

Mengubah URL Dasar dengan Benar

URL Dasar harus sesuai dengan struktur titik akhir penyedia agar SDK berfungsi dengan benar. URL dasar OpenAI standar adalah HTTPS://api.openai.com/v1. Untuk penyedia lain, mungkin HTTPS://api.anotherprovider.com/v1. Jika Anda mengganti penyedia, perbarui URL dasar dalam konfigurasi SDK Anda. Menggunakan URL yang salah menyebabkan kesalahan koneksi atau respons yang tidak terduga.

Misalnya, jika Anda menggunakan API yang kompatibel dengan OpenAI, pastikan URL dasar diakhiri dengan /v1. Beberapa penyedia menggunakan versi atau jalur yang berbeda. Periksa dokumentasi untuk endpoint yang benar. Selain itu, perbarui header kunci API. Kunci harus sesuai dengan format penyedia. Jika Anda menggunakan proxy, pastikan proxy meneruskan header dengan benar. URL dasar yang salah konfigurasi adalah sumber kebingungan umum bagi pengembang baru dalam integrasi API.

• Sesuaikan URL dasar dengan versi SDK.
• Perbarui header kunci API untuk penyedia baru.
• Verifikasi pengalihan proxy jika digunakan.

Debugging Respons Streaming

Respons streaming mengirimkan data dalam bagian-bagian, memerlukan penanganan data parsial yang tepat. Jika Anda tidak menangani bagian dengan benar, Anda mungkin melewatkan bagian respons atau membuat aplikasi Anda crash. Gunakan Server-Sent Events (SSE) untuk streaming yang efisien. Uraikan setiap bagian dan tambahkan ke buffer output Anda.

Misalnya, dalam Python, gunakan pustaka yang mendukung streaming. Tangani potongan terakhir secara terpisah, karena sering berisi statistik penggunaan token. Data ini berguna untuk memantau biaya. Jika Anda mengalami kesalahan selama streaming, coba ulang permintaan dengan kunci baru jika perlu. Pastikan klien Anda mendukung SSE. Beberapa SDK lama mungkin tidak menangani streaming secara efisien, menyebabkan masalah kinerja.

• Tangani data parsial dalam potongan.
• Parse bagian terakhir untuk statistik penggunaan.
• Pastikan SDK mendukung SSE.

Kesalahan Format Mode JSON

Mode JSON memerlukan pemformatan ketat untuk memastikan output JSON yang valid. Jika model menghasilkan JSON yang tidak valid, parser Anda akan gagal. Gunakan parameter response_format untuk memaksakan mode JSON. Ini mengurangi kemungkinan kesalahan pemformatan. Namun, bahkan dalam mode JSON, model kadang-kadang dapat menghasilkan sintaks yang tidak valid.

Validkan output sebelum parsing. Jika parsing gagal, coba ulang dengan pengaturan suhu yang lebih rendah. Ini mendorong output yang lebih deterministik. Misalnya, atur suhu menjadi 0.1 untuk generasi JSON yang ketat. Pantau log kesalahan untuk mengidentifikasi masalah pemformatan umum. Sesuaikan prompt Anda untuk membimbing model menuju struktur JSON yang valid. Ini sangat penting untuk aplikasi yang bergantung pada data terstruktur dari LLM.

• Gunakan parameter response_format untuk mode JSON.
• Suhu lebih rendah untuk output deterministik.
• Validasi output sebelum parsing.

Konfigurasi Pemanggilan Fungsi

Pemanggilan fungsi memungkinkan model memanggil fungsi eksternal. Konfigurasi skema fungsi dengan benar agar model memahami parameternya. Jika skema salah, model dapat menghasilkan argumen yang tidak valid. Hal ini menyebabkan kesalahan runtime saat fungsi dipanggil.

Tentukan nama fungsi, deskripsi, dan parameter dengan jelas. Gunakan definisi tipe untuk menentukan bidang yang diperlukan. Sebagai contoh, tentukan fungsi untuk mengambil data cuaca. Pastikan model tahu kapan harus memanggil fungsi ini. Uji dengan berbagai prompt untuk memverifikasi perilaku. Jika model gagal memanggil fungsi, sesuaikan prompt atau skema. Fitur ini kuat tetapi memerlukan konfigurasi yang hati-hati agar bekerja dengan andal.

• Tentukan skema fungsi dengan jelas.
• Spesifikkan parameter yang diperlukan dengan tipe.
• Uji prompt untuk memverifikasi panggilan fungsi.

Memilih Jendela Konteks yang Tepat

Ukuran context window menentukan seberapa banyak teks yang dapat diproses model dalam satu permintaan. Window context yang lebih besar memungkinkan lebih banyak informasi tetapi membutuhkan lebih banyak token. Pilih ukuran window yang sesuai dengan kasus penggunaan Anda. Misalnya, window 100.000 token cocok untuk dokumen panjang, sedangkan window 4.000 token cukup untuk obrolan singkat.

Pantau penggunaan token untuk mengoptimalkan biaya. Jika Anda menggunakan jendela konteks yang besar, pastikan prompt Anda ringkas. Hapus teks yang tidak perlu sebelum dikirim ke API. Ini mengurangi biaya token input. Beberapa penyedia menawarkan harga berbeda untuk panjang konteks yang berbeda. Periksa detail harga untuk menemukan yang paling sesuai dengan aplikasi Anda. Menyeimbangkan ukuran konteks dengan biaya adalah kunci untuk penggunaan API yang efisien.

• Sesuaikan jendela konteks dengan kasus penggunaan.
• Optimalkan prompt untuk mengurangi biaya token.
• Periksa harga untuk berbagai ukuran konteks.