Analisis Performa Ekstraksi Konten GPT-3 Dengan Matrik Bertscore Dan Rouge
Integrasi model bahasa canggih dalam tugas-tugas pembangkitan teks telah menampilkan beberapa aplikasi yang luas di berbagai bidang, termasuk ekstraksi konten. Penelitian ini memanfaatkan model bahasa OpenAI GPT-3 untuk mengembangkan aplikasi yang membantu dalam proses persiapan konten penulisan kr...
Saved in:
| Main Authors: | , , , , , |
|---|---|
| Format: | Article |
| Language: | Indonesian |
| Published: |
University of Brawijaya
2024-12-01
|
| Series: | Jurnal Teknologi Informasi dan Ilmu Komputer |
| Subjects: | |
| Online Access: | https://jtiik.ub.ac.id/index.php/jtiik/article/view/8088 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| _version_ | 1823858646286598144 |
|---|---|
| author | Yetti Yuniati Kaira Milani Fitria Melvi Sri Purwiyanti Emir Nasrullah Meizano A Muhammad |
| author_facet | Yetti Yuniati Kaira Milani Fitria Melvi Sri Purwiyanti Emir Nasrullah Meizano A Muhammad |
| author_sort | Yetti Yuniati |
| collection | DOAJ |
| description |
Integrasi model bahasa canggih dalam tugas-tugas pembangkitan teks telah menampilkan beberapa aplikasi yang luas di berbagai bidang, termasuk ekstraksi konten. Penelitian ini memanfaatkan model bahasa OpenAI GPT-3 untuk mengembangkan aplikasi yang membantu dalam proses persiapan konten penulisan kreatif dengan menerapkan fitur ekstraksi konten. Fitur-fitur ini mencakup ekstraksi informasi, meringkas paragraf, mengidentifikasi topik utama, dan menafsirkan teks untuk presentasi terminologi yang optimal. Penelitian ini menggunakan pendekatan 'few-shot learning' yang melekat pada model GPT-3. Kinerja aplikasi ini dievaluasi secara ketat melalui uji coba, membandingkan efektivitasnya dengan mesin pembangkitan teks komersial yang banyak digunakan saat ini. Tujuannya adalah menganalisis tingkat kelayakan sistem yang telah kami bangun terhadap aplikasi lain yang populer. Metrik evaluasi termasuk BERTscore dan ROUGE digunakan sebagai pengujian. Aplikasi ini mencapai BERTscore sebesar 86% untuk precision, 88% untuk recall, dan 87% untuk F1-Score. Selain itu, evaluasi ROUGE menghasilkan skor ROUGE-L sebesar 55% pada precision, 60% pada recall, dan 57% pada F1-Score, hasil tersebut menunjukkan kekuatan model dalam tugas ekstraksi konten. Hasil ini memberikan gambaran bahwa model GPT-3 berpotensi baik dalam meningkatkan efisiensi dan akurasi untuk tugas persiapan konten tulisan dalam industri penulisan kreatif.
Abstract
The integration of advanced language models in text generation tasks has featured some extensive applications in various fields, including content extraction. This research utilises the OpenAI GPT-3 language model to develop an application that assists in the content preparation process of creative writing by implementing content extraction features. These features include information extraction, summarising paragraphs, identifying main topics, and interpreting text for optimal terminology presentation. This research utilises the ‘few-shot learning’ approach inherent to the GPT-3 model. The performance of this application was rigorously evaluated through trials, comparing its effectiveness with commercial text generation engines widely used today. The aim is to analyse the feasibility of the system we have built against other popular applications. Evaluation metrics including BERTscore and ROUGE were used as tests. The application achieved a BERTscore of 86% for precision, 88% for recall, and 87% for F1-Score. In addition, the ROUGE evaluation resulted in ROUGE-L scores of 55% in precision, 60% in recall, and 57% in F1-Score, these results show the strength of the model in the content extraction task. These results illustrate that the GPT-3 model has good potential in improving efficiency and accuracy for the task of writing content preparation in the creative writing industry.
|
| format | Article |
| id | doaj-art-bd1549392ce64b9384e127be768f856f |
| institution | Kabale University |
| issn | 2355-7699 2528-6579 |
| language | Indonesian |
| publishDate | 2024-12-01 |
| publisher | University of Brawijaya |
| record_format | Article |
| series | Jurnal Teknologi Informasi dan Ilmu Komputer |
| spelling | doaj-art-bd1549392ce64b9384e127be768f856f2025-02-11T10:36:45ZindUniversity of BrawijayaJurnal Teknologi Informasi dan Ilmu Komputer2355-76992528-65792024-12-0111610.25126/jtiik.1168088Analisis Performa Ekstraksi Konten GPT-3 Dengan Matrik Bertscore Dan RougeYetti Yuniati0Kaira Milani Fitria1Melvi2Sri Purwiyanti3Emir Nasrullah4Meizano A Muhammad5Universitas Lampung, LampungInstitut Informatika dan Bisnis Darmajaya, LampungUniversitas Lampung, LampungUniversitas Lampung, LampungUniversitas Lampung, LampungUniversitas Lampung, Lampung Integrasi model bahasa canggih dalam tugas-tugas pembangkitan teks telah menampilkan beberapa aplikasi yang luas di berbagai bidang, termasuk ekstraksi konten. Penelitian ini memanfaatkan model bahasa OpenAI GPT-3 untuk mengembangkan aplikasi yang membantu dalam proses persiapan konten penulisan kreatif dengan menerapkan fitur ekstraksi konten. Fitur-fitur ini mencakup ekstraksi informasi, meringkas paragraf, mengidentifikasi topik utama, dan menafsirkan teks untuk presentasi terminologi yang optimal. Penelitian ini menggunakan pendekatan 'few-shot learning' yang melekat pada model GPT-3. Kinerja aplikasi ini dievaluasi secara ketat melalui uji coba, membandingkan efektivitasnya dengan mesin pembangkitan teks komersial yang banyak digunakan saat ini. Tujuannya adalah menganalisis tingkat kelayakan sistem yang telah kami bangun terhadap aplikasi lain yang populer. Metrik evaluasi termasuk BERTscore dan ROUGE digunakan sebagai pengujian. Aplikasi ini mencapai BERTscore sebesar 86% untuk precision, 88% untuk recall, dan 87% untuk F1-Score. Selain itu, evaluasi ROUGE menghasilkan skor ROUGE-L sebesar 55% pada precision, 60% pada recall, dan 57% pada F1-Score, hasil tersebut menunjukkan kekuatan model dalam tugas ekstraksi konten. Hasil ini memberikan gambaran bahwa model GPT-3 berpotensi baik dalam meningkatkan efisiensi dan akurasi untuk tugas persiapan konten tulisan dalam industri penulisan kreatif. Abstract The integration of advanced language models in text generation tasks has featured some extensive applications in various fields, including content extraction. This research utilises the OpenAI GPT-3 language model to develop an application that assists in the content preparation process of creative writing by implementing content extraction features. These features include information extraction, summarising paragraphs, identifying main topics, and interpreting text for optimal terminology presentation. This research utilises the ‘few-shot learning’ approach inherent to the GPT-3 model. The performance of this application was rigorously evaluated through trials, comparing its effectiveness with commercial text generation engines widely used today. The aim is to analyse the feasibility of the system we have built against other popular applications. Evaluation metrics including BERTscore and ROUGE were used as tests. The application achieved a BERTscore of 86% for precision, 88% for recall, and 87% for F1-Score. In addition, the ROUGE evaluation resulted in ROUGE-L scores of 55% in precision, 60% in recall, and 57% in F1-Score, these results show the strength of the model in the content extraction task. These results illustrate that the GPT-3 model has good potential in improving efficiency and accuracy for the task of writing content preparation in the creative writing industry. https://jtiik.ub.ac.id/index.php/jtiik/article/view/8088GPT-3Model Bahasa Ekstraksi KontenPembuatan Teks NLP |
| spellingShingle | Yetti Yuniati Kaira Milani Fitria Melvi Sri Purwiyanti Emir Nasrullah Meizano A Muhammad Analisis Performa Ekstraksi Konten GPT-3 Dengan Matrik Bertscore Dan Rouge Jurnal Teknologi Informasi dan Ilmu Komputer GPT-3 Model Bahasa Ekstraksi Konten Pembuatan Teks NLP |
| title | Analisis Performa Ekstraksi Konten GPT-3 Dengan Matrik Bertscore Dan Rouge |
| title_full | Analisis Performa Ekstraksi Konten GPT-3 Dengan Matrik Bertscore Dan Rouge |
| title_fullStr | Analisis Performa Ekstraksi Konten GPT-3 Dengan Matrik Bertscore Dan Rouge |
| title_full_unstemmed | Analisis Performa Ekstraksi Konten GPT-3 Dengan Matrik Bertscore Dan Rouge |
| title_short | Analisis Performa Ekstraksi Konten GPT-3 Dengan Matrik Bertscore Dan Rouge |
| title_sort | analisis performa ekstraksi konten gpt 3 dengan matrik bertscore dan rouge |
| topic | GPT-3 Model Bahasa Ekstraksi Konten Pembuatan Teks NLP |
| url | https://jtiik.ub.ac.id/index.php/jtiik/article/view/8088 |
| work_keys_str_mv | AT yettiyuniati analisisperformaekstraksikontengpt3denganmatrikbertscoredanrouge AT kairamilanifitria analisisperformaekstraksikontengpt3denganmatrikbertscoredanrouge AT melvi analisisperformaekstraksikontengpt3denganmatrikbertscoredanrouge AT sripurwiyanti analisisperformaekstraksikontengpt3denganmatrikbertscoredanrouge AT emirnasrullah analisisperformaekstraksikontengpt3denganmatrikbertscoredanrouge AT meizanoamuhammad analisisperformaekstraksikontengpt3denganmatrikbertscoredanrouge |