단담

서론batch 모드는 상용 LLM 서비스에서 일반적으로 제공하는 여러 개의 요청을 묶어 보내면 천천히 처리해서 결과를 돌려주는 대신 비용을 반으로 줄여주는 서비스입니다. 보통 LLM을 활용한 서비스를 만들때 성능평가를 하거나, LLM을 활용한 데이터셋을 확보하기 위해 사용합니다.Gemini 모델이 성능이 상당히 좋아졌습니다. 이제는 대부분의 상용 LLM 성능을 압도하고 있고, 또 같은 성능의 GPT 모델보다 가격도 훨씬 저렴합니다. 이러한 이점으로 Gemini를 써보고 싶은데 구글의 문서화는 항상 어지럽습니다..... batch의 경우에는 코드로 정리해둔 글도 없길래, 직접 열댓번 날려보면서 어떻게 작성해야하는지 정리했습니다.gemini batch 모드 공식 문서 이 글에서는 jsonl 파일로 syste..

프로그래밍 언어를 배우고 실습을 해보는 목적. 다음과 같은 기초지식을 실제로 활용해봅니다.자료형 관련 유용한 라이브러리for/whileif/else/삼항연산자class에러 띄우기파일입출력외부 라이브러리 사용annotation언어를 배우면서도 실제로 어디에 쓰이는지 헷갈리는 사람, 스스로 프로그램을 짜는 논리력이 부족하다고 느끼는 사람, PS 입문을 하고 싶은 사람에게 추천힙니다.대상: 파이썬 기본 문법을 배운 사람(자료형, 변수선언 및 사용, if, for/while)(파이썬 관련 기본서를 쭉 읽고 오는 것을 추천)PS 입문은 앞부분, 실전은 외부 라이브러리 사용.기본서에서 배울 수 없는 소소한 팁이나 언어관련 재밌는 이야기도 알려줄 예정입니다.실습은 각각 다음과 같은 내용을 포함합니다.목표/관련 개념:..