LLM 썸네일형 리스트형 [리뷰] Udemy - Langchain으로 LLM 기반 어플리케이션 개발하기 들어가며 LLM을 애플리케이션에 적용하려면 개발자는 프롬프트를 보내고 기다리는 것 외에도 고려해야할 많은 작업이 있습니다. LLM이 이전의 대화 내용을 기억하게 하기 위해 기록을 유지해야하고, 토큰의 한도를 지키는 전략을 취하면서 프롬프트 및 응답의 적절성을 판단하고 조정하는 등 상당한 노력을 필요로 합니다. 랭체인은 이러한 수고를 덜어주며 언어 모델 기반의 애플리케이션을 개발하도록 돕는 SDK입니다. 이번 글에서는 글또 9기 활동 중 유데미로부터 강의 쿠폰을 지원받아 【한글자막】 랭체인 - LangChain 으로 LLM 기반 애플리케이션 개발하기 강좌를 수강하고 느낀 점과 새롭게 알게된 점에 대해 간단히 정리한 부분을 남겨보려합니다. 강의에 대한 간단한 개요와 장단점은 아래와 같습니다. 목표: 실제 L.. 더보기 HuggingFace Autotrain - 단 한 줄의 코드로 LLM 파인튜닝하기 🤗 AutoTrain Huggingface의 AutoTrain은 자연어 처리(NLP) 작업, 컴퓨터 비전(CV) 작업, 음성 작업, 표 형식 작업 등을 위한 최첨단 모델을 훈련하기 위한 코드가 필요 없는 툴입니다. 코드 없이 UI에서 스페이스를 생성하여 사용할수도 있고, 개발자는 autotrain-advanced 패키지를 설치하고 파이썬 API를 사용하여 최소한의 코드로 학습을 진행할 수 있습니다. 이번 글에서는 제가 autotrain으로 학습 가능한 다양한 태스크 중 LLM Finetuning을 수행한 과정에 대해 공유하고자 합니다. LLM Finetuning AutoTrain을 사용하면 자체 데이터에서 대규모 언어 모델(LLM)을 쉽게 미세 조정할 수 있습니다. AutoTrain은 아직 CLM의 파인.. 더보기 PrivateGPT - local 문서 기반 채팅 시스템 구축하기 프라이빗 챗 GPT의 개념 private chat gpt는 특정 기업이나 조직에서만 사용하는 기업용 챗 GPT 입니다. 최근 기업의 내부 데이터를 활용한 채팅 시스템이 많이 나오고 있습니다. openai에서는 ChatGPT Enterprise 버전을 출시했습니다. gpt4를 무제한으로 사용할 수 있으며, 보안이 보장되어있습니다. MS에서도 애저 오픈AI 서비스로 프라이빗 챗 gpt서비스를 출시했습니다. 고객의 프롬프트나 데이터를 교육에 사용하지 않고 사전 학습된 모델에만 의존하여 데이터 유출에 민감한 서비스의 경우 100% private하게 사용 가능하다는 이점이 있습니다. 위와 같은 유료 서비스를 이용하면 보안, 속도, 무제한 컨텍스트와 같은 이점이 있지만, 비용 측면에서 빅테크 모델들은 큰 부담이므로.. 더보기 LLM 애플리케이션을 위한 사내 프롬프트 관리 패키지 개발기 이번 글은 사내의 LLM 프롬프트를 관리하면서 겪은 문제와 해당 문제 개선을 위한 패키지를 개발한 과정에 대해 작성하였습니다. 제품 개발에서 프롬프트 엔지니어링의 어려움 1) 타 팀과 협업 프롬프트 엔지니어링에는 언어 모델을 원하는 출력으로 안내하는 고품질 프롬프트를 만드는 작업이 포함됩니다. 그러나 프로덕트를 위한 과정에서 신속한 엔지니어링은 단독으로 수행하는 경우가 드뭅니다. 종종 프롬프트를 형성하고 미세 조정하기 위해 전문 지식을 제공하는 다른 팀 구성원과의 협업이 필요합니다. 효과적인 협업 없이는 다양한 팀원의 집단적 지식과 통찰력을 활용하는 것이 어려워지고 신속한 엔지니어링 프로세스를 방해합니다. 협업 프롬프트 엔지니어링의 주요 과제 중 하나는 다양한 프롬프트 반복에서 일관성을 보장하는 것입니다.. 더보기 프롬프트 엔지니어링 툴: PromptLayer로 프롬프트 및 LLM 요청 관리하기 프롬프트 및 OpenAI API 요청의 로그를 관리 및 공유할 수 있는 플랫폼인 PromptLayer의 사용법에 대해 정리한 글입니다. Prompt Layer PromptLayer는 GPT 프롬프트 엔지니어링을 추적, 관리 및 공유할 수 있는 개발 도구입니다. 코드와 OpenAI의 파이썬 라이브러리 사이의 미들웨어 역할을 하며, 모든 API 요청을 기록하고 관련 메타데이터를 저장하여 PromptLayer 대시보드에서 쉽게 탐색하고 검색할 수 있도록 합니다. 프롬프트 레이어에서는 크게 두 가지를 관리하는 것을 돕습니다. prompt template LLM request UI상에서 프롬프트 템플릿은 Registry에서 관리가 되고, LLM에 대한 요청은 History 탭에 로그가 쌓이게 됩니다. Tag 템플.. 더보기 LLM을 앱에 연결해주는 microsoft의 Semantic Kernel Semantic Kernel 이란? 앱에 AI 기능을 추가하는 개발자에게 유연성을 제공하기 위한 microsoft의 오픈 소스 C#, Python 같은 기존 프로그래밍 언어와 LLM AI를 결합시켜주는 경량 SDK 오픈 소스 프레임워크로 예제 앱과 노트북이 함께 제공됨 시맨틱 커널 설계의 핵심은 Skill 과 Planner Planner 는 사용자의 요청을 받아 필요한 스킬, 메모리, 커넥터로 변환하여 복잡한 작업을 용이하게 함 Skill 은 어떤 기능을 하는 역할을 하는 함수나 모듈의 집합 OpenAI의 모델과 Azure OpenAI Service 지원 자주 사용되는 용어 Semantic Kernel (SK) 사용자의 ASK를 이행하는 오케스트레이터 Ask 사용자가 목표 달성을 위해 시맨틱 커널에 요청.. 더보기 이전 1 다음
