나의 개발일지

프로젝트 개요 네이버에 있는 뉴스를 카테고리 별로 크롤링, 군집화, 요약해서 시간당 최대 80개의 요약된 기사를 만들어내는 프로젝트 사용하는 카테고리 : 정치, 경제, 사회, 생활/문화, IT/과학, 세계, 연예, 스포츠 프로세스 간단 설명 (1시간 마다 실행) 1. 카테고리 별로 100개 정도의 기사를 크롤링 1.1 뉴스 url을 먼저 수집 1.2 수집한 url로 제목, 본문, 이미지 크롤링 2. 카테고리 별로 기사를 군집화 2.1 본문에서 명사 추출 2.2 추출한 명사 벡터화 (TF-IDF) 2.3 생성된 벡터로 군집화 (DBSCAN) 2.4 군집이 큰 상위 군집 10개만 요약에 사용 3. 상위 군집 10개에 속하는 기사를 요약 3.1 군집에 속해있는 여러 개의 기사를 하나의 기사로 요약 3.2 최대..

문제 : https://school.programmers.co.kr/learn/courses/30/lessons/77487 서브쿼리 활용 SELECT id, name, host_id from places a where host_id in (select host_id from places b group by host_id having count(name) >= 2) order by id;

뷰의 개념 논리적으로 하나 이상의 테이블에 있는 데이터의 부분 집합 뷰의 기반이 되는 기본 테이블 또는 다른 뷰를 기반으로 하는 논리 테이블 데이터 딕셔너리에 뷰에 정의한 SELECT 문으로 저장됨 뷰를 통해 테이블의 데이터를 액세스 하는 사용자는 뷰에서 제공되는 데이터만 제한적으로 사용 자체적으로 데이터를 포함하지 않음 뷰를 통해 테이블의 데이터를 보거나 일부 변경 가능 뷰의 사용 목적 데이터 액세스를 제한 테이블의 열을 선택적으로 표시 단순한 쿼리를 만들 수 있는 편의성 뷰를 사용하여 복잡한 쿼리 대신 뷰를 쿼리 예를 들어, 조인 문 대신 조인 뷰를 사용하여 여러 테이블에 있는 정보를 쿼리 보안성 증대 사용자 그룹이 특정 기준에 따라 데이터를 액세스 뷰의 종류 단순 뷰 뷰를 통해 볼 수 있는 데이터가..

함수의 중첩 단일 행 함수는 여러 번 중첩가능 가장 안쪽부터 바깥쪽 순으로 계산 예) CONCAT(birthdate, CONCAT('[', CONCAT(gender,']'))) 이름이 '영'으로 끝나는 사원들을 대상으로 문자함수를 중첩하여 이름의 두 번째 문자로부터 세 문자를 '*'로 표시하고 생년월일과 특수문자 '[]' 및 GENDER 열을 결합하여 생년월일 옆에 성별을 표시 SELECT emp_id, REPLACE(emp_name, SUBSTR(emp_name, 2, 4), '***') name, CONCAT(birthdate, CONCAT('[', CONCAT(gender,']'))) AS birth FROM y_emp WHERE emp_name LIKE '%영'; 입사 후 6개월 경과 후 첫 번째..

함수의 개념 인수를 입력하면 함수가 적용된 결과를 반환 함수의 용도 데이터에 대해 계산을 수행할 경우 각각의 데이터 항목을 변경할 경우 출력할 날짜형식을 변경할 경우 출력할 숫자에 형식을 지정할 경우 Column의 데이터 유형을 변경할 경우 행 그룹의 결과를 출력할 경우 단일행 함수 데이터를 조작해 보거나 데이터 유형 수정 가능 열 이름 또는 표현식이 인수 단일행 함수의 종류 문자 함수 숫자 함수 날짜 함수 변환 함수 일반 함수 문자 함수 문자를 입력 값으로 받으며 문자 또는 숫자 값을 반환 대소문자 조작 함수 LOWER(char) : 대소문자 또는 대문자 문자열을 소문자로 변환 UPPER(char) : 대소문자 또는 소문자 문자열을 대문자로 변환 INITCAP(char) : 각 단어의 첫 문자는 대문자..

ORDER BY 특정 순서로 행을 표시 SQL 문의 가장 끝에 위치 행을 오름차순(기본 순서) 또는 내림차순으로 정렬 선택적으로 ASC | DESC 지정 여러 열 기준의 정렬 ORDER BY 절에 쉼표로 열 이름을 구분하면서 여러 열을 지정 결과는 첫 번째 열 기준으로 정렬된 다음 그 결과 내에서 두 번째 열을 기준으로 정렬하는 방식 ASC, DESC는 열 이름마다 별도 지정 ORDER BY 절에 지정가능한 정렬 조건 열이름 또는 표현식 별칭 SELECT 절에 나열된열 목록을 기준으로 한 열 위치 값 사원 정보를 입사일이 가장 빠른 사원부터 순서대로(오름차순) 출력 SELECT emp_name, position, dept_id, hiredate FROM y_emp ORDER BY hiredate; 가장 ..

SQL 문 작성의 규칙과 지침 1. SQL 문은 대소문자를 구분하지 않음 키워드는 대문자로 입력하고 테이블 이름, 열 등은 소문자로 입력하는 것이 일반적 2. SQL 문은 하나 이상의 줄에 입력할 수 있으며 종료문자(;)를 입력하여 명령문을 완료하고 실행 3. 키워드는 줄간 나눠 쓰거나 약어로 쓸 수 없음 4. 절은 읽기 쉽고 편집하기 쉽도록 서로 다른 줄에 쓰도록 권장 5. 좀 더 읽기 쉬운 SQL 문을 작성하기 위해 들여쓰기를 사용 SELECT 표시할 열을 지정하기 위한 SELECT 절 데이터가 저장된 테이블을 지정하는 FROM 절 모든 열 선택 SELECT 뒤에 *을 사용하여 테이블에 있는 데이터의 모든 열을 표시 특정 열의 선택 열 이름을 쉼표로 구분하여 지정 SELECT 절에 출력 결과로 표시할..

트랜잭션 Data를 처리하는 하나의 논리적 단위 트랜잭션의 4가지 특징, ACID Atomicity (원자성) - 트랜잭션의 작업이 부분적으로 실행되거나 중단되지 않는 것을 보장 Consistency (일관성) - 트랜잭션이 성공적으로 완료되면 일관적인 Database 상태를 유지 Isolation (격리성) - 트랜잭션 수행 시 다른 트랜잭션의 작업이 끼어들지 못하도록 보장 Durability (지속성) - 트랜잭션이 성공적으로 수행되면 영원히 반영 동시성 제어 (Concurrency Control) 동시에 실행되는 트랜잭션 수를 최대화하면서도 입력, 수정, 삭제, 검색 시 데이터의 무결성이 유지되도록 하는 것 동시성 제어가 어려운 이유는 동시성과 일관성이 반비례 관계이기 때문 동시성을 높이려고 Loc..