basic pyodbc bulk insert

Question

Bir python komut dosyasında, bir veri kaynağı üzerinde bir sorgu çalıştırmalı ve bu sorgudaki her satırı farklı bir veri kaynağındaki bir tabloya eklemeliyim. Normalde bunu bir tsql bağlantılı sunucu birleşimi olan tek bir ekleme/select deyimi ile yapardım ancak bu belirli veri kaynağına bağlantılı bir sunucu bağlantım yok.

Bunun basit bir podbc örneği bulmakta zorlanıyorum. İşte böyle yaparım ama sanırım bir döngü içinde bir ekleme ifadesi yürütmek oldukça yavaştır.

result = ds1Cursor.execute(selectSql) 

for row in result: 
    insertSql = "insert into TableName (Col1, Col2, Col3) values (?, ?, ?)" 
    ds2Cursor.execute(insertSql, row[0], row[1], row[2]) 
    ds2Cursor.commit() 

Kayıtları podbc ile eklemek daha iyi bir toplu yol var mı? Ya da bu zaten yapmak için nispeten verimli bir yoldur. SqlServer 2012'yi ve en yeni pyodbc ve python sürümlerini kullanıyorum.

Answer 1

Bunu işlemenin en iyi yolu, executemany pyodbc işlevini kullanmaktır.

ds1Cursor.execute(selectSql) 
result = ds1Cursor.fetchall() 


ds2Cursor.executemany('INSERT INTO [TableName] (Col1, Col2, Col3) VALUES (?, ?, ?)', result) 
ds2Cursor.commit() 

Answer 2

Toplu eki SQL Server veritabanına yapabilen bir işlev.

import pypyodbc 
import contextlib 

def bulk_insert(table_name, file_path): 
    string = "BULK INSERT {} FROM '{}' (WITH FORMAT = 'CSV');" 
    with contextlib.closing(pypyodbc.connect("MYCONN")) as conn: 
     with contextlib.closing(conn.cursor()) as cursor: 
      cursor.execute(string.format(table_name, file_path)) 
     conn.commit() 
     conn.close() 

Bu kesinlikle çalışır. Güncellemeler nedeniyle, pyodbc yerine pypyodbc kullanmak daha iyidir.