{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "23/05/09 14:30:35 WARN Utils: Your hostname, yuanxideMacBook-Pro.local resolves to a loopback address: 127.0.0.1; using 10.254.44.65 instead (on interface en0)\n",
      "23/05/09 14:30:35 WARN Utils: Set SPARK_LOCAL_IP if you need to bind to another address\n",
      "Setting default log level to \"WARN\".\n",
      "To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).\n",
      "23/05/09 14:30:36 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable\n",
      "23/05/09 14:30:43 WARN package: Truncated the string representation of a plan since it was too large. This behavior can be adjusted by setting 'spark.sql.debug.maxToStringFields'.\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "+--------+------------------+------------+----------------------+-------+----------+--------------+--------------+--------------+------------+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+\n",
      "|    日期|                sn|是否内测用户|        query_sentence| domain|domain释义|domain_support|result_support|intent_support|query_intent|_c10|_c11|_c12|_c13|_c14|_c15|_c16|_c17|_c18|_c19|_c20|_c21|_c22|_c23|_c24|_c25|_c26|_c27|_c28|_c29|_c30|_c31|_c32|_c33|_c34|_c35|_c36|_c37|_c38|_c39|\n",
      "+--------+------------------+------------+----------------------+-------+----------+--------------+--------------+--------------+------------+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+\n",
      "|20230312|703052302050002380|           0|    帮我批改这些练习题|1000726|      null|             1|             1|             1|           1|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|\n",
      "|20230312|703052302050001980|           0|      这个词是什么意思|1000720|      null|             1|             1|             1|           2|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|\n",
      "|20230312|703052302050001320|           0|                唱首歌| 200101|  歌曲点播|             0|             1|          null|        null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|\n",
      "|20230312|703052302050002380|           0|        听当爱已成往事| 200101|  歌曲点播|             0|             1|          null|        null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|\n",
      "|20230312|703052302050002380|           0|    要听白雪公主的故事| 200101|  歌曲点播|             0|             1|          null|        null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|\n",
      "|20230312|703052302050002380|           0|  我要听白雪公主和杰克| 200101|  歌曲点播|             0|             1|          null|        null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|\n",
      "|20230312|703052302050001980|           0|              电解原理|1000728|      null|             1|             1|             1|           1|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|\n",
      "|20230312|703052302050001980|           0|      学习整体认读音节|1000722|      null|             1|             1|             1|           3|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|\n",
      "|20230312|703052302050001980|           0|      翻译今天天气很好|1000722|      null|             1|             1|             1|           2|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|\n",
      "|20230312|703052302050001980|           0|             翻译apple|1000722|      null|             1|             1|             1|           2|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|\n",
      "|20230312|703052302050001980|           0|        元音字母有哪些|1000722|      null|             1|             1|             1|           3|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|\n",
      "|20230312|703052302050001980|           0|翻译The weather is ...|1000722|      null|             1|             1|             1|           2|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|\n",
      "|20230312|703052302050001980|           0|          翻译a lot of|1000722|      null|             1|             1|             1|           2|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|\n",
      "|20230312|703052302050001980|           0|     how are you的翻译|1000722|      null|             1|             1|             1|           2|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|\n",
      "|20230312|703052302050001980|           0|          翻译a lot of|1000722|      null|             1|             1|             1|           2|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|\n",
      "|20230312|703052302050001980|           0|             翻译apple|1000722|      null|             1|             1|             1|           2|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|\n",
      "|20230312|703052302050002150|           0|        今天温度是多少| 201401|  天气查询|             1|             1|          null|        null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|\n",
      "|20230312|703052302050001320|           0|              今天天气| 201401|  天气查询|             1|             1|          null|        null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|\n",
      "|20230312|703052302050001980|           0|          北京今天几度| 201401|  天气查询|             1|             1|          null|        null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|\n",
      "|20230312|703052302050001270|           0|        今天天气怎么样| 201401|  天气查询|             1|             1|          null|        null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|\n",
      "+--------+------------------+------------+----------------------+-------+----------+--------------+--------------+--------------+------------+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+\n",
      "only showing top 20 rows\n",
      "\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "23/05/09 14:30:43 WARN CSVHeaderChecker: CSV header does not conform to the schema.\n",
      " Header: 日期, sn, 是否内测用户, query_sentence, domain, domain释义, domain_support, result_support, intent_support, query_intent, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , \n",
      " Schema: 日期, sn, 是否内测用户, query_sentence, domain, domain释义, domain_support, result_support, intent_support, query_intent, _c10, _c11, _c12, _c13, _c14, _c15, _c16, _c17, _c18, _c19, _c20, _c21, _c22, _c23, _c24, _c25, _c26, _c27, _c28, _c29, _c30, _c31, _c32, _c33, _c34, _c35, _c36, _c37, _c38, _c39\n",
      "Expected: _c10 but found: \n",
      "CSV file: file:///Users/tutu/project/LangChainGo/.inner/xbxb.csv\n"
     ]
    }
   ],
   "source": [
    "from langchain.llms import OpenAI\n",
    "from pyspark.sql import SparkSession\n",
    "\n",
    "spark = SparkSession.builder.getOrCreate()\n",
    "csv_file_path = \".inner/xbxb.csv\"\n",
    "df = spark.read.csv(csv_file_path, header=True, inferSchema=True)\n",
    "df.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "23/05/09 14:30:44 WARN CSVHeaderChecker: CSV header does not conform to the schema.\n",
      " Header: 日期, sn, 是否内测用户, query_sentence, domain, domain释义, domain_support, result_support, intent_support, query_intent, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , \n",
      " Schema: 日期, sn, 是否内测用户, query_sentence, domain, domain释义, domain_support, result_support, intent_support, query_intent, _c10, _c11, _c12, _c13, _c14, _c15, _c16, _c17, _c18, _c19, _c20, _c21, _c22, _c23, _c24, _c25, _c26, _c27, _c28, _c29, _c30, _c31, _c32, _c33, _c34, _c35, _c36, _c37, _c38, _c39\n",
      "Expected: _c10 but found: \n",
      "CSV file: file:///Users/tutu/project/LangChainGo/.inner/xbxb.csv\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "\n",
      "\u001b[1m> Entering new AgentExecutor chain...\u001b[0m\n",
      "\u001b[32;1m\u001b[1;3mThought: I need to count the rows\n",
      "Action: python_repl_ast\n",
      "Action Input: df.count()\u001b[0m\n",
      "Observation: \u001b[36;1m\u001b[1;3m59867\u001b[0m\n",
      "Thought:\u001b[32;1m\u001b[1;3m I now know the final answer\n",
      "Final Answer: There are 59867 rows.\u001b[0m\n",
      "\n",
      "\u001b[1m> Finished chain.\u001b[0m\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "'There are 59867 rows.'"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from langchain.agents import create_spark_dataframe_agent\n",
    "agent = create_spark_dataframe_agent(llm=OpenAI(temperature=0), df=df, verbose=True)\n",
    "agent.run(\"how many rows are there?\")"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "base",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.10"
  },
  "orig_nbformat": 4
 },
 "nbformat": 4,
 "nbformat_minor": 2
}